С тех пор как коммерческий бизнес получил доступ к основным ИТ-мощностям мейнфреймов и персональных компьютеров (эта эпоха началась где-то в 1950-1960-х годах), компании используют данные для хранения, резервного копирования и тщательного анализа деловых операций.

Но компьютеры больше не предназначены только для процедур резервного копирования на магнитную ленту, сегодня мы используем данные в самых разных целях для аналитики, принятия бизнес-решений и как информационный поток для создания нового подхода к интеллектуальной обработке данных. Учитывая наш прогресс, достигли ли мы той точки внедрения информационного менеджмента, когда развитие интеллектуального анализа данных напрямую связано с более высоким уровнем коммерческого успеха бизнеса?

Вера в надуманное?

Компания Collibra, занимающаяся анализом данных, заинтересована в том, чтобы ответить на этот вопрос утвердительно, и поэтому, что вполне логично, вложила свои средства, предназначенные для освещения в СМИ, в исследования, направленные на то, чтобы попытаться подтвердить эту точку зрения. Учитывая то, что опросы (возможно) никогда не будут проводить (и уж точно не публикуются, даже если они независимые), если их результаты не соответствуют ожиданиям спонсирующей организации, стоит ли доверять последнему анализу Collibra в этой области, проведенному совместно с IDC?

Исследование IDC, проведенное компанией Collibra, действительно "установило" (скажем так), что анализ данных имеет решающее значение для принятия обоснованных бизнес-решений и достижения лучших результатов в бизнесе. Но опросы компаний, занимающихся анализом данных, которые говорят нам, что анализ данных важен, не имеют большой ценности. Но что (возможно) более интересно, так это предположение, что почти две трети респондентов утверждают, что у них есть проблемы с "определением и контролем" источников данных в их организационной структуре.

Если мы живем в мире, где почти ни одна компания (5% в данном исследовании) не говорит, что у них отсутствуют организационные проблемы управления данными, то мы должны остановиться и спросить, что происходит во всех остальных компаниях – они время от времени частично занимаются вводом данных, подготовкой данных, дедупликацией данных и управлением данными? Является ли это чем-то вроде дней сплочения персонала и вечеринок в конце года, т.е. это хорошее дело, но не меняющее жизнь, если пропустить?

В исследовании, о котором здесь идет речь, говорится, что сбор оперативной информации о данных важен, но то, как организации применяют эту информацию, отличает их друг от друга. Организации с более высоким уровнем развития в области управления аналитикой данных, каталогизации данных, управления данными, качества данных, скорее всего, получат более высокие бизнес-преимущества и производительность по сравнению с аналогами.

Наиболее развитые организации достигают в три раза больших бизнес-преимуществ, чем их коллеги, причем наиболее значительные улучшения касаются способности к инновациям, соблюдения нормативных требований и сокращения времени вывода на рынок новых продуктов и услуг. Эти организации также отмечают рост доверия к данным благодаря улучшению их качества, что приводит к более быстрому получению действенных выводов для ускорения процесса принятия решений.

Исследование также показывает, что организации с наиболее развитой культурой данных имеют четко определенные роли и обязанности в области данных и аналитики, используют целостный подход к анализу данных, всегда ожидают, что информация о данных будет доступна при принятии решений, основанных на данных, измеряют результаты и имеют в четыре раза больше внедрений по сравнению с менее развитыми организациями.

Решения и обсуждения, основанные на данных

Культура данных критически важна для развитых организаций, а те организации, которые делают ее приоритетом в рамках всей организации, лучше справляются с принятием решений и достижением результатов, основанных на данных.

Исследование показало, что 86% респондентов имеют специальную команду, отвечающую за культуру данных, которая сосредоточена на формировании грамотности в области данных. В наименее развитых организациях в шесть раз выше была вероятность отсутствия специальной команды, отвечающей за культуру данных. Кроме того, в наиболее развитых организациях было большее представительство групп, не относящихся к ИТ, участвующих в инициативах по анализу данных, а также больше вероятность того, что главный специалист по данным возглавляет общую стратегию в области данных.

"Выводы IDC показывают, что, хотя организации признают необходимость в анализе данных, внедрение и культурные барьеры остаются самой большой проблемой для достижения максимальной ценности и устойчивого успеха в бизнесе", – сказал Стийн "Стэн" Кристиаенс (Stijn 'Stan' Christiaens), соучредитель и главный специалист по данным в Collibra. "Когда в организациях есть исполнительное руководство, уделяющее приоритетное внимание культуре данных, и они активно привлекают различные заинтересованные стороны к работе с данными, то усилия по цифровой трансформации достигают успеха. Инвестиции в культуру данных – это самый важный шаг, который может сделать организация для обеспечения эффективности, производительности и сильного конкурентного преимущества".

Чтобы помочь организациям понять степень зрелости их аналитики данных и принять лучшие решения о том, как инвестировать в успешные инициативы по каталогизации данных, управлению данными, качеству данных и культуре данных, Collibra в партнерстве с IDC разработала инструмент оценки аналитики данных.

Оценка позволяет организациям получить представление об их уровне зрелости в области анализа данных по сравнению с аналогичными компаниями и предоставляет индивидуальный отчет с рекомендациями по дальнейшим шагам для оптимизации их деятельности в области анализа данных.

Технологическая аналитическая компания IDC утверждает, что для того, чтобы данные приносили пользу, их необходимо рассматривать в контексте. Специалист IDC по анализу данных Стюарт Бонд (Stewart Bond) говорит, что наиболее развитые организации понимают, что инвестиции в каталоги данных, линейность, управление, качество и общие структуры анализа данных обеспечат более высокое качество и улучшат бизнес-результаты.

Зрелость интеллектуального анализа данных

"Самой большой проблемой и возможностью для каждой организации сегодня является повышение уровня зрелости интеллектуального анализа данных", – сказал Бонд.

Дом Кудвелл (Dom Couldwell) – руководитель отдела полевых разработок в компании DataStax, специализирующейся на разработке платформы данных в реальном времени и предлагающей особый подход к внедрению и развертыванию баз данных Apache Cassandra корпоративного уровня. Рассказывая о своем опыте работы с подготовкой и управлением стеком реальных данных, он говорит, что для многих компаний сегодня наиболее распространенной жалобой со стороны владельцев продуктов [сервисов данных] и отдельных разработчиков программных приложений является то, что доступ к данным сдерживает их развитие.

"Слишком много данных заперто в "болоте" данных, где пользователи не могут их использовать. В течение многих лет мы понимали важность данных и преимущества, которые они могут дать при правильном использовании, но акцент делался на хранении, а не на использовании", – объясняет Кудвелл из DataStax.

"Эффективная стратегия работы с данными должна учитывать роли полицейского (в отношении наиболее конфиденциальных данных), учителя (чтобы дать бизнесу возможность понять, интерпретировать и использовать предоставляемые им данные) и судьи на футбольном поле (чтобы быстро решать проблемы, когда – а не если – они возникают), чтобы предотвратить срыв проектов из-за потенциальных проблем. Наряду с установкой правильных направляющих, организация должна использовать преимущества лучшего в своем классе стека данных, инструментальных средств без кода или с низким его содержанием... и подхода, ориентированного на API, чтобы максимально раскрыть данные", – добавил он.

Соглашаясь с позицией Кудвелла и стремясь расширить эту дискуссию, гуру науки о данных Ник Джуэлл (Nick Jewell) выступает в качестве технологического евангелиста компании Incorta, известной своей платформой самообслуживания для унифицированного анализа данных. Джуэлл считает, что даже если компания старательно собирает данные, она часто испытывает трудности с принятием решений на их основе по всей своей операционной базе.

Отбросьте интуицию и неофициальные данные

"В реальном мире, хотя фирма может подключаться (и таким образом собирать данные), считая себя ориентированной на данные, команды часто все еще полагаются на интуицию или случайные свидетельства вместо неопровержимых фактов", – объясняет Джуэлл. "Причиной этого часто является задержка. Если данные слишком медленно перемещаются от бизнес-приложений к аналитическим платформам, чтобы быть полезными для принятия решений, то люди не будут ждать. Это может относиться как к критическим стратегическим решениям, так и к тактическим или оперативным решениям. Если вашим бизнес-командам трудно быстро получить результаты обработки данных, то они не смогут извлечь эту информацию или эффективно ее использовать".

Решение проблемы временной задержки данных и устранение разрыва между получением необработанных данных и предоставлением аналитических выводов или рекомендаций к действию становится источником конкурентного преимущества в быстро меняющемся мире, ориентированном на цифровые технологии.

Итак, какие процессы должны измениться, чтобы компании могли более эффективно использовать свои данные, и что они должны изменить? Зачастую самыми сложными препятствиями на пути значимых изменений являются унаследованные конвейеры данных, которые были созданы для извлечения, преобразования и загрузки данных из систем учета в системы понимания. Эти трубопроводы были хрупкими, слишком сложными техническими "спагетти", которые было дорого внедрять и еще сложнее поддерживать по мере развития бизнес-процессов.

"Технологические инновации, такие как аналитическая обработка данных в оперативной памяти, форматы данных с открытым исходным кодом и ускорители аналитических запросов, сделали эти конвейеры в значительной степени избыточными. Упорядочив процессы, необходимые для получения и анализа данных, вы сможете упростить их передачу тем, кому они нужны", – пояснил Джуэлл.

В данном случае речь идет о том, что организации должны инвестировать в современный пользовательский опыт в области аналитики, обеспечивающий лицам, принимающим решения, доступ ко всем данным без необходимости неделями ждать, пока ИТ-команды подадут запрос на обслуживание. Это подразумевает избавление от любых унаследованных процессов и конкретное рассмотрение вопроса о том, как быстро донести аналитические данные до пользователей.

"Это приведет к изменениям – если компания может выполнять запросы за считанные секунды, а не тратить на их обработку целый день, это означает, что команды могут задавать значительно больше ценных вопросов в течение рабочего дня – а если они могут, они будут это делать! Компании должны отказаться от сложившегося десятилетиями представления о том, что данные бизнес-приложений могут поступать в аналитические платформы только ночью. Когда вы конкурируете с другими компаниями на основе ваших аналитических данных, скорость, с которой вы работаете, имеет огромное значение. Если вы сможете разрабатывать выводы на основе данных, поступающих практически в режиме реального времени, ваша команда будет вооружена преимуществом перед более медлительными конкурентами", – пояснил Джуэлл из Incorta.

Рост культуры данных

Действительно ли компании осознают, что им необходимо развивать, формировать, распространять и внедрять так называемую культуру данных в своей организации? Возможно, в некоторых случаях – да, а чаще – нет.

Вряд ли мы увидим появление объявлений о вакансиях специалиста по культуре данных (data culture officer, DCO), эта роль входит в обязанности главного специалиста по данным (chief data officer, CDO) там, где они предусмотрены, и главного специалиста по информации (chief information officer, CIO) в других случаях. Тем не менее, наш представитель выше указан как главный информационный работник, поди разберись.

Если мы и можем извлечь из всего этого какую-то важную идею, так это то, что компании знают, что у них есть данные, что им нужно работать с данными и что аналитика и подготовка данных станут основой их будущего успеха – просто они еще не научились управлять этим видом "транспорта", часто не знают, как "переключать передачи", а в некоторых случаях они даже не знают, где находится дверная ручка.

Адриан Бриджуотер