Статьи / 5 шагов погружения в DWBI

22.04.2018 г., перевод статьи Vincent Rainardi

5 Stages DWBI

Во время работы в MS BI я заметил, что внедрение инструментов DWBI (Data Warehouse and Business Intelligence) в бизнес можно поделить на несколько этапов. Рассмотрим их подробно, возможно эта информация окажется кому-либо полезна.

Этап 1. Составление отчетов (Стоимость: £25 тыс./год. Длительность: 2-3 года)

В большинстве компаний BI-подразделение начиналось с одного сотрудника IT-отдела, занимающегося составлением отчетов. IT-отделу ставилась задача – подготовить сводный бизнес-отчет для какого-либо собрания на основе информации из базы данных. Отчет формировался с помощью встроенных средств отчетности – SSRS, Jasper или Crystal. Тогда никто ничего не слышал о Business Intelligence. Руководству требовался просто «Отчет», не BI и даже не Management Information.

Компания, состоящая из 100 сотрудников и имеющая годовой оборот в размере 5 млн. фунтов стерлингов, обходилась IT-отделом, в котором было всего 5 человек. Они в основном занимались технической поддержкой – Exchange и Email, администрированием файлового и SQL-серверов, локальной сети. Подготовка отчета для них была всего лишь одной из множества задач.

Однако руководству требовались все новые и новые отчеты. Нагрузка на сотрудника, занимавшегося их составлением, быстро росла. Пропорционально увеличивалась его производительность за счет освоения встроенных инструментов для визуализации данных. Так, например, если для подготовки первого отчета потребовалось 3 недели, то пятый был сформирован за 3 дня. При этом не существовало инструкций и строгих правил оформления отчетов. На бизнес-собраниях просто требовалась информация в удобном для восприятия виде.

Сколько это стоит? Расходы на этом этапе составляют около 20-25 тыс. фунтов стерлингов в год. Они распределены следующим образом:

Заработная плата сотрудника, занимающегося половину своего времени разработкой отчетов: £ 14 тыс.
Расходы на обучение, налоги, отчисления в пенсионный фонд: £ 6 тыс.
Затраты на ПО: нет.
Стоимость средств составления отчетности: с SQL Server поставляется служба SQL Server Reporting Services (SSRS). JasperReports распространяется бесплатно. Цена Crystal Reports для Oracle – £500. Однако SSRS не совсем бесплатна. Допустим, ее стоимость составляет 25% от стоимости SQL Server. На серверное оборудование и лицензии компания тратит £15 тыс. в год. Таким образом, расходы на SSRS – £4 тыс. в год.

Этап 2. Увеличение количества отчетов (Стоимость: £150 тыс./год. Длительность: 1-2 года)

С развитием компании IT-отделу требуется все больше, точнее и оперативнее предоставлять информацию о проведенных операциях. Это становится «узким горлышком», если вовремя не был внедрен удобный инструмент для составления отчетов. Некоторые решения дают возможность отслеживать информацию только на уровне транзакций или на уровне работы с одним клиентом, что приводит к большим ошибкам в реальных IT-отчетах.

Если бизнес-приложение не позволяет наглядно предоставлять данные о развитии компании в какой-то промежуток времени, нагрузка на IT-отдел будет расти. Это связано с непрерывным увеличением числа требуемых отчетов. Бизнес-отчеты теперь требуются не только отделу продаж, но и отделу менеджмента, и бухгалтерии, и вообще всем подразделениям компании.

Составление отчетов стало важной частью работы, которой занимается не один человек, в свободное от других задач время, а 2 или 3 специалиста в течение всего рабочего процесса. С ростом организации увеличивается штат сотрудников IT-отдела – от 5 до 15 человек. Годовой доход компании составляет £30 млн., из которых на IT-расходы идет около £0,5 млн. В работе используется несколько бизнес-приложений, обслуживание которых, как правило, отдается на аутсорсинг.

Сотрудник, занимающийся составлением отчетов, теперь называется MI-разработчиком. В своей работе он использует SSRS и SharePoint. Некоторые из отчетов требуется подготавливать регулярно. Устаревшие отчеты архивируются. Информация, предоставляемая MI-разработчиком руководству на основе данных 4-5 бизнес-приложений, очень важна для мониторинга развития компании. На разработку одного отчета уходит от 2 дней до 2 недель, в зависимости от приоритизации и размера очереди. Глава IT-отдела может запросить сведения о том, как был использован любой из отчетов, чтобы убедиться в целесообразности его заказа.

Сколько это стоит? Management Information обходится около £150 тыс. Расходы распределены так:

Заработная плата 2 сотрудников, занимающихся разработкой отчетов: 2 x £28 тыс. = £56 тыс. Если в штате 3 сотрудника – £84 тыс.
3 оборудованных рабочих места, страховка и обучение сотрудников: 3 x £6 тыс. = £18 тыс.
Выделенный SQL-сервер для MI: £15 тыс. Скорей всего, потребуется 2 сервера (£30 тыс.).
Лицензия SharePoint для размещения отчетов: £10 тыс.
Консультация по установке и настройке SSRS/SharePoint: £5 тыс.

Сколько времени занимает этот этап? Компании проходят этот этап очень быстро – обычно за 1-2 года, после чего сталкиваются с ситуацией, когда отчетов требуется слишком много, и IT-отдел перестает контролировать ситуацию. В этот момент происходит переход к следующему этапу.

Этап 3. Слишком много отчетов – переход к Self Service BI (Стоимость: £50 тыс. единоразово + £150 тыс./год. Длительность: 1 год)

Когда составлением отчетов заняты 3 и более сотрудников, а число отчетов приближается к сотне, главе IT-отдела становится все более интересна идея так называемого Self Service BI (дословно – «система BI самообслуживания»). Она заключается в создании хранилища данных на основе OLAP-кубов. В отличие от традиционных аналитических платформ BI, разобраться в которых могли лишь профессионалы, сервисы Self-Service Analytics разработаны для широкого круга пользователей и доступны для вызова прямо из Excel.

Традиционные инструменты бизнес-аналитики BI достаточно дорогие, чаще всего это становится основной причиной, по которой компании не спешат в них инвестировать. Ниже указаны цены для самого популярного BI-ПО, такого как BO, Cognos, MicroStrategy, QlikView.

QlikView

Лицензия (для 100 пользователей): £150 тыс.
Лицензия для тестового сервера: £50 тыс.
SharePoint component + workbench: £10k
Серверная инфраструктура: £10 тыс.
Обучение сотрудников: £10 тыс.
Консультирование: £20 тыс.

Итого: 150 + 50 + 10 + 10 + 10 + 20 = £250 тыс. единовременно. Плюс 20% (£50 тыс.) – ежегодные расходы на поддержку.

Лицензия (для 100 пользователей): £140k
Лицензия разработчика: 3 x £400 = £1200
Обучение, консультирование, серверная инфраструктура: £50k
Техническая поддержка 20%: £40k в год

Итого: 140 + 1200 + 50 = £190 тыс. единовременно и £40 тыс. – ежегодно.

Расходы на Cognos и MicroStrategy будут примерно одинаковы – около £200-250 тыс. единовременно плюс £40-50 тыс. – ежегодно. Можно увидеть, что финансовой выгоды по сравнению с предыдущим этапом практически нет – вместо разработчиков отчетов компании потребуется нанять одного или нескольких администраторов QlikView/BO/Cognos или вложиться в обучение персонала.

Внедрение Self Service BI требует намного меньше средств, чем внедрение существующих BI-решений. Дело в том, что Microsoft Analysis Services (SSAS) распространяется бесплатно в составе служб анализа SQL Server, SharePoint обычно уже куплен и активно используется, а Excel – установлен на всех рабочих станциях. Получается, что дополнительных затрат на внедрение нового ПО нет. Требуется только новый сервер для хранилища данных (£20 тыс.). Даже если два сервера – £40 тыс. Еще около £10 тыс. пойдет на обучение персонала инструментам SSAS, SSIS, моделирования.

С точки зрения HR, обучение сотрудников позволяет убить двух зайцев: не только оптимизировать бизнес-отчетность компании, но и повысить лояльность персонала – ведь организация позволяет ему развиваться. Причем в совершенно новой, но перспективной сфере DW OLAP. Многомерное моделирование, ETL, Data Quality, метаданные, разработка OLAP-кубов – это то, что сотрудники узнают в течение обучения, которое займет около 6 месяцев. Презентация Self Service BI обычно имеет большой успех. Руководство компании очень восхищает, когда прямо на ее глазах данные из OLAP-кубов превращаются в наглядные временные диаграммы и схемы.

Теперь, когда вся бизнес-информация хранится в кубах данных, часть отчетов пользователи могут генерировать самостоятельно. Вместо 3 недель ожидания – мгновенный результат. Это очень радует, особенно в первое время. Руководителю IT-отдела результат внедрения Self Service BI понравится тем, что количество заказанных отчетов сократится примерно на треть. Часть компаний со временем перейдет на другое ПО (RED или Kalido + Composite), позволяющее еще эффективнее и быстрее работать с хранилищем данных, но большинство останутся на MS BI.

Сколько стоит и какое время занимает? На внедрение Self Service BI потребуется £50 тыс. Ежегодные расходы (£150 тыс.) не изменились, т.к. структура и функции IT-отдела остались теми же. Этот этап обычно проходится очень быстро – за 1 год, за это время формируется исходное хранилище данных и разрабатываются кубы. После окончательного запуска системы SSBI IT-отделу придется оперативно обрабатывать большое количество запросов на добавление данных в хранилища и кубы. Это будет на 4 этапе.

Этап 4. Развитие хранилищ данных и OLAP-кубов (Стоимость: £200 тыс./год. Длительность: 2-3 года)

В IT-отдел поступает много обращений на добавление различных атрибутов в кубы и хранилища. Вот типичные примеры запросов: «Добавьте этого продавца, пожалуйста. О, и еще данные об этом поставщике. А имена менеджеров добавите, просто очень нужно? У нас есть новый прайс-лист на следующий квартал, который нужно включить в хранилище данных. Поддерживают ли кубы иерархические структуры?»

Проблема заключается в том, что BI-подразделение не имеет практического опыта. Разработчики только вчера узнали, что такое размерная (dimensional) модель, таблица фактов и гранулярность. Они слабо представляют себе процесс моделирования данных. На освоение всего этого уходит большое количество времени – до нескольких недель. Примеры из литературы не всегда подходят к практическим задачам. Еще требуется контроль ETL-составляющей проекта, а сотрудники не умеют даже реализовывать SCD Type 2. SSIS SCD2 позволило частично решить задачу, но добавились новые проблемы.

В конце концов, руководитель IT-отдела начинает осознавать потребность в архитекторе данных, который умеет проектировать и реализовывать хранилища и кубы, владеет ETL. В отделе появляется новый сотрудник с зарплатой, скажем, £50 тыс. в год. Он знает всё о моделировании данных ETL и SSAS. Затем нанимается ETL-разработчик, который в основном занимается перемещением и оптимизацией данных. Один из разработчиков отчетов со временем тоже становится ETL-разработчиком. В составе BI-подразделения теперь 5 человек: 2 разработчика отчетов, 2 ETL-разработчика и 1 архитектор данных.

Постепенно это подразделение оптимизирует и настраивает хранилища данных под нужды компании. У руководителя теперь всегда под рукой большое количество информации, доступной в любое время, а не через 3 недели после запроса, как это было раньше.

Сколько стоит и какое время занимает? Поразительно, но затраты на BI только увеличились. Во-первых, в отделе работает 5 человек вместо 3. Их зарплата: 4 x 28 + 1 x 50 = £162 тыс. в год. Периодически требуется докупать дополнительные мощности, менять сервера и т.д. На это уходит £40 тыс. в год. Общие расходы – около £200 тыс./год. На этом этапе компания проводит 2-3 года, после чего переходит на следующий – зависимость от BI. Ведь благодаря понятным и оперативным данным, поступающим из хранилищ через OLAP-кубы и отчеты, бизнес очень интенсивно развивается. Со временем отказаться от таких удобных инструментов становится практически невозможно.

Этап 5. Пользователи зависимы от BI (Стоимость: £50 тыс. единоразово + $10 тыс. в год. Длительность: 3-4 года)

Один за одним все отделы бизнеса начинают пользоваться хранилищами данных и кубами. Отдел продаж, отдел производства, финансовый отдел, отдел маркетинга и даже отдел кадров – не представляют свою работу без BI. Страховые компании используют бизнес-аналитику при оценке рисков, возмещении страховых убытков, перестраховании, ведении бухгалтерии. Информация, получаемая из хранилищ данных, влияет на принятие многих решений: премирование сотрудников, ценовую политику компании, CRM и маркетинговую стратегию, и многое другое. В хранилища добавляется все больше и больше данных, бизнесу требуется все больше отчетов.

На этом этапе широко используются дополнительные инструменты BI: новые виды визуализации данных, решения для хранилищ, например Data Quality Services и ETL. IT-отдел разными способами оптимизирует свою работу, используя методологии IT Governance, системы контроля версиями, системы отслеживания ошибок и различные репозитории. Внедряется специализированное ПО – Red Gate, SQL Sentry, JIRA, TFS, позволяющее решать различные прикладные задачи.

Для визуализации данных может применяться Cube Player, Power BI, Strategy Companion, Panorama, XLCubed, Pyramid, Vergence Vivid, Bonavista Dimensions и Tableau. Чаще всего компании не в полной мере имеют представление о рынке решений бизнес-аналитики, ограничивая себя лишь несколькими платформами. Из них они пытаются выбрать наиболее подходящую. В этой статье мы не будем подробно останавливаться на особенностях различных клиентов. Возможно, они будут описаны позже.

Помимо инструментов аналитики, компании все чаще интересуются новыми инструментами отчетности, более продвинутыми и функциональными, нежели SQL Server Reporting Services. Если позволяет бюджет, вероятнее всего, их будет привлекать QlikView и Spotfire. При ограниченных средствах – Jasper и Pentaho. Все эти решения (QlikView, Spotfire, Hana, TM1, PowerPivot) объединяет то, что они хранят свои данные с использованием технологии «In-Memory OLAP», а не на диске.

Сколько стоит и какое время занимает? Это зависит от используемых решений и отрасли, к которой относится компания. В розничной торговле, телекоме, транспорте, сфере услуг ЖКХ – около 2-3 лет. Банки, управляющие и страховые компании, организации в сфере здравоохранения могут находиться на этом этапе от 3 до 5 лет. Оценим затраты при использовании одного из типовых решений – Tableau. Внедрение Tableau на DW + SSAS обойдется не очень дорого: £50 тыс. единоразово + $10 тыс. в год. Стоимость складывается из стоимости лицензий и затрат на обучение сотрудников. Вот цены на лицензии Tableau:

Разработчик (Desktop Pro): $1999 + $199/год обслуживания;
Бизнес-пользователь с возможностью создания отчетов (Tableau Online Licences): $500/год.
Читатель отчета: бесплатно.

При условии, что в компании будет 3 разработчика и 15 создателей отчетов, затраты составят: 3 х $2 тыс. = $6 тыс. единовременно и 3 х $200 + (15+3) х $500 = $9600/год. На обучение сотрудников придется потратить £40 тыс.

Что будет дальше?

Что ждет компанию после пятого этапа? BI надежен, хорошо отлажен и изучен до мелочей. Все можно контролировать. Усовершенствовать дальше, в общем-то, нечего. Можно обратиться к совершенно другим технологиям. Например, к Cognos или Business Objects, отказавшись от стека Microsoft BI в пользу стеков Cognos или BO. А SQL Server – полностью заменить решением Oracle. Еще один вариант – остаться на Microsoft BI, но обратить внимание на следующие технологии:

Параллельные системы баз данных. В некоторых отраслях (розничная торговля, телеком) с развитием бизнеса значительно увеличивается число проводимых транзакций. Решение этой проблемы – массивно-параллельная архитектура, означающая внедрение параллельных СУБД. Это может быть Parallel Data Warehouse от Microsoft, либо решение от Netezza, Exadata, Greenplum или Teradata. Еще один вариант – колонко-ориентированные БД, такие как Vertica и Sybase IQ.
Data mining. В розничном секторе жизненно важное значение играет CRM и маркетинг. Компании этой отрасли могут изучить возможности интеграции CRM и инструментов управления маркетинговой компанией с хранилищем данных. Для этого используется интеллектуальный анализ данных (Data mining) и прогнозирование. Реализация возможна, как в SSAS (либо в SAS, SPSS, BIRT), так и вручную на .Net или R.
Big Data. «Большие данные» – это самый частый путь, по которому пытаются идти компании после пятого этапа. Применяется Map Reduce, Hadoop, Mongo DB, Hive и другие подобные решения. Интересен этот вариант, прежде всего, своей низкой проектной стоимостью в сочетании с огромной потенциальной выгодой.
Интеллектуальный анализ текстов. В компаниях с большим значением документооборота (медицинских, страховых, торговых) можно внедрить ИАТ. Он позволит быстро извлекать нужную информацию из миллионов документов или электронных писем. Для реализации подходит такое ПО, как Clarabridge, Angoss, Attensity, NetOwl.

Мы надеемся, что этот материал был полезен всем: IT-менеджерам – для углубления знаний о DWBI, разработчикам – для понимания перспектив их дальнейшего развития. Если к статье есть какие-то замечания или вопросы, будем рады вашим комментариям.