- Технология: Обработка и анализ больших данных
- Технология: Оригинальная разработка на платформе 1С:Предприятие
Цели проекта
Компания "Газпром Интернэшнл Лимитед" (Компания) создала и развивает Единое информационное пространство данных ГЭПИ 1С (ЕИП ГЭПИ 1С) на основе программных продуктов системы "1С:Предприятие 8" как единую систему сквозного управления компании. Одним из направлений дальнейшего развития ЕИП ГЭПИ 1С стало создание в Компании единой сквозной Информационно-Аналитической Системы 1С (ИАС 1С) для поддержки лиц принимающих решения, повышения оперативности и эффективности принятия управленческих решений в компании.
- Создание в Компании единой и сквозной информационно-аналитической системы на базе программных продуктов фирмы "1С" и продуктов, входящих в экосистему решений "1С", позволяющей аккумулировать данные из различных Информационных Систем (ИС) ЕИП ГЭПИ 1С;
- Создание единой системы хранения верифицированных данных;
- Снижение затрат на формирование сводных витрин данных из различных верифицированных источников;
- Внедрение средств визуализации информации для поддержки лиц, принимающих управленческие решения.
Задачи проекта:
-
Внедрить в существующий ландшафт ЕИП ГЭПИ 1С единую ETL-систему, позволяющую организовать эффективный и оперативный сбор верифицированных данных;
-
Создать дата-акселераторы для существенного ускорения сбора данных из различных источников;
-
Организовать централизованную обработку и управление получаемыми данными с помощью единой ETL-системы;
-
Создать аналитические хранилища данных (АХД) для организации хранения верифицированных и сопоставляемых данных, полученных из различных источников;
-
Создать единую систему формирования сводных витрин данных;
-
Создать единую систему формирования аналитической отчетности.
Ситуация до внедрения
На момент старта проекта в Компании завершилось внедрение ЕИП ГЭПИ 1С, как единого информационного пространства, объединившего ряд ИС Компании, таких как:
- Система Электронного Документооборота (СЭД) на основе "1С:Документооборот КОРП";
- Единая Кадровая Система (СЭД) на основе "1С:Зарплата и управление кадрами 8 КОРП", дополненная модулем Кадрового Электронного Документооборота (КЭДО);
- Автоматизированная Система Финансово-Экономического Блока Модифицированная (АС ФЭБ М) на основе "1С:ERP" и "1С:Управление холдингом".

Архитектура на момент старта проекта
Внедрение ЕИП ГЭПИ 1С открыло для Компании возможность решения задачи создания единой системы поддержки управленческих решений, базирующейся на выверенных и сопоставленных данных, получаемых из различных источников. Исторически сложилось так, что помимо ЕИП ГЭПИ 1С для обработки данных в повседневной деятельности Компания использовались различные специализированные ИС, что было обусловлено спецификой ведения международного бизнеса. Разнородность этих ИС создавала дополнительные сложности для сбора данных в единое хранилище. Ранее в компании предпринимались различные активности по реализации системы сбора данных для аналитики на базе единого хранилища данных, но из-за отсутствия гибкого и простого в использовании инструмента сбора данных, а также ввиду отсутствия доступных отечественных систем бизнес-аналитики, базирующихся на привычной для Компании архитектуре "1С", данные инициативы так и не были реализованы в достаточной степени.
Уникальность и инновационность проекта
Одновременное решение двух задач, во-первых — это импортозамещение используемых в Компании ИТ-технологий и, во-вторых, создание единых АХД, консолидирующих верифицированные данные из несвязанных ранее источников – разнородных ИС, реализованных на кардинально отличающихся по назначению, классу задач, целям использования, архитектуре, платформе и техническому исполнению, стало для Компании настоящим технологическим вызовом. В ходе реализации проекта ИАС 1С были опробованы и внедрены новые импортонезависимые ИТ-технологии.
Методика внедрения системы также претерпела изменения, поскольку проект практически одновременно велся на трех различных уровнях:
1) разработка архитектуры ИАС
2) внедрения бизнес-приложений
3) формирование контура аналитических витрин данных.
Решения, реализуемые на каждом из этих уровней, давали для разных функциональных заказчиков оперативные и неоспоримые результаты. На уровне архитектуры для ИТ-подразделения были решены вопросы связанности разнородных ИС, реализованных на различных технологических платформах, и выполнены задачи оперативной настройки интеграционных потоков между этими ИС. На уровне бизнес-приложений для функциональных подразделений была решена задача верификации данных, объединения данных, полученных из независимых источников, и оперативной поставки данных функциональным заказчикам. На уровне аналитических витрин данных была решена задача оперативности предоставления консолидированной информации для лиц, принимающих управленческие решения.

Публикации о проекте
- Практический пример использования программного продукта "Модус:Управление корпоративным хранилищем данных (ETL)" для хранения и интеграции данных ресурсной базы нефтегазовых активов
- Аналитические витрины данных внедрены в "ГАЗПРОМ ИНТЕРНЭШНЛ ЛИМИТЕД"
Дополнительная информация к описанию проекта
Результаты проекта
Основными результатами реализации проекта ИАС 1С являются следующие:
- В Компании внедрена единая сквозная информационно-аналитическая система, позволяющая аккумулировать данные из ИС Компании, исторически построенных на базе разнородных ИТ-платформ;
- Достигнута оперативность и снижены затраты на получения сводных витрин данных, используемых для последующего формирования аналитической отчетности;
- Сокращены трудозатраты при формировании аналитической отчетности и визуализации информации, используемой для принятия управленческих решений сотрудниками Компании.
В процессе реализации проекта ИАС 1С были выполнены следующие задачи:
- Внедрена единая ETL система;
- Создано АХД для использования инструмента "1С:Аналитика";
- Реализованы процессы управления процедурами извлечения и обработки данных и внедрен единый алгоритм хранения процедур обработки данных;
- Реализован единый подход к управлению хранилищами различных данных, в результате которого данные из разнородных источников обрабатываются централизовано и передаются в промежуточные хранилища данных для последующей передачи в интегрированные в ЕИП ГЭПИ 1С системы визуализации данных;
- Созданы метрики и настроен постоянный мониторинг потоков данных;
- Созданы и подключены к аналитическим хранилищам данных первичные системы управления данными, дата-акселераторы, аналитические витрины, исключено дублирование в хранении данных;
- Верифицирование и нормализация данных - все данные в аналитических хранилищах в ИАС 1С верифицированы, справочные данные проверены через Единую Систему Нормативно-Справочной Информации (ЕС НСИ), реализованную в рамках ЕИП ГЭПИ 1С;
- Организовано централизованное управление данными с помощью ETL системы.

Пример витрины данных "Бюджет ИТ"

График платежей по ИТ оборудованию и ИТ-услугам
-
1C:Аналитика
:
- Аналитическая витрина "Отчетность по персоналу и среднему заработку"
- Аналитические витрины данных ИТ
- Аналитическая витрина "Бюджет"
-
Модус:Управление Корпоративным хранилищем данных (ETL)
:
- Подсистема управления ETL-процессами
- Подсистема интеграции
-
Оригинальная разработка на платформе 1С:Предприятие
:
- АХД "Экономика и финансы"
- АХД "Персонал"
- АХД "Календарно-сетевое планирование"
- АХД "Геология"
Архитектура решения и масштаб проекта
1. Отечественный программный продукт "Модус:Управление Корпоративным хранилищем данных" (далее Modus ETL), реализованный на платформе "1С:Предприятие 8" и входящий в экосистему ЕИП ГЭПИ 1С;
2. "1С:Аналитика" - инструмент платформы "1С:Предприятие 8";
3. Аналитические хранилища данных, реализованные в среде "1С:Предприятие 8".


Схема формирования аналитической информации


Обработка данных средствами Modus ETL
Каждая АХД представляет собой отдельную базу данных (БД), реализованную в среде "1С:Предприятие 8", к которой обращается "1С:Аналитика". Данный подход позволяет реализовать в БД аналитические витрины, использующие данные более чем из одного источника (более чем из одной ИС) и предоставить для сотрудников Компании, принимающих управленческие решения, необходимый им оперативный срез данных по всем направлениям деятельности Компании. В реализации проекта ИАС 1С участвовало несколько подразделений Компании: отдел закупок, управление ИТ, финансовый и экономический блоки. Внедрение ИАС 1С позволила всем подразделениям Компании оперативно передавать свои данные в общую систему корпоративной аналитический отчетности. Количество информационных систем в контуре внедрения ИАС 1С:
- ИС на основе системы программ "1С:Предприятие 8" — 7;
- На основе других технологических решений — более 10.
- Количество пользователей, формирующий данные для АХД — 250;
- Количество пользователей, одновременно работающих с инструментом "1С:Аналитика" — до 110;
- Количество автоматизированных рабочих мест — 400;
- Количество используемых платформ обработки данных — 12.
Действительно, вопрос НСИ являлся ключевым перед внедрением ИАС, поскольку без решения вопроса нормализации данных поставлять на уровень Аналитики верифицированные данные не предоставляется возможным. Связанность данных в различных учетных системах должна быть соблюдена в т.ч. за счет применения единой НСИ, что позволит привязать показатель из одного источника данных к показателю из другого источника данных. Это был отдельный проект из программы проектов (https://eawards.1c.ru/projects/edinoe-informacionnoe-prostranstvo-gepi-1s-eip-gepi-1s-181628/). Мы руководствуемся принципом Continuous Improvement, при котором результат одного проекта становится основанием для старта проекта более верхнего уровня, которым, безусловно, является ИАС.
Подскажите, какие то дальнейшие задачи и планы развития имеются? Поделитесь информацией?
Эти задачи прикладного характера связанные с расширением перечня аналитик ?
или это задачи, по расширению функционального использования решений?
Я могу выделить три основных направления развития системы:
1. Развитие и совершенствование самих аналитических витрин данных. Все витрины данных должны отвечать текущим целям и задачам бизнеса; сегодня у компании одни приоритеты, завтра другие. Задачей ИАС является поддержка управленческих решений, поэтому сами витрины должны обладать возможностью гибкого изменения основных показателей и форм их представления. По части формы представления задачу решает сама 1С:Аналитика, по части состава и компоновки диаграмм мы формируем собственные центры компетенций (в работе в данный момент) не на базе ИТ подразделения, а на базе бизнес-аналитиков, которые будут решать задачу continuously improvement (ISO 9001).
2. Улучшение самого АХД, объема хранимой информации, скорости и способов сбора. Здесь задача делится на две части: первая – улучшение механизма сбора информации, за что в нашей системе отвечает продукт Modus ETL. В данную задачу входит также увеличение скорости получение верифицированной информации, в планах довести оперативность данных по определенным дашбордам до состояния зеркала из учетной системы. Вторая задача – увеличение объема собираемых показателей. Задача сложная и требует комплексного подхода, поскольку специализированные данные имеют собственные форматы хранения и очень часто большие объемы для анализа. Эта задача решается в комплексе с другим внутренним проектом.
3. Технологическое улучшение используемых продуктов. Например, внедрение АХД позволило нам приступить к задаче визуализации юридической структуры компании с использованием технологии 1С:Элемент, что удобно для пользователей, не вовлеченных в работу в учетных системах на постоянной основе, и использующих по большей части корпоративный портал. Общими словами система стала интеграционным мостом с другими продуктами корпоративного ландшафта.
Действительно, основной целью проекта было создание в компании единой и сквозной информационно-аналитической системы на базе программных продуктов фирмы "1С" (ИАС 1С) и продуктов, входящих в экосистему решений "1С", позволяющей аккумулировать данные из различных Информационных Систем компании таким образом, чтобы ИАС 1С была доступна для большего числа сотрудников компании, сокращая их рутинную работу и повышая оперативность и эффективность принятия ими управленческих решений.
Система группирует в 1С:Аналитике показатели по следующим группам: стратегические (руководство), тактические (средний и младший менеджмент), оперативные (специалисты и младший менеджмент), поэтому охват системы идёт на всю компанию. Каждый из работников работает с данными на своем уровне и в своих аналитических разрезах, что позволяет достигнуть наибольшей эффективности. Дашборды организованы каскадом — от стратегической аналитики всегда можно получить детальную аналитику, при наличии прав доступа.
Из учетных систем собираются верифицированные данные, которые поддерживаются в актуальном состоянии в рамках бизнес-процессов учетных систем. ИАС только собирает и обновляет данные. За поставку и обмен данными отвечает Modus ETL. Это описано в блоке
«Архитектура решения и масштаб проекта», может быть вы уточните вопрос, я отвечу более детально.
В данном случае АХД - это базовое хранилище верифицированных данных конкретной системы. Например, для систем на базе 1С АХД - это отдельная база конкретной информационной системы, для систем на базе других платформ могут быть свои локальные АХД. Архитектура решения позволяет собирать данные с помощью Modus ETL из локальных АХД в единое АХД, которое подключается к 1С:Аналитике. Данный подход позволяет получить единое АХД, в котором доступны актуальные и верифицированные данные для представления их на уровень лиц, принимающих решение. В итоге на верхнем уровне у нас одна АХД, связанная с 1С:Аналитикой.
Для нас решение позволило построить прозрачную систему аналитики на гетерогенной среде, что раньше было невозможно из-за существенных различий платформ.
Реализация данного проекта закрыла риск одномоментной потери доступа к аналитическим витринам данных. Необходимо отметить преимущество использования ПО в варианте on-premise. Сам продукт 1С:Аналитика также активно развивается и предоставляет всё больше возможностей для визуализации данных. Помимо этого был решен вопрос с кадровыми ресурсами, использование единой экосистемы позволяет оптимизировать утилизацию внутренних ресурсов.
В данном проекте как раз было успешно реализовано импортозамещение. Ранее для получения бизнес-аналитики использовалось зарубежное решение, а именно, сервис для бизнес-анализа и визуализации отчётов Tableau.