Цели проекта

1. Создание единой системы хранения и управления данными справочников:

- Разработка и внедрение уникальной системы для хранения, управления и публикации данных справочников, таких как финансовые инструменты, контрагенты и другие связные справочники.

- Централизация справочной информации о финансовых инструментах: объединение данных из разных внешних источников (НРД, RU Data) в единую универсальную систему MDM.

2. Автоматизация процессов загрузки и обновления данных:

- Реализация алгоритмов интеграции, которые автоматически получают и обновляют данные в MDM, без участия оператора.

- Интеграция с внешними источниками данных (например, Национальный расчетный депозитарий, RU Data) для автоматического получения и обновления данных справочников.

3. Повышение качества и актуальности данных:

- Повышение качества данных: обеспечение актуальности, целостности и согласованности данных за счет централизованного управления основными данными.

- Настройка механизма проверки и перезаписи данных только при изменениях, с учетом версионирования в MDM.

4. Создание удобного и стандартизированного API для потребителей данных и улучшение доступности данных:

- Разработка механизмов для выдачи данных потребителям через API в унифицированном формате.

- Обеспечение возможности систем-заказчиков получать актуальные данные из MDM по запросу, в нужной структуре.

5. Снижение рисков, связанных с ошибками в данных, и оптимизация процессов управления данными:

- Исключение дублирования, несоответствий и устаревшей информации за счёт унификации форматов и автоматических проверок.

- Внедрение механизмов версионирования данных, мониторинга изменений и уведомлений об ошибках.

6. Создание прозрачной системы мониторинга:

- Ведение журналов событий и уведомлений о критических ошибках, чтобы повысить управляемость интеграционного процесса.

Ситуация до внедрения

АО "ИК "АЙ ТИ ИНВЕСТ" — российская финансовая компания, основанная в 2000 году. Предлагает широкий спектр финансовых услуг, включая брокерское и дилерское обслуживание. депозитарные услуги, управление благосостоянием, индивидуальные инвестиционные решения., консультации по налоговым, юридическим и административным вопросам.

Компания имеет лицензии Центрального банка Российской Федерации на осуществление брокерской, дилерской и депозитарной деятельности. Обслуживает более 2500 частных инвесторов и свыше 270 институциональных клиентов, управляя активами на сумму более 2,5 миллиардов долларов.

До начала проекта в компании отсутствовала единая централизованная система хранения и обработки данных по финансовым инструментам. Информация поступала из различных внешних источников (в частности, НРД и RU Data), но её обработка и распределение по внутренним системам происходили вручную или с использованием разрозненных, неавтоматизированных решений.

Это приводило к следующим проблемам:

1. Фрагментированность данных:

- Отсутствие единого справочника по финансовым инструментам затрудняло синхронизацию данных между системами.

- Разные потребители внутри компании могли оперировать устаревшей или неполной информацией.

2. Зависимость от ручных операций:

- Обработка и верификация информации, полученной из внешних источников, выполнялись вручную, что увеличивало риск ошибок и требовало значительных трудозатрат.

3. Отсутствие прозрачности и контроля изменений:

- Не велось централизованное логирование изменений, не было возможности отследить историю корректировок данных.

- Риски для принятия управленческих решений и затрудняло аудит.

4. Сложности с интеграцией и масштабированием:

- Каждое новое подключение источника данных или потребителя требовало индивидуальной настройки, что замедляло развитие ИТ-инфраструктуры компании.

5. Отсутствие инструментов управления качеством данных:

- Не было настроенных механизмов проверки корректности, полноты и актуальности получаемой информации.

Компания обратилась к автоматизации, потому что поняла, что существующий подход к работе с данными о финансовых инструментах не обеспечивает необходимой точности, актуальности и скорости обработки информации. Ручная обработка данных из внешних источников, отсутствие централизованного справочника и единых механизмов контроля качества создавали риски для бизнеса, тормозили внутренние процессы и усложняли интеграцию с новыми потребителями. Чтобы исключить дублирование информации, повысить прозрачность, упростить сопровождение систем и обеспечить масштабируемость, было принято решение о внедрении системы мастер-данных на базе платформы "1С:MDM".

Уникальность и инновационность проекта

Процесс внедрения "1С:MDM" в АО "ИК "АЙ ТИ ИНВЕСТ" начался с детального анализа текущей архитектуры данных, используемой в организации. Специалисты компании "Первый Бит" провели обследование бизнес-процессов, связанных с обработкой данных по финансовым инструментам. Выявили все внешние источники (в первую очередь НРД и RU Data) и внутренние системы-потребители информации. На этом этапе особое внимание уделялось выявлению разрозненных точек хранения справочной информации, ручных операций и потенциальных дублирований данных. В результате обследования была проведена детальная проработка структуры справочников, построена иерархическая модель с наполнением, охватывающая все ключевые типы финансовых инструментов, контрагентов и связанные категории.

Следующим этапом стала разработка архитектуры будущей интеграции. Было принято решение централизовать данные по финансовым инструментам в "1С:MDM", обеспечив получение, верификацию, хранение и выдачу этих данных потребителям через специально разработанные API.

При разработке архитектуры особое внимание уделялось включению и настройке специфичных данных по рыночным инструментам (MarketData), деривативам, валютным парам, облигациям, а также настройка и загрузка календарей купонов, что обеспечило комплексное покрытие всех областей мастер-данных компании. На этом этапе были учтены ограничения: система создавалась на базе конфигурации "1С:MDM", а развёртывание web-сервера и настройка среды легли на сторону заказчика. Процесс замедлялся необходимостью настройки инфраструктуры и ожидания доступа к внешним источникам. В архитектуру платформы изначально был заложен принцип масштабируемости и модульности, что позволило создать решение, легко адаптируемое под новые источники, потребителей и дополнительные справочники без переработки основной системы.

После утверждения архитектуры и требований, команда приступила к разработке модулей интеграции. Первым блоком стало создание универсальных механизмов формирования HTTP-запросов к источникам данных (НРД и RU Data) и обработки полученных ответов. Разработка потребовала изучения всей документации источников, так как ответы могли приходить в различных форматах, с разной структурой и кодами ошибок. Одним из узких мест здесь стало отсутствие унификации в API поставщиков — пришлось закладывать гибкие механизмы обработки нестандартных случаев и частых ошибок соединения. Также на этом этапе началась разработка схем сопоставления внешних данных с внутренними справочниками MDM.

На следующем этапе был реализован основной блок логики по обработке и сохранению данных в системе MDM. Это включало проверку данных на дубли, сверку с уже существующими записями и частичную перезапись только тех реквизитов, которые действительно изменились. Это было критически важно для корректной работы типового механизма 1С:MDM, поскольку любое лишнее обновление создавало бы новые версии объектов и усложняло бы анализ изменений. Разработчики внедрили отдельный слой логики для минимизации ненужных изменений, а также реализовали инструменты отслеживания отклонений. В рамках этого этапа была выполнена процедура начальной загрузки данных во все разработанные иерархические и специфические справочники системы MDM.

Параллельно с этим велась разработка HTTP-сервисов для потребителей данных. Был создан API, через который внутренние системы могли отправлять запросы, указывая ISIN и необходимые атрибуты. При этом, если массив атрибутов не указывался, система возвращала весь набор доступной информации. Ключевыми задачами здесь стали безопасность (авторизация и проверка прав доступа), устойчивость к некорректным запросам и универсальность формируемой структуры ответов. Также был создан журнал событий и механизм уведомлений об ошибках, чтобы ответственные сотрудники могли оперативно реагировать на сбои.

В рамках запуска системы была проведена полноценная тестовая эксплуатация, включая обмен данными с внешними потребителями, что позволило убедиться в корректности процессов интеграции и готовности платформы к промышленной работе.

Финальным этапом стало создание пользовательского интерфейса и запуск системы в опытную эксплуатацию. Была реализована форма для настройки параметров интеграции, отображения журнала событий и управления обработкой данных. После проведения тестовой загрузки данных и настройки всех справочников, система была введена в эксплуатацию. Разработанные интерфейсы обеспечили удобное управление интеграцией и мониторинг событий для всех ответственных пользователей, позволив сопровождать и масштабировать систему без доработок базового кода. Однако проект продолжал сопровождаться — возникали запросы на уточнение полей, консультации и дополнительные требования, которые классифицировались отдельно. В целом проект прошёл успешно, несмотря на технические сложности, связанные с множеством источников, требованиями к точности и высокими рисками при обновлении критически важной информации.

Уникальность проекта:

• Централизация данных по финансовым инструментам — проект позволил впервые в компании создать единый репозиторий справочной информации, ранее распределённой по множеству источников.
• Многоисточниковая интеграция — решение включало подключение одновременно к двум внешним поставщикам (НРД и RU Data), каждый из которых имел свои особенности API и форматов данных.
• Интеллектуальная проверка изменений — реализована логика частичного обновления данных только при фактическом изменении.
• Гибкость при отсутствии стандартизации — система способна адаптироваться к нестабильным, неунифицированным форматам ответов от внешних источников.
• Полноценный пользовательский интерфейс управления интеграцией — наличие UI для настройки параметров интеграции и анализа событий.

Инновационность проекта:

• Автоматическая обработка и сопоставление атрибутов — интеллектуальные алгоритмы разбора и сопоставления полей с различными справочниками MDM.
• API для потребителей с динамическим выбором атрибутов — потребители могут запрашивать как конкретные поля, так и весь набор данных через единый интерфейс.
• Универсальный механизм логирования и уведомлений — встроенный функционал отслеживания критических ошибок и уведомления ответственных лиц.
• Модульность и масштабируемость архитектуры — возможность легко добавлять новых поставщиков и потребителей данных без переработки всей системы.
• Учет специфики платформы "1С:MDM" — тонкая настройка решений с опорой на типовые механизмы и версионирование, без их нарушения.

Публикации о проекте

• Внедрение "1С:MDM Управление нормативно-справочной информацией" в АО "Инвестиционная компания "АйТиИнвест"

Результаты проекта

В результате внедрения решения "1С:MDM Управление нормативно-справочной информацией, редакция 2.5" в компанию "АЙ ТИ ИНВЕСТ" удалось достичь значительных результатов:

1. Реализована централизованная система хранения и управления данными по финансовым инструментам, контрагентам и другим справочникам (мастер-данные):

- Данные, поступающие из внешних источников (НРД, RU Data), успешно агрегируются и сохраняются в справочниках системы "1С:MDM". Сформирована единая точка хранения актуальной и проверенной информации.

- Для финансовых инструментов создана иерархическая структура с разделением по типам ценных бумаг: акции, облигации, депозитарные расписки и др.

- Для контрагентов реализован учёт эмитентов, депозитариев, регистраторов и других организаций.

- Простые справочники (более 50 наименований) включают такие категории, как "Валюты", "Страны", "Регистрирующий орган" и др.

2. Автоматизирован процесс получения, обработки и сохранения данных:

- Настроены алгоритмы выполнения HTTP-запросов к внешним источникам (например, Национальный расчётный депозитарий, RU Data), реализованы механизмы разбора ответов, сопоставления с внутренними структурами MDM и сохранения изменений.

- При обновлении действует логика минимальных изменений — перезаписываются только обновлённые реквизиты, реализовано версионирование с обязательным указанием источника изменения.

3. Разработан API для потребителей данных:

- Система предоставляет унифицированный API, позволяющий получать структурированные сведения по идентификатору (ISIN) или выборочно по заявленному набору полей, а также весь перечень реквизитов при пустом массиве запроса.

4. Создан механизм логирования и оповещений, внедрена система мониторинга и контроля изменений:

- Вся интеграционная активность фиксируется в журнале событий, при критических ошибках происходит автоматическое уведомление ответственных лиц.

5. Обеспечена возможность настройки и управления интеграцией через пользовательский интерфейс:

- Реализованы специализированные формы для управления параметрами интеграции и просмотра журналов событий, что позволяет сопровождать систему без необходимости в доработках.

6. Проведена первоначальная загрузка справочников и тестовая эксплуатация системы:

- Все необходимые справочники были успешно загружены, подтверждена работоспособность всех компонентов интеграции, включая обмен данными с внешними потребителями через тестовый контур.

7. Созданы условия для масштабирования и развития интеграционной платформы:

- Архитектура позволяет добавлять новые источники и потребителей данных без значительных изменений за счёт модульности.

- Внедрён функционал для работы с рыночными активами, деривативами, валютными парами и облигациями — с интеграцией внешних источников.

- В системе реализовано хранение данных по календарям купонов в справочнике "Финансовые инструменты", включён парсинг купонных событий от НРД.

1С:MDM Управление нормативно-справочной информацией :
• Централизованное хранилище справочников
• Интеграция с внешними и внутренними источниками
• Версионирование и аудит
• Управление качеством
• Стандартизированный API
• Мониторинг и уведомления
• Инструменты администрирования и пользовательский интерфейс

Архитектура решения и масштаб проекта

1. Получение исходных данных

Первый этап — поступление справочной информации от двух внешних источников:

— Национального расчетного депозитария (НРД)

— RU Data (информационный провайдер)

Эти источники предоставляют данные о финансовых инструментах, контрагентах, рыночных событиях и другой информации для учета.

2. Интеграция и загрузка в систему

- Данные проходят через алгоритмы интеграции, которые осуществляют обработку, очистку, преобразование и сопоставление форматов поступающих сведений.

- После этого информация загружается в центр обработки данных — "1С:MDM Управление нормативно-справочной информацией, редакция 2.5".

3. Централизованное хранение, версионирование и контроль

- В "1С:MDM" происходит хранение данных с возможностью версионирования.

- Информация структурируется по центральным справочникам:

• Справочник финансовых инструментов (акции, облигации, депозитарные расписки и др.)
• Справочник контрагентов (эмитенты, депозитарии, регистраторы и т.д.)
• Простые справочники (например: валюты, страны, органы и т.п.)
• Реестры/регистры сведений (например: MarketData, календари купонов, деривативы, валютные пары)

4. Интеграция с потребителями через API

- Программный интерфейс (API) предоставляет унифицированный способ доступа к данным внешним системам и внутренним модулям компании.

- К данным могут обращаться:

• Внутренние системы компании (бэк-офис, фронт-офис, отчётность и др.)
• Пользовательские системы компании (торговая система, мобильное приложение, личный кабинет)

5. Управление и сопровождение

- Вся система сопровождается через пользовательский интерфейс.

- С помощью интерфейса осуществляется администрирование интеграций, работа со справочниками, мониторинг загрузок, настройка, просмотр журналов событий, аудит.