Создание единой системы управления НСИ
Создание единой системы управления нормативно-справочной информацией (НСИ) поможет решить целый комплекс проблем, вызванных множественностью точек ввода НСИ, отсутствием единых стандартов ведения НСИ и недостаточной квалификацией персонала.
Результат внедрения централизованной системы управления НСИ — приведение записей корпоративных справочников к стандартному, легко идентифицируемому виду, устранение неактуальной и дублирующейся информации, организация единой точки ввода, обработки и контроля содержимого справочников. Все это предоставляет возможности для улучшения качества консолидации учетных данных, упрощение задач подготовки бухгалтерской отчетности и отчетности по МСФО, оптимизации материальных запасов, повышения качества управленческих решений.
Централизованное управление нормативно-справочной информацией с DATAREON
Специалисты DATAREON имеют значительный опыт систематизации нормативно-справочной информации, разработки единых регламентов использования и ведения НСИ, внедрения специализированных автоматизированных систем управления НСИ на базе MDM-системы «1С:Предприятие 8. MDM Управление НСИ». В рамках выполненных проектов специалистами DATAREON проводилась экспертная обработка записей справочников МТР, услуг, контрагентов, справочников финансового блока, организационной структуры и управления персоналом.
Успешный опыт работы в области управления НСИ, апробированные на практике эффективные методики и собственная экспертиза позволяют DATAREON оптимизировать использование ресурсов предприятий-клиентов в результате автоматизации управления НСИ.
Для уточнения, каким образом автоматизация управления нормативно-справочной информацией может быть полезна и экономически целесообразна именно для вашего предприятия, пожалуйста, обращайтесь к нам.
Что такое нормативно-справочная информация (НСИ)?
Нормативно-справочная информация — условно-постоянная составляющая общей корпоративной информации. Она используется при регламентации деятельности компании, обеспечивая «сшивку» данных, сопровождающих бизнес-процессы компании. Другими словами, НСИ — это ядро единого информационного пространства организации, включающее в себя набор справочников, словарей, классификаторов, стандартов, регламентов, используемых в деятельности предприятия.
Предпосылки для организации централизованного управления нормативно-справочной информацией
Создание единого информационного пространства — необходимое условие эффективного управления современными крупными и средними предприятиями. Формирование единой среды предполагает интеграцию управленческих процессов, сопровождающуюся нормализацией информационных потоков. Часто перемещение информации на разных внутрикорпоративных технологических участках поддерживается различными информационными и учетными системами. Соответственно, возникает необходимость интеграции этих систем.
Задача интеграции информационных и учетных систем состоит из двух взаимосвязанных частей: интеграции данных и следующей за ней интеграции приложений. Выполняя интеграцию данных, предприятию следует провести унификацию и стандартизацию нормативно-справочной информации.
Для чего необходимо централизованное управление НСИ
Менеджеры DATAREON будут рады ответить на все вопросы по тел. +7(495)280-08-01. Также вы можете написать нам через форму
Администратор нси что это
Управление данными не сводится к выделению роли дата стюарда и обеспечению Data Quality. Сегодня мы расскажем, что такое мастер-данные, как искусственный интеллект помогает решать проблемы управления НСИ и почему эффективный Master Data Management (MDM) особенно важен в мире Big Data.
Что такое мастер-данные или зачем управлять НСИ
Начнем с определения: мастер-данные или основные данные – это важнейшая для бизнеса информацией о клиентах, продуктах, услугах, персонале, технологиях, материалах и прочей доменных объектах, которые редко изменяются и не являются транзакционными. В России и СНГ сложилась практика наименования таких данных термином «нормативно-справочная информация» (НСИ) [1]. В данной статье мы будем считать эти понятия синонимами.
Классический пример, показывающий необходимость управления НСИ – это кейс с разными названиями одного и того же объекта. Например, сокращенное и полное наименование контрагента в разных учетных системах. Такая путаница с записями может привести к некорректным или несвоевременным действиям. Например, повторные звонки клиенту с предложением товара или услуги, которыми он уже воспользовался, отсутствие скидок по программам лояльности и даже пропажа товарно-материальных ценностей из-за невозможности их однозначной идентификации в складских системах. В частности, в типовых маркетинговых кампаниях от 20 до 40% клиентских профилей – это дубликаты или фейковые записи. Однако, все они учитываются при распределении рекламного бюджета, что приводит к неэффективным инвестициям [2]. В эпоху Big Data, когда всяких данных, в т.ч. основных, становится все больше, проблема эффективного управления ими особенно актуальна.
Основные данные отличаются от транзакционных большей стабильностью, меньшими объемами и усложненной структурой. Например, разные сведения о клиенте в различных бизнес-подразделениях. При этом метаданные, которые описывают непосредственно НСИ, могут меняться достаточно часто. Поэтому требуется не только сбор, но и представление мастер-данных для последующего бизнес-анализа. Необходимо работать с текущими данными и анализировать историю их изменений [3]. Например, чтобы сохранить накопленные клиентом бонусы при смене наименования фирмы или изменении паспортных данных физлица.
Таким образом, главная цель управления мастер-данными – это гарантировать отсутствие пропущенных, повторяющихся, неполных и противоречивых записей об объектах бизнес-домена во всех корпоративных информационных системах. Для этого существует целая ИТ-дисциплина – Master Data Management, которая включает целый ряд структурированных подходов, процессов и инструментов по эффективному управлению НСИ.
MDM-система как средство синхронизации разных представлений об одном объекте
Процессы и инструменты Master Data Management
Задачи MDM включают сбор, накопление, очистку, сопоставление, консолидацию, проверку качества и распространение корпоративных данных, а также обеспечение их последующей согласованности и контроль использования в различных операционных и аналитических приложениях [1]. Обычно эти операции реализуются с помощью специализированного программного обеспечения. Например, Informatica Data Quality, Microsoft Data Quality Services, Oracle Enterprise Data Quality, SAP Data Services, Talend Open Studio for Data Quality и другие коммерческие продукты, а также открытые сервисы. Аналитическое агентство Gartner составило рейтинг популярных MDM-решений, проранжировав их по удобству использования, функциональным возможностям и отзывам профессионалов [4].
С технической точки зрения внедрение MDM сводится к синхронизации и единому представлению справочных данных в разных информационных системах. Традиционно это делается с помощью следующих вариантов [5]:
Третий подход наиболее перспективен для MDM-операций с помощью инструментов Big Data. В частности, именно он позволяет использовать для этого средства искусственного интеллекта. Как это реализуется на практике, мы рассмотрим далее.
Big Data и Machine Learning для MDM
Исследовательское бюро Gartner не случайно включило расширенное управление данными в ТОП-10 трендов в области Data & Analytics. Алгоритмы машинного обучения и другие методы искусственного интеллекта могут выявить взаимосвязи между разными записями для обнаружения дублей и сопоставления различных представлений одного объекта. Так средства Machine Learning позволяют автоматизировать и сделать MDM-процессы самонастраивающимися [6]. А интерактивный полнотекстовый поиск корректных наименований справочных объектов можно реализовать с помощью Apache Solr или Elasticsearch. Например, именно так отечественный маркетплейс одежды и аксессуаров Lamoda сделал на своем сайте сервис подсказок, который помогает пользователям найти нужную вещь среди 4 миллионов товаров и 3 тысяч брендов. По сути, все эти объекты представляют собой мастер-данные или записи справочников НСИ. Подробнее об этом кейсе мы писали здесь.
Также имеет смысл интегрировать MDM-системы не только с бизнес-приложениями, но и с корпоративными хранилищами и озерами данных на базе Apache Hadoop для анализа исторической информации. В свою очередь, пакетный обмен данными между MDM-системой и локальными СУБД клиентских систем, может быть реализован с помощью ETL-процессов, например, Apache Airflow. Таким образом, технологии Big Data позволяют средствам Master Data Management отвечать потребностям современного бизнеса [7].
Компоненты сервиса подсказок на сайте Lamoda: Apache AirFlow, Solr, Docker, Prometheus, PostgreSQL, Grafana
В следующей статье мы продолжим разговор про Big Data Management и рассмотрим, что такое Data Lineage и Provenance. А как обеспечить эффективное управление НСИ с помощью больших данных и Machine Learning, вы узнаете на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:
НСИ в 1С
Создание информационных систем актуально для всех предприятий в век бурного технологического развития. В особенности таких, которые затрагивают самые разные направления деятельности, включая бухгалтерский, складской и управленческий учет, управление сотрудниками. Для построения единых систем нормативно-справочной информации доступно решение НСИ в 1С.
Ведь можно создать целый ряд независимых друг от друга систем, которые будут отвечать за каждое из направлений. Но в определенные моменты деятельности может возникнуть потребность увидеть происходящее целиком. А если на предприятии используются различные системы, сопоставить и сравнить данные невозможно. Это связано с тем, что наименования присваиваются в системах различными способами, что может привести к противоречивости и некорректности данных, а также их дублированию.
Основная причина несоответствий заключается в отсутствии единого подхода к созданию мастер-данных. Другими словами сведений, которые представляют основу структурных элементов компании.
Поэтому на предприятиях должна быть создана нормативно-справочная система, с помощью которой можно своевременно идентифицировать источник данных и корректно оперировать сведениями.
Сильные стороны НСИ, результаты внедрения
Нормативно-справочная информация – это ведение и поддержка различных справочников, которые обеспечивают ввод данных в информационном пространстве, в котором ведется работа. Такие системы можно назвать условно-постоянными.
Для эффективного управления предприятием должно быть создано общее информационное пространство. Таким образом, любое перемещение информации между различными участками будет организовано единообразно и будет опираться на единую базу. Для интеграции всех существующих систем понадобится централизованное управление нормативно-справочной информацией.
С помощью НСИ можно добиться следующих результатов:
Таким образом, осуществляется централизация ответственности за качество самой нормативно-справочной системы.
Собственники субъектов хозяйственной деятельности получают следующие преимущества:
Все это существенно упрощает подготовку отчетности – управленческой и бухгалтерской. В том числе система оптимизирует материальные затраты, повышает качество решений, улучшает качество консолидации учетных данных.
Справочники в 1С
В разделе нормативно-справочной информации в товароучетной программе 1С содержатся справочники, необходимые для работы в большинстве компаний. Эти справочники можно редактировать, вносить в них информацию для корректной работы по определенному виду деятельности.
Справочники можно разделить на основные и прочие. Первая категория включает справочники, необходимые для оформления документации по хозяйственной деятельности. К прочим относятся справочники, которые облегчают поиск и ввод данных.
В зависимости от вида деятельности, основные справочники содержат информацию о структуре компании и номенклатуре. К прочим относятся классификаторы, содержащие информацию общероссийских классификаторов, в их числе адресный классификатор, сведения о банках. Для предприятия, которое занимается торговлей, это могут быть склады, в которых хранится товар, торговые точки, кассы. Для сферы производства информационная структура будет более сложной.
Фирмы по оказанию услуг может иметь простую структуру в зависимости от количества видов услуг. Например, это может быть информация о самой организации, ее контрагентах. В одних решениях нормативно-справочная информация может быть вынесена в отдельный раздел меню, в других иметь вид Справочников в разделе «Компания», «Настройка» или меню «Справочники».
Описание НСИ
В любой информационной системе есть объекты и свойства. Каждый объект обладает определенными свойствами, по которым его можно идентифицировать. Все строится по определенным правилам и нормам, в качестве примера можно рассмотреть документ Спецификация, в котором отражены объекты, свойства и количество.
В 1С:ERP представлен отдельный раздел в меню «НСИ и администрирование», который включает два блока – «Настройка НСИ и разделов» и НСИ, содержащий справочники. В первом из них содержится нормативно-справочная информация для разных направлений, в том числе казначейство, заработная плата, кадры, налоги.
По отдельности НСИ размещена в некоторых разделах, включая «Закупки», «Производство», «Продажи». Любые нарушения при создании данных в системе могут вызвать проблемы, поэтому важно понимать архитектуру сведений, которые создают логистику. В системе содержится большое количество предустановленных реквизитов.
Вся корпоративная информационная система основана на архитектуре и полагается на эти сведения.
С мастер-данными происходят различные события. В результате этого производится запись в той или иной форме в базу данных. Отчеты строятся на основании той или иной формы различными способами.
Номенклатура – что это такое
Справочник «Номенклатура» присутствует во всех НСИ, которые связаны со сферой торговли, производства, оказания услуг, выполнения работ. В этом справочнике справа представлены виды номенклатуры, а в левой части – непосредственно объекты.
Следующие их виды установлены в 1С: Управление нашей фирмой – материалы, бытовая техника, розница, модули, работы и услуги, сантехника, мебельные детали. Внутри каждого из них представлены объекты, включенные в группу.
Отличаются виды объектов и их свойства в 1С: ERP. Они зависят от видов деятельности компании. Система позволяет задать фильтр по свойствам или видам.
По сути, виды номенклатуры представляют собой разрезы, которые содержат в себе определенные характеристики. Их объединяют по определенным признакам. Этих признаков может быть несколько, в частности, по отношению к производственным процессам.
Справочники в 1С:ERP
В основном справочнике содержатся сведения об Организации.
В них представлена следующая информация:
Есть и прочие сведения, такие как лицензии, кассы предприятия, лицевые счета предприятия. Впоследствии вся информация выводится в соответствующих документах.
Настройка выполняется в разделе «Настройка НСИ и разделов», в котором следует поставить галочку, если ведется учет нескольких организаций. Также можно задать валюту, настроить график, отметить подразделения в отдельном банке, разделить операции закупок и продаж для управленческого, регламентного учета.
В разрезе направлений отражены склады, отделы компании и службы в Справочнике «Структура предприятия». В справочниках «Кассы предприятия» и «Кассы ККМ» содержатся сведения о нумерации кассовых ордеров, принадлежности кассы к структурному подразделению, складах, регистрационном номере, типе касс для контрольно-кассовой машины.
Справочник «Физические лица» включает данные о любых физических лицах, связанных
С помощью справочника можно сгруппировать массивы по различным категориям. Предусмотрена возможность внесения сведений о гражданстве, контактных данных, дате и месте рождении, страховании и налогах, лицевых счетах.
Детальная информация о продукции производства и местах хранения товаров содержится в справочнике «Склады и хранение». Группировка производится по таким направлениям как виды цены, назначение склада, контактные данные.
Разновидности и состав номенклатуры
Данные о материалах, продукции, полуфабрикатах, предоставляемых услугах и покупных товарах хранятся в справочнике «Номенклатура».
Предусмотрена возможность настройки классификаторов номенклатуры, включая единицы измерения, виды, ценовые, складские и сезонные группы, по ТН ВЭД и по ОКВЭД.
Для производственных предприятий в группе комплектующих представлены такие номенклатуры как полуфабрикаты, изделия из дерева, основные материалы.
В любом виде номенклатуры можно увидеть основные данные о нем. Доступна функция корректировки.
На этапе создания нового вида необходимо указать группу доступа.
Что представляет собой номенклатура
В каждом объекте представлена табличная форма. На вкладке «Карточка» содержатся такие реквизиты как код, наименование, описание с изображением, артикул, параметры учета, данные о производстве, цены. Приведенные выше сведения можно ввести или изменить на вкладке «Реквизиты».
Единицы измерения могут отличаться для отражения единиц для отчетов и единиц хранения. Также здесь указываются группы учета (финансового и регламентированного), НДС. Если у объекта есть отличительные свойства, их можно увидеть при его выделении, непосредственно под видами.
Это значит, что можно выбрать материалы по определенным характеристикам. В этом же окне в строке поиска предусмотрен ввод необходимого объекта. С помощью перемещения курсора по видам номенклатуры можно гораздо быстрее найти элемент, что очень удобно при большом количестве наименований. Доступен поиск по штрих-коду, сортировка по товарам другого качества и номенклатуре с аналогичными характеристиками.
После материалов и комплектующих будет рассмотрена готовая продукция.
Спецификация
Например, предприятие занимается производством парников. Этот процесс включает изготовление деталей и их последующую сборку. Спецификация содержит данные о расходных материалах, всех этапах работы, трудовых затратах. Спецификацию можно посмотреть в разделе меню «Производство», и в категории «Нормативно-справочная информация» перейти к «Ресурсным спецификациям». Откроется список, в котором необходимо выбрать документ.
В форме «Спецификация» представлено несколько закладок. На основной размещена номенклатура, категория изделия, наименование, характеристики, единицы измерения, процент брака. На вкладке «Материалы и работы» указываются материалы, которые понадобятся при производстве.
В примере с парником это будет поликарбонат, саморезы, электродная проволока, профильная труба, каркас двери. Для всех наименований указываются единицы измерения, количество, способ получения, статья калькуляции. При «Установке дверей» способ получения материала производится по спецификации «Каркас дверей для парника». Отдельные характеристики для каждого из материалов не предусмотрены.
По спецификации «Каркас двери для парника» также выделены материалы для производства и этапы работы. На вкладке «Трудозатраты» размещены данные о количестве часов различных видов работ для изготовления парника, включая сварочные, слесарные, резку пластика, монтажные. Указывается, какой вид работ на каком этапе используется и статьи калькуляции.
Следующая закладка содержит сведения о процессе производства, в том числе очередность этапов и подразделения, в которых выполняется работа. Дополнительно приводится распределение затрат на изделия и указывается ответственное лицо.
Дерево спецификаций
Нюансы спецификации можно посмотреть с помощью «Дерева спецификаций».
Все данные спецификации можно найти в одном окне. Если спецификация основная, она будет подставляться во время организации работ по умолчанию. Эти документы выделяются шрифтом в общем списке.
К форме сравнения в списке спецификаций можно перейти с помощью клавиши «Сравнить спецификации». Нажатием кнопки «Добавить» выбираются необходимые спецификации, после чего нужно выбрать «Сформировать отчет». Появится таблица, в которой будут отражены сходства и различия при производстве выбранной продукции.
Можно оставить необходимые документы, для выбора этой опции нужно нажать «Показать только отличия».
Из всего вышеизложенного можно сделать вывод, что база данных строится на отдельных объектах с определенными свойствами. Эти объекты объединяются по определенным направлениям в списки и табличные формы. Они хранятся в товароучетной программе 1С и затем используются при заполнении документов, а также при последующем оформлении определенных процессов. Доступны списки клиентов, сотрудников, поставщиков.
Каждая позиция может хранить различную дополнительную информацию. В справочниках имеется иерархия, это значит, что данные объединяются в группы и подгруппы. Совмещение сведений, их взаимосвязи собираются в определенные нормативы. Все эти данные и составляют нормативно-справочную информацию, которая позволяет создать единую систему учета в компании.
Сервисы, помогающие в работе бухгалтера, вы можете приобрести здесь.
Как не сойти с ума в разработке систем управления нормативно-справочной информацией. Из истории наших проектов
За иллюстрации отдельное спасибо замечательному художнику Васе Ложкину.
Случай первый. Как загрузить вагон и маленькую тележку
Создание единой системы управления контрагентами для крупной производственной компании со множеством заводов по всей стране и за рубежом.
Цель проекта – создать единую базу контрагентов для всех подразделений. Ведение контрагентов осуществляется на основе заявок, которым присваиваются приоритеты от низкого до срочного. Срочная заявка должна быть обработана экспертами НСИ за 2 часа вне зависимости от разницы во времени между подразделениями.
Живая история
Проект был согласован со всеми заинтересованными сторонами (в этом нас убедило руководство заказчика) и разработан в заданные сроки в соответствии с утвержденными требованиями.
Презентация созданной системы управления контрагентами проходила гладко, пока не встала одна видная женщина – руководитель сибирского филиала – и весьма энергично, с использованием русских идиоматических выражений, довела до сведения собравшихся, что когда к ней приходит железнодорожный вагон под погрузку готовой продукции, она не будет ждать 2 часа, пока кто-то там в Москве рассмотрит заявку на добавление покупателя.
Она не собирается оплачивать простой вагона, пока происходит утверждение заявки, а заведет данные покупателя в систему как есть и отгрузит товар, а московские товарищи могут разбираться потом с информацией о покупателе сколько угодно.
Это заявление было поддержано еще несколькими руководителями филиалов компании, что практически полностью разрушило централизованную методологию ведения единого справочника контрагентов на основе заявок.
В итоге проект был видоизменен таким образом, чтобы все филиалы имели доступ к базе данных контрагентов и могли вносить в нее изменения напрямую, но при этом выполнялся автоматический поиск схожих записей, которые отображались сотруднику филиала, и он принимал решение о необходимости корректировки данных, которые позднее проверялись экспертной группой.
Что мы запомнили: не доверяйте словам руководителей и ответственных лиц со стороны заказчика, что все решения согласованы, все в теме и возражений нет. Выявляйте все заинтересованные стороны проекта и старайтесь выяснить требования к системе и ограничения непосредственно у них.
Случай второй. Как хотим, так и используем
Создание централизованной системы управления клиентами для страховой компании с большим числом филиалов и агентов по всей стране.
Цель проекта – создание сводной клиентской базы для использования в аналитических приложениях. База данных собиралась со всех филиалов, данные выверялись, дополнялись, дублирующиеся объекты устранялись. Количество клиентов в одном филиале – от тысячи до нескольких миллионов. При этом, пересечений по клиентам между филиалами практически нет.
После создания сводной клиентской базы она должна была периодически сравниваться с базами данных филиалов для выявления различий, их последующей обработки и загрузки изменений в сводную базу. Прирост клиентской базы между сверками составлял несколько тысяч записей.
Для выполнения сверки был создан специальный модуль, архитектура которого была спроектирована исходя из того, что он должен быстро сравнивать большое количество записей и формировать относительно небольшой XML-файл с изменениями для загрузки. Формат XML был выбран заказчиком.
После внедрения системы мы получили от заказчика сообщение, что модуль сверки работает крайне медленно и формирует для загрузки в сводную базу файл огромного размера, который они ничем не могут открыть.
Что же выяснилось? Заказчик производил начальную загрузку данных из филиалов в сводный справочник. Экспертам эта работа показалась нудной и трудоемкой, и они просто взяли модуль сверки и подсунули ему полные данные нового филиала, которые еще не разу не загружались в сводный справочник.
Модуль сверки, который в соответствии с ТЗ должен был формировать сведения о различиях в количестве нескольких тысяч записей, получил на вход два миллиона записей, и все они в сводном справочнике отсутствовали.
В результате, за несколько часов нечеловеческих усилий модуль сверки все-таки сформировал файл для загрузки, в который вошли все данные филиала. И, да, этот файл был огромным.
Модуль сверки был использован заказчиком не по назначению, но сам факт, что сверка позволяет выполнять начальную загрузку данных, заказчику понравился, и он собирался и дальше работать именно таким образом, только просил значительно ускорить работу модуля и что-нибудь сделать с создаваемым файлом, чтобы его можно было открывать в текстовом редакторе.
На наши возражения, что модуль сверки не предназначен для начальной загрузки данных, заказчик радостно показал ТЗ и спросил, а где это тут написано? Как хотим, так и используем!
В результате нам пришлось вносить изменения в архитектуру модуля сверки с целью обработки больших массивов данных и формирования выходного файла в формате CSV, так как заказчик решительно не захотел отказываться от такого удобного инструмента.
Что мы запомнили: всегда включайте в ТЗ описание ограничений – что ваша система делать не должна. Ну, или создавайте решения, которые учитывают все возможные сценарии использования, что сильно дороже.
Случай третий. Не слонёнок, а слон, да еще и должен летать
Создание централизованной системы ведения НСИ для финансовой организации.
Цель проекта — создание централизованной системы ведения справочников и классификаторов с рассылкой изменений в заинтересованные системы и базы данных. Предоставление доступа внешним системам к справочникам через веб-сервисы нашей системы.
Обычно у заказчиков среднее количество записей на один справочник составляет от нескольких сотен до нескольких тысяч. Наш недавний рекордсмен – справочник, в котором было 11 млн. записей. Но этот заказчик преподнес нам сюрприз. В его справочнике оказалось свыше 100 млн. записей. Загружали мы его больше суток, т.к. при начальной загрузке выполнялось множество проверок данных. Это не было бы большой проблемой, но заказчик потребовал, чтобы справочник загружался за несколько минут.
В результате нам пришлось сильно изменить порядок работы системы с этим справочником. Фактически, его ведение осуществляется за пределами системы, а мы только предоставляем интерфейс для его использования. Сейчас мы разрабатываем для нашей системы новые способы работы с очень большими справочниками. Надеемся, что заказчику понравится.
Что мы запомнили: в современном мире данных становится все больше, и темпы их роста постоянно увеличиваются. Система должна быть готова к высоким нагрузкам даже там, где они изначально не предполагались. Мы постоянно развиваем наше решение с учетом современных тенденций роста данных и повышения требований к скорости их обработки.
Случай четвертый. Сложный фокус с файлами
Создание централизованной системы ведения НСИ в крупном банке.
Цель проекта – создание централизованной системы ведения справочников и классификаторов с рассылкой изменений в заинтересованные системы и базы данных. Особенность проекта – весьма непростые процессы распространения изменений, затрагивающие множество систем.
Поскольку в дальнейшем мне придется упомянуть наше собственное решение для управления НСИ, позволю себе небольшое лирическое отступление.
Задачи наших заказчиков во многом схожи, и мы решили снизить затраты на программные разработки и сократить время проектов, создав собственную универсальную платформу для ведения НСИ и основных данных (Reference Data Management & Master Data Management). Система существует уже более 10 лет, и все эти годы мы в ЛАНИТ ее активно развиваем.
NORMA поддерживает централизованное и распределенное ведение НСИ. Все данные и метаинформация ведутся с учетом истории изменений и система позволяет просматривать и изменять весь массив НСИ на произвольную дату в прошлом или будущем. Для справочников могут быть настроены процессы согласования и утверждения изменений. В состав системы входит выделенный сервер распространения изменений, который позволяет взаимодействовать с внешними системам через различные интерфейсы и создавать достаточно сложные интеграционные бизнес-процессы (этакий мини BizTalk Server). У нас есть пакеты экспорта/импорта данных, которые умеют выгружать/загружать данные справочников в базы данных и файлы различных форматов. Поддерживается ведение перекодировочных таблиц для внешних систем.
NORMA включает графический построитель запросов и дизайнер отчетов. Кроме работы с собственными справочниками, система позволяет через свой интерфейс просматривать и изменять справочники, которые находятся во внешних, по отношению к ней, базах данных, а также использовать эти справочники в построителе запросов и пакетах экспорта/импорта.
В ответ на возникновение различных событий в системе, например, события внесения изменений в справочник, могут запускаться подключаемые программные компоненты, написанные на C#, которые могут как проверять данные, так и взаимодействовать с внешними системами и, собственно, самой системой NORMA. Практически все функции системы доступны через веб-сервисы.
Система может масштабироваться как вертикально, путем увеличения мощности сервера приложений и базы данных, так и горизонтально за счет использования многоузлового сервера приложений, в котором каждый узел или группа узлов отвечает за выполнение отдельной функции. Для хранения НСИ система может использовать Microsoft SQL Server, Oracle или PostgreSQL.
Обычно при создании справочников и процессов распространения изменений заказчик консультируется с нашими аналитиками, какой инструмент или набор инструментов, предоставляемых системой, лучше использовать для конкретной задачи. В этот раз заказчик сказал, что будет создавать справочники и процессы самостоятельно.
Через некоторое время к нам обратился один из специалистов заказчика с жалобой, что у него не загружаются данные в систему. В подтверждение нам прислали пакет импорта данных, исходный файл с загружаемыми записями и сообщение об ошибке, в котором говорилось, что загружаемые данные имеют неверный тип.
Начинаем разбираться. Крутим пакет и так, и этак, пробуем разные варианты представления исходных данных, но ошибку повторить не можем. Обращаемся к заказчику с вопросами, может быть, у пакета импорта есть подключенные программные компоненты, может быть на справочник наложены какие-то дополнительные ограничения, может быть данные не от этого процесса? На все получаем ответ — ничего такого нет, все должно легко загружаться и раньше работало.
Оказывается, этот пакет импорта был только вершина айсберга. Если кратко и сильно упрощенно, то происходило следующее. Процедура импорта загружала правильные данные из исходного файла в справочник. Исходный файл удалялся. Затем наша система выполняла распространение изменений в несколько баз данных, в одной из которых производилось сравнение собственных данных с нашими изменениями и формировался файл с расхождениями, который возвращался в нашу систему для загрузки. Причем для загрузки этого файла заказчик использовал ту же процедуру импорта, что и для исходного файла. И вот именно в этом файле, сформированном внешней системой, были данные неверного типа. Очевидно, что при анализе исходного файла мы никаких ошибок найти не могли, а про второй файл и развесистый процесс распространения изменений нам ничего не сообщили.
Что мы запомнили: Всегда проверяйте полученную информацию даже если вам говорят, что у нас тут маленькая проблемка, и она вот именно в этом месте, мамой клянусь! Анализируйте проблему в контексте.
Случай пятый. Я привыкаю к несовпадениям
Создание системы управления НСИ в производственной компании.
Цель проекта – создание системы ведения НСИ в управляющей компании со множеством филиалов, заводов и конструкторских подразделений.
В этот раз мы дальше нескольких презентаций не продвинулись. Наша система NORMA очень понравилась технарям. Она закрывала все их существующие проблемы. Дальше пришла очередь показывать систему руководству, и вот тут произошел облом десятилетия. Высокий руководитель посмотрел, послушал и сказал: «Мы тут все работаем на продуктах Apple, у них есть определенный стиль, а ваша система в этот стиль не вписывается. Мы ее даже рассматривать не будем».
Что мы запомнили: заказчики бывают разные, и некоторым вы просто не подходите. Стиль другой.
Подобные истории случаются в различных проектах. Что интересного было в вашей проектной жизни? Что стало для вас неожиданным уроком? Делитесь в комментариях.