Автоматизация ведения справочников НСИ: поиск дублей, правила создания записей и единые коды

Автоматизация ведения справочников НСИ нужна, когда карточки контрагентов и номенклатуры заводят все подряд, а дубли находят на сверке. Мы строим сервис, который ищет похожую запись до создания новой, ведёт заявку через согласование, присваивает единый код и передаёт изменения в 1С, CRM и склад. ИИ предлагает объединения, решает человек: слияние и удаление без вашего решения не выполняются.

Первая ступень с точной ценой: 200 000 ₽, 2–3 неделиИИ предлагает объединения, человек утверждаетПравила, журнал решений и исходники в вашем репозитории

С чем приходят

Как справочники портятся, когда их ведут руками

Автоматизация ведения справочников НСИ нужна там, где повторы и расхождения кодов уже мешают работать. Шесть типичных картин.

Карточку заводят «на всякий случай»

Менеджер не нашёл контрагента по названию и создал нового. Через месяц в базе две карточки одной компании.

Кодов три, а компания одна

В 1С, CRM и на складе у контрагента разные коды, а связь держится на таблице одного сотрудника.

Исправление не доезжает

Реквизиты поправили в 1С, а в CRM и на сайте остались старые: счёт уходит на прежний адрес.

Новая запись ждёт неделю

Заявка ходит по почте, согласующий в отпуске, и менеджер заводит запись сам.

Чистят раз в год

Дубли собирают перед инвентаризацией или переносом, через полгода они появляются снова: правил создания нет.

Слияние откладывают

Неясно, какая запись главная и что будет со ссылками в документах, поэтому повторы живут годами.

Схема

Как устроена автоматизация ведения справочников НСИ: путь одной записи

Сервис стоит между людьми, которые просят запись, и системами, которые её используют.

Автоматизация ведения справочников НСИ (нормативно-справочной информации) — это не разовая чистка, а порядок, при котором новая запись не появляется без проверки, а изменение доходит до всех систем. Роли владельцев, жизненный цикл записи и правила наименования описаны в статье про НСИ при внедрении ERP; здесь о том, что из этого берёт на себя сервис.

  1. Заявка. Сотрудник вводит ИНН или название по шаблону справочника и не создаёт карточку напрямую в 1С.
  2. Поиск похожих. Точные ключи, нормализованное название, адрес, счёт, домен почты. Сотрудник видит «такая запись есть» со ссылкой и датой последнего документа.
  3. Правила. Обязательные поля, формат ИНН и КПП, вид и группа, шаблон названия. Не прошедшее проверку возвращается с причиной.
  4. Согласование. Запись подтверждает владелец справочника; заявку не согласует тот, кто её подал.
  5. Код и запись. Присваивается единый код, запись создаётся в главной системе, остальные получают копию через обмен.
  6. Контроль. Раз в неделю те же проверки идут по всей базе: новые пары-кандидаты и записи без владельца попадают в очередь разбора.
Справочники

Справочники НСИ: типичные дубли, правило создания и контроль

Как ищутся пары-кандидаты и какие признаки сравнивать, разобрано в статье «Как найти дубли в справочниках». Строки примерные.

Справочник
Дубли
Правило
Контроль
СправочникКонтрагентычистка справочников контрагентов
ДублиОдна компания в разных написаниях; филиал заведён как отдельная фирма; ИП и то же лицо как физическое лицо с одним ИНН
ПравилоСоздание только заявкой; ключ ИНН и КПП, у ИП ИНН; название приводится к единому виду до сравнения
КонтрольОдин ИНН при разных КПП автоматически не сливается; отчёт о карточках без договора и движения
СправочникНоменклатурачистка номенклатуры
ДублиОдин товар в двух единицах; размер и марка внутри названия; свой артикул и артикул поставщика в разных карточках
ПравилоОбязательны вид, группа, базовая единица; название по шаблону группы; артикул отдельным полем
КонтрольОдинаковый артикул у двух активных карточек идёт в очередь; карточка без группы блокируется
СправочникДоговорыдокументы-основания
ДублиДоговор заведён по скану и по заказу; допсоглашение оформлено как новый договор
ПравилоКлюч: контрагент, номер, дата; допсоглашение создаётся только внутри договора
КонтрольДоговоры без срока и без контрагента попадают в еженедельный список
СправочникАдреса доставкигрузополучатели и точки
ДублиОдин склад клиента записан тремя способами; к новому заказу создаётся новая точка
ПравилоАдрес приводится к единому виду, одна точка — одна запись, код точки уходит перевозчику
КонтрольТочки без заказов за год идут владельцу на проверку
СправочникЕдиницы и группышт, штука, ед.
ДублиЕдиница заведена в нескольких написаниях; нет коэффициента между закупкой и расходом
ПравилоЕдиницы из одного справочника; коэффициенты хранятся в карточке номенклатуры
КонтрольПозиции без коэффициента, где закупка и расход в разных единицах
Решения

Очередь решений: что видит человек и что происходит после ответа

Сервис не сливает записи сам: он предлагает пару с пояснением, а решает владелец справочника.

Решение
Кто
Видит
После ответа
РешениеДубль, сливаемпара — одна запись
КтоВладелец справочника
ВидитОбе записи рядом, причина совпадения, число документов у каждой, кто и когда создал
После ответаВыбрана главная запись, замена ссылок проверена на копии, прежний код сохранён в поле. Слияние делает ваш специалист стандартной обработкой 1С или сервис по утверждённому порядку
РешениеНе дубльпохожи, но разные
КтоВладелец справочника
ВидитТе же данные и поле «причина»
После ответаПара запоминается и не предлагается снова, пока не изменится реквизит; причина остаётся в журнале
РешениеРазные исполненияразмер, марка, упаковка
КтоВладелец или технолог
ВидитПара и различие между записями
После ответаЗаписи остаются, между ними ставится связь «аналог» или «исполнение»
РешениеНужно уточнитьне хватает сведений
КтоВладелец справочника
ВидитПара и вопрос автору записи
После ответаВопрос уходит автору, пара возвращается в очередь через срок; просроченные видны в еженедельном отчёте
РешениеСлияние по точному ключубез участия человека
КтоЗаранее утверждённое правило
ВидитТолько пары с одинаковым ключом и без конфликта в других полях
После ответаПо умолчанию выключено, включается отдельным решением после пилота; всё в журнале, откат по журналу
Роль ИИ

Где ИИ в автоматизации ведения справочников НСИ, а где обычные правила

Большую часть работы делают правила: формат ИНН, обязательные поля, точные ключи, приведение названия к единому виду. ИИ нужен там, где правил не хватает.

  • Разбор названия на признаки. Строка «перчатки нитриловые синие р.9 упаковка 100 шт» превращается в вид, материал, цвет, размер и упаковку. По этим признакам сравниваются записи, у которых свойства спрятаны в названии.
  • Сходство по смыслу. Находит пары, которых не видит поиск по буквам: «костюм утеплённый» и «спецодежда зимняя». Это самые слабые кандидаты, они идут в очередь с пометкой «по смыслу».
  • Пояснение для человека. Два предложения: чем записи совпадают и чем различаются, чтобы владелец решал за минуту.

Чего ИИ не делает: не сливает и не удаляет записи, не придумывает ИНН и реквизиты. Качество поиска измеряется на эталонной выборке: ваши сотрудники по инструкции размечают пары как «дубль», «не дубль» или «исполнение», порядок описан на странице разметки данных для ИИ. Модель работает на ваших серверах: справочники контрагентов содержат персональные данные ИП и физических лиц.

Коды и обмен

Единый код и распространение изменений по системам

Схему потоков между системами описывает страница интеграционной платформы, обмен с учётом — страница интеграции 1С.

Одна главная система на справочник

Контрагентов ведёт 1С или CRM, но не обе; номенклатуру — учёт или ERP. Остальные получают копию и сами её не правят. Выбор записан в таблице «справочник, кто главный».

Код, который не меняется

Сквозной номер без смысла присваивается при создании. Название можно поправить, код переживёт правку: системы находят друг друга по нему, а не по названию.

Таблица соответствий

Код в 1С, код в CRM, идентификатор на сайте и у перевозчика лежат в одной таблице. Новое соответствие появляется само при точном ключе и после подтверждения при сомнении.

Журнал и повтор

Каждое изменение справочника — сообщение с номером: что изменилось, кто утвердил, дошло ли до каждой системы. Не дошло — отправляется повторно и дубля не создаёт.

Пример

Условный пример: заявка на карточку, которая похожа на существующую

Условный пример без реального клиента. Менеджер просит завести покупателя «Ромашка Юг» с ИНН, который уже есть в базе под названием «Ромашка» с другим КПП.

  1. Сервис находит по ИНН одну запись. Правило «ИНН и КПП» дубля не видит, но видит «тот же ИНН, другой КПП»: это может быть филиал.
  2. Заявка не отклоняется и не принимается сама: владелец получает вопрос «обособленное подразделение или ошибка менеджера».
  3. ИИ в решении не участвует, он пишет пояснение: в старой карточке другой регион, последний документ давний, договора нет.
  4. Ответ «филиал»: запись создаётся с отметкой головной организации и новым кодом, 1С остаётся главной, CRM получает запись через обмен.
  5. Ответ «ошибка»: заявка закрывается ссылкой на существующую карточку, менеджер работает с ней.
Что делаем

Из чего состоит работа и сколько она стоит

Ступени и суммы — по странице тарифов. В договор попадает точная цена обследования, остальное уточняется по его результатам, остановиться можно на любом этапе.

Обследование: один-два справочника

Выгружаем справочники, считаем пустые поля, повторы и записи без движения, пишем правила создания и вилку бюджета. Если продолжаете с нами, обследование вычитается из первого этапа.

200 000 ₽ · 2–3 недели

Обследование: несколько систем

Добавляются таблица «кто главный по справочнику» и схема распространения по 1С, CRM, складу и сайту.

350 000 ₽ · 3–4 недели

Лёгкий пилот: поиск дублей и очередь решений

Один справочник без записи в рабочие базы: пары-кандидаты, пояснения, решения владельца на ваших данных.

150 000–400 000 ₽ · 2–8 недель

Тяжёлый пилот: заявки, согласование, запись

Сервис заявок, правила создания, единый код и распространение по двум-трём системам, журнал.

400 000–1 200 000 ₽ · 2–3 месяца

Вывод в эксплуатацию

Остальные справочники этапами, обучение операторов, регламент, еженедельные отчёты качества, передача исходников.

от 1 500 000 ₽ этапами по 300 000–700 000 ₽ · от 3 месяцев

Сопровождение

Разбор спорных пар, правки правил, обновление после смены систем. Сверх пакета 5 000 ₽ в час.

20 000 / 60 000 / 120 000 ₽ в месяц
Процесс

Как идёт работа

2–3 недели — Обследование и профилирование

Выгрузка справочников в вашем контуре, подсчёт пустых полей и повторов, список систем и владельцев справочников.

Перед пилотом — Правила и эталон

Правила создания по каждому справочнику и выборка пар «дубль, не дубль, исполнение», размеченная вашими людьми.

2–8 недель — Пилот без записи

Сервис предлагает пары, владелец решает; результат сравниваем с эталоном и правим правила.

2–3 месяца — Заявки и распространение

Создание записей только через заявку, согласование, единый код, обмен с двумя-тремя системами рядом со старым порядком.

От 3 месяцев — Эксплуатация

Остальные справочники по одному, еженедельный отчёт качества, регламент.

Дальше — сопровождение или остановка

Разбор очереди и правок правил по журналу. Остановиться можно на любой ступени.

Контроль

Что остаётся у вас и чего мы не делаем

Остаётся у вас

  • Исходный код сервиса и правил в вашем репозитории с первого коммита.
  • Справочники, журнал решений и таблица соответствий на ваших серверах.
  • Эталонная выборка пар и скрипты проверки: качество поиска можно перепроверить без нас.
  • Право остановиться после любой ступени: сделанное остаётся у вас по акту.

Мы этого не делаем

  • Не сливаем и не удаляем записи в рабочей базе без решения владельца справочника или заранее утверждённого им правила.
  • Не определяем, какая запись верна по существу: это решение вашего владельца данных.
  • Не внедряем ERP и систему мастер-данных предприятия целиком, не продаём лицензии.
  • Не имеем лицензии ФСТЭК, не дежурим круглосуточно. Работы дешевле 150 000 ₽ не берём.
Граница

Свой сервис ведения справочников или готовая система мастер-данных

Готовая система управления мастер-данными уместна, когда справочники нужно вести по всей компании сразу и есть команда, которая её настроит и будет сопровождать. Наш вариант уместен, когда нужны один справочник или два-три потока и порядок требуется за месяцы. Возможности конкретных продуктов проверяйте по описанию разработчика. Нужна ли вам автоматизация вообще, покажет обследование: иногда хватает правил в 1С и одного отчёта, и мы так и скажем.

Материалы

Материалы по теме

Статья

НСИ при внедрении ERP: как навести порядок в справочниках

Роли владельцев, жизненный цикл записи, правила наименования и критерии «чисто» до переноса.

  • Роли
  • Жизненный цикл
  • Критерии
Читать →
Статья

Как найти дубли в справочниках: признаки и решения

Точные и нечёткие совпадения, риск ложного объединения, план для небольшого справочника.

  • Признаки
  • Решения
  • План
Читать →
Статья

Интеграционная шина: что это и когда она нужна

Из чего состоит шина и как понять, что обменов уже слишком много.

  • Состав шины
  • Признаки «спагетти»
  • Когда рано
Читать →
Заявка

Покажите справочник, и скажем, что в нём повторяется

Сорок минут созвона: какие справочники вы ведёте, в каких системах они живут, кто создаёт записи. По итогам скажем, с какого справочника начинать.

или оставьте заявку

Спасибо, заявка отправлена. Ответим в течение рабочего дня.

Не удалось отправить. Напишите в Telegram или MAX, или позвоните.

Вопросы

Частые вопросы: автоматизация ведения справочников нси

Чем автоматизация ведения справочников НСИ отличается от разовой чистки?

Чистка убирает накопленные дубли один раз. Автоматизация меняет порядок: запись создаётся через заявку с поиском похожих, проходит правила и согласование, получает единый код и доходит до всех систем. Без этого дубли вернутся.

Как ИИ находит дубли и кто решает, объединять ли записи?

Правила и нормализация находят точные и очевидные пары, ИИ разбирает название на признаки и ищет сходство по смыслу. Все пары идут в очередь с пояснением, решает владелец справочника. Качество поиска мерим на размеченной вами выборке.

Что будет со ссылками в документах при слиянии записей?

Ссылки нужно заменить на главную запись, иначе история разойдётся. В типовых конфигурациях 1С по описанию разработчика есть обработка поиска и удаления дублей с заменой ссылок; наличие и возможности в вашей версии проверяем на копии. Слияние сначала проходит на копии.

Нужно ли менять 1С и другие системы?

Типовую конфигурацию не меняем. Чтобы запись не создавали в обход заявки, ваш администратор убирает у обычных ролей право создания: это настройка ролей, а не доработка. Возможности CRM и склада смотрим по описанию их разработчиков на обследовании.

С какими системами сервис обменивается справочниками?

С теми, у которых есть программный интерфейс или выгрузка: 1С, CRM, склад, сайт. Если нет ни того ни другого, скажем об этом до договора. Обмен идёт с журналом и повтором без дублей.

Можно ли начать с одного справочника?

Да, это обычный порядок. Лёгкий пилот берёт один справочник, например контрагентов, и работает без записи в рабочие базы: предлагает пары, вы решаете. Остальные справочники подключаются по одному.

Где хранятся данные и работает модель?

Модель и сервис работают на ваших серверах, журнал хранится у вас. В справочниках контрагентов есть персональные данные ИП и физических лиц; они обычно должны храниться на серверах в России. Это не юридическая консультация.

Сколько стоит автоматизация и сколько времени занимает?

Обследование: 200 000 ₽ и 2–3 недели для одного-двух справочников, 350 000 ₽ и 3–4 недели для нескольких систем; цена вычитается из следующего этапа. Лёгкий пилот 150 000–400 000 ₽ за 2–8 недель; тяжёлый с заявками и обменом 400 000–1 200 000 ₽ за 2–3 месяца. Вывод в эксплуатацию от 1 500 000 ₽ этапами.

Вы работаете только в Ростове-на-Дону?

Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.