Как найти дубли в справочниках: сравнивать записи по ключам и признакам от самых надёжных к самым слабым и показывать человеку не «одинаковые строки», а пары с причиной совпадения. Точные совпадения находит запрос, почти совпадения — приведение к единому виду и нечёткое сравнение, а то, что похоже только по смыслу, идёт в ручной разбор. Вторая половина работы — решить, какая запись главная, и не дать дублям появиться снова.

Ниже ступени поиска, таблица признаков, правила выбора главной записи, особенности дублей контрагентов в 1С и чистки номенклатуры, защита от новых дублей и план для небольшого справочника. Автоматизацию этого порядка описывает страница «Автоматизация ведения справочников НСИ», а справочники при переносе в новую систему разобраны в статье «НСИ при внедрении ERP».

Коротко. Ищите по ступеням: точный ключ, ключ после приведения к единому виду, несколько слабых признаков вместе, сходство по смыслу. Чем слабее ступень, тем больше нужен человек. Ложное объединение дороже пропущенного дубля: пропущенный виден и поправим, а склеенные разные записи тихо портят историю. Главную запись выбирает правило, прежний код сохраняется, новые дубли закрываются поиском перед созданием.

Как найти дубли в справочниках: четыре ступени от точного совпадения к смысловому

Поиск идёт сверху вниз: чем выше ступень, тем надёжнее вывод и тем меньше участие человека.

  1. Точный ключ. Одинаковая пара ИНН и КПП у контрагентов, одинаковая пара «артикул и производитель» у товаров. Находится группировкой в базе. Пары почти наверняка дубли, но исключения бывают и здесь, они в таблице ниже.
  2. Ключ после приведения к единому виду. Регистр, лишние пробелы, кавычки, «ё», форма собственности в начале или в конце названия, латинские буквы, похожие на русские. После этого «Ромашка ООО» и «ООО "Ромашка"» совпадают.
  3. Несколько слабых признаков вместе. Телефон, адрес, домен почты по одному ничего не доказывают, но два независимых признака вместе делают пару кандидатом.
  4. Сходство по смыслу. Нечёткое сравнение строк или модель находят пары без общих ключей: «костюм утеплённый» и «спецодежда зимняя». Это самая слабая ступень, она подсказывает, а не решает.

Условный пример без реального клиента: четыре записи в справочнике контрагентов.

  • «Ромашка ООО» и «ООО Ромашка» с одним ИНН и КПП: дубль по ключу после приведения к единому виду.
  • «ООО Ромашка (склад)» с тем же ИНН и другим КПП: вопрос «филиал или смена КПП», автоматически не сливается.
  • «Ромашка» без ИНН, но с тем же телефоном и корпоративной почтой: кандидат по слабым признакам, нужна проверка человеком.

Какие признаки сравнивать и чем рискует каждый

Ложное объединение стоит дороже пропущенного дубля, поэтому у каждого признака записаны риск и решение.

ПризнакРиск ложного объединенияРешение
ИННФилиалы под одним ИНН; ИП и то же лицо как физическое лицо; ошибка вводаСравнивать вместе с КПП и видом контрагента, один ИНН при разных КПП автоматически не сливать
ИНН и КППКПП меняется при смене налогового учёта, и разные КПП не доказывают разные организацииПара с одним ИНН и разными КПП идёт в ручной разбор вместе с датами документов
Название после приведения к единому видуКороткие общие названия у разных компаний; одинаковые названия в разных городахИспользовать только вместе с ИНН, адресом или телефоном
АдресОдин адрес у нескольких организаций: бизнес-центры, адрес управляющей компанииПодтверждающий признак, не основной
Телефон и почтаОбщий телефон холдинга, общая бухгалтерия, публичные почтовые доменыСравнивать корпоративный домен, публичные домены не использовать
Артикул производителяОдин артикул у исполнений разного размера или упаковкиПара «артикул и производитель», при расхождении размера или фасовки — исполнения, не дубль
ШтрихкодКод используют повторно после снятия товара; у одного товара бывает два кодаСравнивать вместе с единицей и фасовкой, как единственный ключ не брать
Размер, марка, сечение в названии«Кабель 3х1,5» и «кабель 3х2,5», перчатки размера 9 и 10 похожи по тексту, а товар разныйЧисловые признаки совпадают точно, иначе пара — исполнения

Кто главный: как выбрать запись, которая остаётся

Главную запись выбирает правило, а не порядок обнаружения. Критерии идут по убыванию веса:

  1. запись из главной системы или с проверенными реквизитами;
  2. запись, на которую больше ссылок: документов, договоров, остатков;
  3. запись полнее, то есть с большим числом заполненных обязательных полей;
  4. запись, созданная раньше, как последний критерий: возраст сам по себе ничего не говорит.

Пустые поля главной записи дополняются из проигравшей, а противоречия, например два разных адреса, решает человек. Прежний код проигравшей записи сохраняется в поле или в таблице соответствия: по нему находят позицию люди и внешние системы. Саму проигравшую не удаляют, а помечают и блокируют, пока не пройдёт проверка ссылок.

Дубли контрагентов в 1С: что проверить до слияния

В 1С слияние означает замену ссылок: контрагент указан в документах, договорах, регистрах и настройках, и все ссылки на проигравшую запись должны перейти на главную. В типовых конфигурациях по описанию разработчика есть обработка поиска и удаления дублей с заменой ссылок; наличие и возможности в вашей версии проверяет ваш специалист по 1С.

  • Сначала копия базы: слияние проверяют на ней и только потом повторяют в рабочей базе.
  • Закрытые периоды и проведённые документы: смотрят, какие ссылки будут заменены, и согласуют с бухгалтерией.
  • Договоры и банковские счета проигравшей записи: переносятся или закрываются, а не теряются.
  • Внешние системы: в CRM, на сайте и в обмене остаётся прежний код. Таблица соответствий или повторный обмен переводят их на главную запись; схемы описаны на странице интеграции 1С.
  • Откат: до удаления проигравшая запись помечается, а не стирается, чтобы слияние можно было отменить.

Чистка номенклатуры: чем она отличается от контрагентов

У контрагентов есть государственный ключ, ИНН, у товаров его нет, поэтому чистка номенклатуры опирается на свойства. Главная трудность в том, что свойства спрятаны в названии, а совместимость или состав текст не передаёт: «фильтр масляный для двух моделей» и «фильтр масляный универсальный» могут быть разными товарами. Рабочий порядок:

  • сначала группы и единицы измерения, а сравнение идёт внутри одной группы, иначе слишком много ложных пар;
  • разбор названия на свойства: вид, марка, размер, цвет, упаковка. Правилами или моделью, результат проверяет человек;
  • числа и размеры совпадают точно, текстовые свойства допускают опечатки;
  • комплекты и наборы не сравниваются с одиночными позициями;
  • свой артикул, артикул поставщика и штрихкод лежат отдельными полями и участвуют в сравнении как подтверждение.

Как не размножить дубли снова

  • Поиск перед созданием. Создание записи начинается с поиска по ключам и названию: сотрудник видит «такая запись есть» до того, как создал вторую.
  • Запрет повтора ключа в самой базе. Где ключ однозначен, например ИНН и КПП или артикул и производитель, база не принимает вторую запись без разрешённого исключения.
  • Заявка и согласование. Новые записи создаются через заявку, согласует не тот, кто её подал.
  • Шаблон названия. Один порядок слов, сокращения только из списка, свойства в отдельных полях.
  • Еженедельный отчёт. Те же проверки идут по всей базе, нарушения уходят владельцу справочника.
  • Блокировка вместо удаления. История остаётся целой, а устаревшие записи не попадают в выбор.

Как найти дубли в справочниках небольшого размера: план на неделю

Небольшим считаем справочник, пары которого один владелец успевает разобрать за несколько вечеров. Порядок:

  1. День 1. Выгрузка и подсчёт. Выгрузить справочник в таблицу, посчитать пустые поля, записи без движения и повторы по точным ключам.
  2. День 2. Единый вид. Привести названия к единому виду и найти пары по ключу после приведения. Результат — таблица пар с указанием причины.
  3. День 3. Слабые признаки и сходство. Добавить пары по двум слабым признакам и по сходству, каждой дать метку ступени.
  4. День 4. Разбор. Владелец решает по каждой паре: дубль, не дубль или исполнение. Сначала пары с точным ключом, затем остальные.
  5. День 5. Слияние на копии. Объединить решённые пары, проверить ссылки, остатки и обмены.
  6. Дни 6 и 7. Боевая база и правила. Повторить слияние, записать правила создания и включить еженедельный отчёт.

Чтобы проверить сам поиск, возьмите несколько десятков пар, про которые вы уже знаете ответ, и посмотрите, сколько из них нашлось и сколько лишних пар предложено. Много лишних — поднимите порог, пропущены известные дубли — добавьте признак.

Что делаем мы и с чего начать

Постоянный порядок мы строим как сервис на ваших серверах: поиск похожей записи при каждой заявке, очередь решений для владельца, единый код и обмен изменениями с 1С, CRM и складом. Описание услуги: автоматизация ведения справочников НСИ. Если справочник один и небольшой, хватит плана выше и стандартных средств 1С, и мы так и скажем.

Начните с первых трёх дней плана и таблицы признаков. Если нужна помощь, обследование стоит 200 000 ₽ за один-два справочника и 2–3 недели, вычитается из первого этапа, а на выходе правила, оценка объёма и вилка бюджета. Остальные ступени и цены описаны на странице тарифов. Слияние и удаление записей в рабочей базе мы не выполняем без решения владельца справочника.

Частые вопросы

Как найти дубли в справочниках, если нет ИНН и артикулов?

Приведите названия к единому виду, сравнивайте внутри одной группы и ищите пары по нескольким слабым признакам: телефон, адрес, домен почты, размер и марка в названии. Результат — пары-кандидаты для ручного разбора, а не автоматическое слияние.

Чем нечёткий поиск отличается от точного и когда он нужен?

Точный находит одинаковые ключи, нечёткий — похожие строки с опечатками и другим порядком слов. Он нужен, когда ключей нет или они введены с ошибками. Нечёткий поиск даёт кандидатов, а не решения: по таким парам решает человек.

Можно ли объединять дубли автоматически?

Только пары с точным ключом и без конфликтов в других полях и только по правилу, которое владелец справочника утвердил заранее. Включать его стоит после ручного пилота и с журналом, по которому слияние можно откатить. Остальное решает человек.

Как найти дубли контрагентов в 1С?

Начните с группировки по ИНН и КПП и сверки названий после приведения к единому виду. В типовых конфигурациях по описанию разработчика есть обработка поиска и удаления дублей; её возможности в вашей версии проверьте на копии базы. Пары с одним ИНН и разными КПП разбирайте вручную.

Как не склеить разные позиции, похожие по названию?

Размеры, сечения, марки и фасовку сравнивайте по числам: они должны совпасть точно. Позиции, похожие по тексту, но разные по числам, — исполнения, а не дубли: между ними ставят связь «аналог».

Что делать со ссылками в документах после слияния?

Заменить их на главную запись: в 1С это штатная операция замены ссылок, которую проверяют на копии. Проигравшую запись помечают и блокируют, прежний код сохраняют. Закрытые периоды согласуйте с бухгалтерией до слияния.

Сколько времени занимает чистка небольшого справочника?

Около недели при одном владельце: два-три дня на подготовку пар, остальное на разбор, слияние на копии и правила. Основное время уходит не на поиск, а на решения владельца. Для нескольких систем срок называем после обследования.

Сколько стоит помощь с поиском дублей?

Цену называем после обследования: оно стоит 200 000 ₽ за один-два справочника, 350 000 ₽ при нескольких системах и вычитается из первого этапа. Лёгкий пилот поиска дублей 150 000–400 000 ₽ за 2–8 недель, постоянный сервис ведения справочников 400 000–1 200 000 ₽ за 2–3 месяца.