Как найти дубли в справочниках: сравнивать записи по ключам и признакам от самых надёжных к самым слабым и показывать человеку не «одинаковые строки», а пары с причиной совпадения. Точные совпадения находит запрос, почти совпадения — приведение к единому виду и нечёткое сравнение, а то, что похоже только по смыслу, идёт в ручной разбор. Вторая половина работы — решить, какая запись главная, и не дать дублям появиться снова.
Ниже ступени поиска, таблица признаков, правила выбора главной записи, особенности дублей контрагентов в 1С и чистки номенклатуры, защита от новых дублей и план для небольшого справочника. Автоматизацию этого порядка описывает страница «Автоматизация ведения справочников НСИ», а справочники при переносе в новую систему разобраны в статье «НСИ при внедрении ERP».
Как найти дубли в справочниках: четыре ступени от точного совпадения к смысловому
Поиск идёт сверху вниз: чем выше ступень, тем надёжнее вывод и тем меньше участие человека.
- Точный ключ. Одинаковая пара ИНН и КПП у контрагентов, одинаковая пара «артикул и производитель» у товаров. Находится группировкой в базе. Пары почти наверняка дубли, но исключения бывают и здесь, они в таблице ниже.
- Ключ после приведения к единому виду. Регистр, лишние пробелы, кавычки, «ё», форма собственности в начале или в конце названия, латинские буквы, похожие на русские. После этого «Ромашка ООО» и «ООО "Ромашка"» совпадают.
- Несколько слабых признаков вместе. Телефон, адрес, домен почты по одному ничего не доказывают, но два независимых признака вместе делают пару кандидатом.
- Сходство по смыслу. Нечёткое сравнение строк или модель находят пары без общих ключей: «костюм утеплённый» и «спецодежда зимняя». Это самая слабая ступень, она подсказывает, а не решает.
Условный пример без реального клиента: четыре записи в справочнике контрагентов.
- «Ромашка ООО» и «ООО Ромашка» с одним ИНН и КПП: дубль по ключу после приведения к единому виду.
- «ООО Ромашка (склад)» с тем же ИНН и другим КПП: вопрос «филиал или смена КПП», автоматически не сливается.
- «Ромашка» без ИНН, но с тем же телефоном и корпоративной почтой: кандидат по слабым признакам, нужна проверка человеком.
Какие признаки сравнивать и чем рискует каждый
Ложное объединение стоит дороже пропущенного дубля, поэтому у каждого признака записаны риск и решение.
| Признак | Риск ложного объединения | Решение |
|---|---|---|
| ИНН | Филиалы под одним ИНН; ИП и то же лицо как физическое лицо; ошибка ввода | Сравнивать вместе с КПП и видом контрагента, один ИНН при разных КПП автоматически не сливать |
| ИНН и КПП | КПП меняется при смене налогового учёта, и разные КПП не доказывают разные организации | Пара с одним ИНН и разными КПП идёт в ручной разбор вместе с датами документов |
| Название после приведения к единому виду | Короткие общие названия у разных компаний; одинаковые названия в разных городах | Использовать только вместе с ИНН, адресом или телефоном |
| Адрес | Один адрес у нескольких организаций: бизнес-центры, адрес управляющей компании | Подтверждающий признак, не основной |
| Телефон и почта | Общий телефон холдинга, общая бухгалтерия, публичные почтовые домены | Сравнивать корпоративный домен, публичные домены не использовать |
| Артикул производителя | Один артикул у исполнений разного размера или упаковки | Пара «артикул и производитель», при расхождении размера или фасовки — исполнения, не дубль |
| Штрихкод | Код используют повторно после снятия товара; у одного товара бывает два кода | Сравнивать вместе с единицей и фасовкой, как единственный ключ не брать |
| Размер, марка, сечение в названии | «Кабель 3х1,5» и «кабель 3х2,5», перчатки размера 9 и 10 похожи по тексту, а товар разный | Числовые признаки совпадают точно, иначе пара — исполнения |
Кто главный: как выбрать запись, которая остаётся
Главную запись выбирает правило, а не порядок обнаружения. Критерии идут по убыванию веса:
- запись из главной системы или с проверенными реквизитами;
- запись, на которую больше ссылок: документов, договоров, остатков;
- запись полнее, то есть с большим числом заполненных обязательных полей;
- запись, созданная раньше, как последний критерий: возраст сам по себе ничего не говорит.
Пустые поля главной записи дополняются из проигравшей, а противоречия, например два разных адреса, решает человек. Прежний код проигравшей записи сохраняется в поле или в таблице соответствия: по нему находят позицию люди и внешние системы. Саму проигравшую не удаляют, а помечают и блокируют, пока не пройдёт проверка ссылок.
Дубли контрагентов в 1С: что проверить до слияния
В 1С слияние означает замену ссылок: контрагент указан в документах, договорах, регистрах и настройках, и все ссылки на проигравшую запись должны перейти на главную. В типовых конфигурациях по описанию разработчика есть обработка поиска и удаления дублей с заменой ссылок; наличие и возможности в вашей версии проверяет ваш специалист по 1С.
- Сначала копия базы: слияние проверяют на ней и только потом повторяют в рабочей базе.
- Закрытые периоды и проведённые документы: смотрят, какие ссылки будут заменены, и согласуют с бухгалтерией.
- Договоры и банковские счета проигравшей записи: переносятся или закрываются, а не теряются.
- Внешние системы: в CRM, на сайте и в обмене остаётся прежний код. Таблица соответствий или повторный обмен переводят их на главную запись; схемы описаны на странице интеграции 1С.
- Откат: до удаления проигравшая запись помечается, а не стирается, чтобы слияние можно было отменить.
Чистка номенклатуры: чем она отличается от контрагентов
У контрагентов есть государственный ключ, ИНН, у товаров его нет, поэтому чистка номенклатуры опирается на свойства. Главная трудность в том, что свойства спрятаны в названии, а совместимость или состав текст не передаёт: «фильтр масляный для двух моделей» и «фильтр масляный универсальный» могут быть разными товарами. Рабочий порядок:
- сначала группы и единицы измерения, а сравнение идёт внутри одной группы, иначе слишком много ложных пар;
- разбор названия на свойства: вид, марка, размер, цвет, упаковка. Правилами или моделью, результат проверяет человек;
- числа и размеры совпадают точно, текстовые свойства допускают опечатки;
- комплекты и наборы не сравниваются с одиночными позициями;
- свой артикул, артикул поставщика и штрихкод лежат отдельными полями и участвуют в сравнении как подтверждение.
Как не размножить дубли снова
- Поиск перед созданием. Создание записи начинается с поиска по ключам и названию: сотрудник видит «такая запись есть» до того, как создал вторую.
- Запрет повтора ключа в самой базе. Где ключ однозначен, например ИНН и КПП или артикул и производитель, база не принимает вторую запись без разрешённого исключения.
- Заявка и согласование. Новые записи создаются через заявку, согласует не тот, кто её подал.
- Шаблон названия. Один порядок слов, сокращения только из списка, свойства в отдельных полях.
- Еженедельный отчёт. Те же проверки идут по всей базе, нарушения уходят владельцу справочника.
- Блокировка вместо удаления. История остаётся целой, а устаревшие записи не попадают в выбор.
Как найти дубли в справочниках небольшого размера: план на неделю
Небольшим считаем справочник, пары которого один владелец успевает разобрать за несколько вечеров. Порядок:
- День 1. Выгрузка и подсчёт. Выгрузить справочник в таблицу, посчитать пустые поля, записи без движения и повторы по точным ключам.
- День 2. Единый вид. Привести названия к единому виду и найти пары по ключу после приведения. Результат — таблица пар с указанием причины.
- День 3. Слабые признаки и сходство. Добавить пары по двум слабым признакам и по сходству, каждой дать метку ступени.
- День 4. Разбор. Владелец решает по каждой паре: дубль, не дубль или исполнение. Сначала пары с точным ключом, затем остальные.
- День 5. Слияние на копии. Объединить решённые пары, проверить ссылки, остатки и обмены.
- Дни 6 и 7. Боевая база и правила. Повторить слияние, записать правила создания и включить еженедельный отчёт.
Чтобы проверить сам поиск, возьмите несколько десятков пар, про которые вы уже знаете ответ, и посмотрите, сколько из них нашлось и сколько лишних пар предложено. Много лишних — поднимите порог, пропущены известные дубли — добавьте признак.
Что делаем мы и с чего начать
Постоянный порядок мы строим как сервис на ваших серверах: поиск похожей записи при каждой заявке, очередь решений для владельца, единый код и обмен изменениями с 1С, CRM и складом. Описание услуги: автоматизация ведения справочников НСИ. Если справочник один и небольшой, хватит плана выше и стандартных средств 1С, и мы так и скажем.
Начните с первых трёх дней плана и таблицы признаков. Если нужна помощь, обследование стоит 200 000 ₽ за один-два справочника и 2–3 недели, вычитается из первого этапа, а на выходе правила, оценка объёма и вилка бюджета. Остальные ступени и цены описаны на странице тарифов. Слияние и удаление записей в рабочей базе мы не выполняем без решения владельца справочника.
Частые вопросы
Как найти дубли в справочниках, если нет ИНН и артикулов?
Приведите названия к единому виду, сравнивайте внутри одной группы и ищите пары по нескольким слабым признакам: телефон, адрес, домен почты, размер и марка в названии. Результат — пары-кандидаты для ручного разбора, а не автоматическое слияние.
Чем нечёткий поиск отличается от точного и когда он нужен?
Точный находит одинаковые ключи, нечёткий — похожие строки с опечатками и другим порядком слов. Он нужен, когда ключей нет или они введены с ошибками. Нечёткий поиск даёт кандидатов, а не решения: по таким парам решает человек.
Можно ли объединять дубли автоматически?
Только пары с точным ключом и без конфликтов в других полях и только по правилу, которое владелец справочника утвердил заранее. Включать его стоит после ручного пилота и с журналом, по которому слияние можно откатить. Остальное решает человек.
Как найти дубли контрагентов в 1С?
Начните с группировки по ИНН и КПП и сверки названий после приведения к единому виду. В типовых конфигурациях по описанию разработчика есть обработка поиска и удаления дублей; её возможности в вашей версии проверьте на копии базы. Пары с одним ИНН и разными КПП разбирайте вручную.
Как не склеить разные позиции, похожие по названию?
Размеры, сечения, марки и фасовку сравнивайте по числам: они должны совпасть точно. Позиции, похожие по тексту, но разные по числам, — исполнения, а не дубли: между ними ставят связь «аналог».
Что делать со ссылками в документах после слияния?
Заменить их на главную запись: в 1С это штатная операция замены ссылок, которую проверяют на копии. Проигравшую запись помечают и блокируют, прежний код сохраняют. Закрытые периоды согласуйте с бухгалтерией до слияния.
Сколько времени занимает чистка небольшого справочника?
Около недели при одном владельце: два-три дня на подготовку пар, остальное на разбор, слияние на копии и правила. Основное время уходит не на поиск, а на решения владельца. Для нескольких систем срок называем после обследования.
Сколько стоит помощь с поиском дублей?
Цену называем после обследования: оно стоит 200 000 ₽ за один-два справочника, 350 000 ₽ при нескольких системах и вычитается из первого этапа. Лёгкий пилот поиска дублей 150 000–400 000 ₽ за 2–8 недель, постоянный сервис ведения справочников 400 000–1 200 000 ₽ за 2–3 месяца.