Нейросеть не открывает файл так, как человек. Как нейросеть работает с документами, зависит от того, что именно ей передали: из Word текст берут вместе со структурой, из PDF с текстовым слоем достают строки и координаты, скан и фотографию сначала распознают. Модель получает не файл, а текст или картинку страницы, поэтому качество ответа не может быть выше качества этой подготовки.

Ниже путь файла по шагам, таблица «формат, что получаем, главная проблема, решение», отдельно Word и PDF, разбиение на фрагменты, понятие качества и частые отказы. Конвейер целиком описан в статье «IDP: интеллектуальная обработка документов», выбор между распознаванием и языковой моделью — в статье «OCR или LLM для документов». Здесь речь о том, что происходит с самим файлом. Услуга описана на странице «Нейросеть для обработки документов».

Коротко. Нейросеть работает не с файлом, а с текстом или картинкой страницы, которые из него получили. У Word и PDF с текстом текст берётся напрямую, у сканов и фото его сначала распознают. Затем документ режут на фрагменты, ставят модели задачу и проверяют ответ кодом. Больше всего ошибок даёт не сама модель, а подготовка: таблицы, колонтитулы, порядок чтения, подписи и печати.

Как нейросеть работает с документами: семь остановок на пути файла

У любого файла путь один, различается только трудность каждой остановки.

  1. Определить формат. Word, PDF, картинка или письмо; есть ли у PDF текстовый слой. Это дёшево и определяет всё остальное.
  2. Получить текст. Прочитать слой или распознать изображение. Результат: символы с координатами.
  3. Восстановить структуру. Порядок чтения, заголовки, списки, таблицы, колонтитулы, сноски. От этого зависит, не склеятся ли фразы из разных колонок.
  4. Разбить на фрагменты. Модель не читает сотни страниц разом, поэтому документ режут на куски по структуре.
  5. Поставить задачу. Классы, схема полей или вопрос пользователя. Модель отвечает по предъявленным фрагментам.
  6. Проверить. Арифметика, формат реквизитов, справочники, наличие цитаты в тексте. Проверки пишет код, а не модель.
  7. Показать источник или передать человеку. Ответ приходит со страницей и цитатой, сомнительное достаётся оператору.

Нейросеть в узком смысле участвует на двух остановках: когда читает изображение и когда работает языковая модель. Остальное обычный код, и он определяет, будет ли итог надёжным. Чем больше структуры в файле, тем короче путь: Word и PDF из программ проходят первые три остановки без распознавания.

Как нейросеть работает с документами разных форматов: что получаем и что ломается

Таблица показывает, что лежит на входе после первых шагов и где формат подводит чаще всего.

ФорматЧто получаемГлавная проблемаЧто делаем
Word (.docx)Абзацы со стилями, таблицы, списки, правки, комментарии, колонтитулы, сноскиЧасть смысла лежит не в тексте: автонумерация пунктов, удалённый текст в правках, комментарииЧитаем структуру файла, а не «просто текст»; решаем, читать ли с правками, и пишем это в результат
Старый .docДвоичный формат без удобной структурыЧитается хуже .docx, возможны потери в таблицах и нумерацииПреобразуем в .docx, затем проверяем таблицы и номера пунктов
PDF с текстовым слоемТекст с координатами, таблицы как набор словПорядок символов не равен порядку чтения, колонки склеиваются, слова разорваны переносами, шрифты дают неверные символыВосстанавливаем порядок по координатам, склеиваем переносы, проверяем извлечённый текст на мусор
PDF из сканаКартинки страниц, иногда с невидимым слоем от прежнего распознаванияСлой есть, но плохой, и его принимают за хорошийПроверяем слой на выборке страниц, при сомнении распознаём заново
ФотоКартинка с перспективой, тенями и бликамиРазмытие и блики съедают мелкий шрифтВыпрямляем и выравниваем свет; плохой кадр возвращаем с просьбой переснять
ExcelЯчейки как данные, несколько листовОбъединённые ячейки, скрытые листы, формулы вместо показанных значенийЧитаем значения и структуру листов, скрытое помечаем
ПисьмоТело и вложенияГлавное написано в цитируемой переписке ниже, а вложение теряет смысл без текста письмаРазбираем цепочку, вложения читаем каждое по своему формату

Нейросеть для работы с документами Word: что видно в файле, а что нет

Файл .docx — набор частей внутри одного архива: основной текст, стили, таблицы, комментарии, колонтитулы, сноски. Человек видит страницу, а программа получает эти части по отдельности, и кое-что, что на экране выглядит как текст, в самом тексте отсутствует.

  • Автонумерация. Номера пунктов вроде «5.2» рисует программа при показе, в тексте их нет. Если взять «просто текст», ссылка «см. п. 5.2» теряет адресата. Номера восстанавливаются из структуры списков.
  • Правки. Удалённый текст остаётся в файле с пометкой автора и даты. При чтении подряд модель увидит и старую, и новую формулировку. Нужно решить, какую редакцию читаем: с принятыми правками или исходную.
  • Комментарии и сноски. Это отдельные части. В них бывает главное («согласовано при условии…»), а в основной текст они не входят.
  • Колонтитулы и поля. Номер страницы, название документа, дата в шапке повторяются на каждой странице и попадают в текст, если их не отделить.
  • Таблицы с объединёнными ячейками. Структура в файле есть, но строки разной ширины требуют отдельного разбора.
  • Картинки внутри файла. Скан, вставленный в Word, читается уже как изображение.

Поэтому на чтении Word нейросеть не нужна: текст со структурой достаётся программно. Она работает позже, на понимании: что за условие, какое поле, какой ответ.

ИИ для анализа PDF: три разных файла под одним расширением

PDF описывает вид страницы, а не смысл текста. Под одним расширением бывают три разных файла.

  • PDF с текстовым слоем (выгрузка из программы, экспорт из Word). Текст лежит в файле, но порядок символов не обязан совпадать с порядком чтения: колонки, сноски и подписи к таблицам идут вперемешку. Из-за особенностей шрифтов иногда извлекаются не те символы.
  • PDF из сканера. Внутри картинки страниц. Текста нет, пока его не распознали.
  • Смешанный PDF. Часть страниц текстом, часть картинками. Если проверить только первую страницу, вывод о файле окажется неверным.

Быстрая проверка: если текст в PDF выделяется мышью и при копировании не превращается в набор странных символов, слой есть и пригоден. Если выделяется, но копируется мусор, слой есть и непригоден, такой файл распознают заново. Если не выделяется вообще, это скан. Бывает и невидимый слой от прежнего распознавания: читая его, мы получаем ровно то качество, которое дало то распознавание.

Таблицы в обычном PDF не имеют структуры строк и ячеек: это слова, расставленные по координатам. Границ может не быть вовсе, поэтому колонки определяют по расстояниям между словами, и на этом шаге ошибаются чаще всего. Электронная подпись внутри PDF чтению не мешает, но подлинность подписи проверяет средство подписи, а не нейросеть.

Почему нейросеть не читает сто страниц целиком: разбиение на фрагменты

Языковая модель принимает за один раз ограниченный объём текста. Чем длиннее вход, тем дороже запрос, а детали из середины модель нередко замечает хуже. Поэтому документ режут на фрагменты, а на каждый вопрос модели показывают только подходящие.

Как режут

По структуре, а не по числу знаков: раздел, пункт, абзац, таблица целиком. К каждому фрагменту прикладывают название документа и раздела, иначе «срок пять дней» оторвётся от того, к чему относится. Размер подбирают замером на ваших вопросах.

Что теряется при резке

  • Ответ лежит в двух местах: основное условие в одном пункте, исключение в приложении.
  • Ссылка «в порядке, предусмотренном п. 7.3» указывает на фрагмент, который не попал в подборку.
  • Таблица разорвана границей фрагмента, заголовок колонок остался в предыдущем куске.

Поэтому соседние фрагменты связывают, определения терминов подкладывают к местам, где они используются, а ссылки разворачивают. Если ответа в предъявленном тексте нет, система должна сказать «не найдено», а не отвечать по памяти модели. Как это устроено в поиске по базе документов, описано на странице «Семантический поиск по документам».

Что значит «качество» и как проверить его за вечер на десяти файлах

Слово «качество» объединяет три разные вещи, и ошибка в одной не видна по другой.

  1. Чтение. Совпал ли извлечённый текст с оригиналом, особенно в цифрах, реквизитах и фамилиях.
  2. Структура. Сохранились ли порядок чтения, строки и столбцы таблиц, номера пунктов.
  3. Вывод. Верны ли поля, класс или ответ и подтверждены ли они цитатой, которая действительно есть в тексте.

Ошибка первого уровня портит остальные: если сумма прочитана неверно, самая аккуратная модель аккуратно перескажет ошибку. Поэтому полезная привычка: прежде чем оценивать ответ, посмотрите на то, что модель получила на входе, то есть на извлечённый текст.

Ориентировочная проверка

  1. Возьмите по десять документов каждого вашего формата, включая плохие.
  2. Для каждого откройте извлечённый текст рядом с оригиналом и сверьте пять-шесть чисел: суммы, даты, номера.
  3. Проверьте таблицы: число строк и столбцов, итог.
  4. Задайте пять вопросов с известным ответом и два вопроса, ответа на которые в документе нет.
  5. Отметьте ответы без источника и случаи, где «не найдено» сказано верно.

Это проверка на глаз, а не замер. Для приёмки нужны выборка, метрики по полям и пороги уверенности; как их записать, описано в статье «Как измерить точность распознавания документов».

Частые отказы: таблицы, колонтитулы, подписи

Эти места подводят чаще остальных. Общее правило: ошибка, которая выглядит правдоподобно, опаснее той, что видна сразу, поэтому для сумм и таблиц нужна проверка кодом.

Что ломаетсяКак проявляетсяКак ловим и чиним
Таблицы без границКолонки определены по расстояниям, цена попала в столбец количестваАрифметика: количество на цену равно сумме строки; при расхождении строка идёт человеку
Таблицы на нескольких страницахЗаголовок колонок остался на первой странице, строки продолжаются дальшеСклеиваем таблицу по страницам, переносим заголовок, сверяем число строк с итогом
КолонтитулыНазвание документа и номер страницы вклиниваются в середину фразы или читаются как данныеОтделяем блоки, повторяющиеся на каждой странице, до разбиения на фрагменты
Подписи и печатиПечать закрывает цифры, видимая отметка подписи — картинка, а не текстПоля под печатью помечаем как неуверенные; наличие подписи отмечаем отдельно, подлинность проверяет средство подписи
Сноски и примечанияВыпадают из порядка чтения и уходят в конец страницыПривязываем сноску к месту ссылки
Две колонкиСтроки двух колонок склеиваются в однуОпределяем колонки по координатам до чтения
Переносы словСлово разорвано между строками и не находится поискомСклеиваем перенос до разбиения на фрагменты
Рукописные пометкиЧитаются хуже печати, смысл теряетсяСчитаем отдельно, в учёт без проверки человеком не отдаём

Что делаем мы и с чего начать

Мы разрабатываем разбор документов на заказ: чтение по формату, схемы полей, проверки кодом, очередь оператора. Модели стоят на ваших серверах, исходники лежат в вашем репозитории с первого коммита. Услуга описана на странице «Нейросеть для обработки документов»: пять задач, метод под каждый формат файла и выборка на 50–100 документов.

Начинаем с обследования: 200 000 ₽ за один-два потока документов (2–3 недели) или 350 000 ₽ за несколько источников и систем (3–4 недели); сумма вычитается из первого этапа. На выходе протокол замера на ваших документах, решение по каждому формату и вилка бюджета. Дальше лёгкий пилот (150 000–400 000 ₽), при необходимости тяжёлый (400 000–1 200 000 ₽) и вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Остановиться можно после любой ступени. Цены и сроки собраны на странице «Тарифы».

Частые вопросы

Как нейросеть работает с документами, если это скан?

Сначала страницу выравнивают и распознают, получая слова с координатами и оценкой уверенности. Затем языковая модель или правила достают поля по схеме, а код проверяет арифметику и реквизиты. Спорные значения уходят человеку. Точность по сканам считается отдельно от других форматов.

Может ли нейросеть читать документы Word с правками и комментариями?

Может, потому что в .docx правки и комментарии хранятся отдельно от основного текста. Нужно заранее решить, какую редакцию читать, с принятыми правками или исходную, и записать это в результат. Комментарии читаются как отдельный слой.

Как нейросеть анализирует PDF и почему иногда выдаёт мусор?

Если у PDF есть текстовый слой, текст берут напрямую. Мусор появляется, когда слой испорчен шрифтами или порядок чтения не совпадает с визуальным и колонки склеиваются. Если слоя нет, файл распознаётся как картинка. Проверьте, выделяется ли текст мышью и читается ли он при копировании.

Видит ли нейросеть таблицы?

Видит, если структуру таблицы удалось восстановить. В Word и Excel она хранится в файле. В PDF и на сканах это слова на странице, и строки со столбцами определяют по координатам. Поэтому для таблиц нужна проверка: число строк и сумма строк против итога.

Почему нейросеть иногда выдумывает данные из документа?

Языковая модель строит правдоподобный ответ, даже когда нужного значения в тексте нет или оно прочитано с ошибкой. Поэтому проверки стоят снаружи модели: значение должно найтись в исходном тексте, арифметика должна сойтись, а «не найдено» должно быть допустимым ответом.

Можно ли загружать договоры в облачную нейросеть?

Для данных ограниченного доступа облачные сервисы чаще не подходят по требованиям заказчика. Решение принимают служба безопасности и юрист; это не юридическая консультация. Персональные данные граждан России обычно должны храниться на серверах в России. Мы запускаем распознавание и модель на ваших серверах.

Сколько страниц нейросеть может прочитать за один раз?

Это зависит от модели и ограничено объёмом входного текста. Длинный документ режут на фрагменты по структуре и на каждый вопрос показывают подходящие. Чем длиннее вход, тем дороже запрос и тем чаще упускаются детали, поэтому цифру «страниц за раз» мы не называем: важнее, как организован подбор фрагментов.

Как проверить, что нейросеть правильно прочитала документ?

Откройте извлечённый текст рядом с оригиналом, сверьте числа и таблицы, задайте вопросы с известным ответом и вопросы без ответа. Для приёмки нужна выборка с метриками по полям; как их считать, описано в отдельной статье.