Нейросеть не открывает файл так, как человек. Как нейросеть работает с документами, зависит от того, что именно ей передали: из Word текст берут вместе со структурой, из PDF с текстовым слоем достают строки и координаты, скан и фотографию сначала распознают. Модель получает не файл, а текст или картинку страницы, поэтому качество ответа не может быть выше качества этой подготовки.
Ниже путь файла по шагам, таблица «формат, что получаем, главная проблема, решение», отдельно Word и PDF, разбиение на фрагменты, понятие качества и частые отказы. Конвейер целиком описан в статье «IDP: интеллектуальная обработка документов», выбор между распознаванием и языковой моделью — в статье «OCR или LLM для документов». Здесь речь о том, что происходит с самим файлом. Услуга описана на странице «Нейросеть для обработки документов».
Как нейросеть работает с документами: семь остановок на пути файла
У любого файла путь один, различается только трудность каждой остановки.
- Определить формат. Word, PDF, картинка или письмо; есть ли у PDF текстовый слой. Это дёшево и определяет всё остальное.
- Получить текст. Прочитать слой или распознать изображение. Результат: символы с координатами.
- Восстановить структуру. Порядок чтения, заголовки, списки, таблицы, колонтитулы, сноски. От этого зависит, не склеятся ли фразы из разных колонок.
- Разбить на фрагменты. Модель не читает сотни страниц разом, поэтому документ режут на куски по структуре.
- Поставить задачу. Классы, схема полей или вопрос пользователя. Модель отвечает по предъявленным фрагментам.
- Проверить. Арифметика, формат реквизитов, справочники, наличие цитаты в тексте. Проверки пишет код, а не модель.
- Показать источник или передать человеку. Ответ приходит со страницей и цитатой, сомнительное достаётся оператору.
Нейросеть в узком смысле участвует на двух остановках: когда читает изображение и когда работает языковая модель. Остальное обычный код, и он определяет, будет ли итог надёжным. Чем больше структуры в файле, тем короче путь: Word и PDF из программ проходят первые три остановки без распознавания.
Как нейросеть работает с документами разных форматов: что получаем и что ломается
Таблица показывает, что лежит на входе после первых шагов и где формат подводит чаще всего.
| Формат | Что получаем | Главная проблема | Что делаем |
|---|---|---|---|
| Word (.docx) | Абзацы со стилями, таблицы, списки, правки, комментарии, колонтитулы, сноски | Часть смысла лежит не в тексте: автонумерация пунктов, удалённый текст в правках, комментарии | Читаем структуру файла, а не «просто текст»; решаем, читать ли с правками, и пишем это в результат |
| Старый .doc | Двоичный формат без удобной структуры | Читается хуже .docx, возможны потери в таблицах и нумерации | Преобразуем в .docx, затем проверяем таблицы и номера пунктов |
| PDF с текстовым слоем | Текст с координатами, таблицы как набор слов | Порядок символов не равен порядку чтения, колонки склеиваются, слова разорваны переносами, шрифты дают неверные символы | Восстанавливаем порядок по координатам, склеиваем переносы, проверяем извлечённый текст на мусор |
| PDF из скана | Картинки страниц, иногда с невидимым слоем от прежнего распознавания | Слой есть, но плохой, и его принимают за хороший | Проверяем слой на выборке страниц, при сомнении распознаём заново |
| Фото | Картинка с перспективой, тенями и бликами | Размытие и блики съедают мелкий шрифт | Выпрямляем и выравниваем свет; плохой кадр возвращаем с просьбой переснять |
| Excel | Ячейки как данные, несколько листов | Объединённые ячейки, скрытые листы, формулы вместо показанных значений | Читаем значения и структуру листов, скрытое помечаем |
| Письмо | Тело и вложения | Главное написано в цитируемой переписке ниже, а вложение теряет смысл без текста письма | Разбираем цепочку, вложения читаем каждое по своему формату |
Нейросеть для работы с документами Word: что видно в файле, а что нет
Файл .docx — набор частей внутри одного архива: основной текст, стили, таблицы, комментарии, колонтитулы, сноски. Человек видит страницу, а программа получает эти части по отдельности, и кое-что, что на экране выглядит как текст, в самом тексте отсутствует.
- Автонумерация. Номера пунктов вроде «5.2» рисует программа при показе, в тексте их нет. Если взять «просто текст», ссылка «см. п. 5.2» теряет адресата. Номера восстанавливаются из структуры списков.
- Правки. Удалённый текст остаётся в файле с пометкой автора и даты. При чтении подряд модель увидит и старую, и новую формулировку. Нужно решить, какую редакцию читаем: с принятыми правками или исходную.
- Комментарии и сноски. Это отдельные части. В них бывает главное («согласовано при условии…»), а в основной текст они не входят.
- Колонтитулы и поля. Номер страницы, название документа, дата в шапке повторяются на каждой странице и попадают в текст, если их не отделить.
- Таблицы с объединёнными ячейками. Структура в файле есть, но строки разной ширины требуют отдельного разбора.
- Картинки внутри файла. Скан, вставленный в Word, читается уже как изображение.
Поэтому на чтении Word нейросеть не нужна: текст со структурой достаётся программно. Она работает позже, на понимании: что за условие, какое поле, какой ответ.
ИИ для анализа PDF: три разных файла под одним расширением
PDF описывает вид страницы, а не смысл текста. Под одним расширением бывают три разных файла.
- PDF с текстовым слоем (выгрузка из программы, экспорт из Word). Текст лежит в файле, но порядок символов не обязан совпадать с порядком чтения: колонки, сноски и подписи к таблицам идут вперемешку. Из-за особенностей шрифтов иногда извлекаются не те символы.
- PDF из сканера. Внутри картинки страниц. Текста нет, пока его не распознали.
- Смешанный PDF. Часть страниц текстом, часть картинками. Если проверить только первую страницу, вывод о файле окажется неверным.
Быстрая проверка: если текст в PDF выделяется мышью и при копировании не превращается в набор странных символов, слой есть и пригоден. Если выделяется, но копируется мусор, слой есть и непригоден, такой файл распознают заново. Если не выделяется вообще, это скан. Бывает и невидимый слой от прежнего распознавания: читая его, мы получаем ровно то качество, которое дало то распознавание.
Таблицы в обычном PDF не имеют структуры строк и ячеек: это слова, расставленные по координатам. Границ может не быть вовсе, поэтому колонки определяют по расстояниям между словами, и на этом шаге ошибаются чаще всего. Электронная подпись внутри PDF чтению не мешает, но подлинность подписи проверяет средство подписи, а не нейросеть.
Почему нейросеть не читает сто страниц целиком: разбиение на фрагменты
Языковая модель принимает за один раз ограниченный объём текста. Чем длиннее вход, тем дороже запрос, а детали из середины модель нередко замечает хуже. Поэтому документ режут на фрагменты, а на каждый вопрос модели показывают только подходящие.
Как режут
По структуре, а не по числу знаков: раздел, пункт, абзац, таблица целиком. К каждому фрагменту прикладывают название документа и раздела, иначе «срок пять дней» оторвётся от того, к чему относится. Размер подбирают замером на ваших вопросах.
Что теряется при резке
- Ответ лежит в двух местах: основное условие в одном пункте, исключение в приложении.
- Ссылка «в порядке, предусмотренном п. 7.3» указывает на фрагмент, который не попал в подборку.
- Таблица разорвана границей фрагмента, заголовок колонок остался в предыдущем куске.
Поэтому соседние фрагменты связывают, определения терминов подкладывают к местам, где они используются, а ссылки разворачивают. Если ответа в предъявленном тексте нет, система должна сказать «не найдено», а не отвечать по памяти модели. Как это устроено в поиске по базе документов, описано на странице «Семантический поиск по документам».
Что значит «качество» и как проверить его за вечер на десяти файлах
Слово «качество» объединяет три разные вещи, и ошибка в одной не видна по другой.
- Чтение. Совпал ли извлечённый текст с оригиналом, особенно в цифрах, реквизитах и фамилиях.
- Структура. Сохранились ли порядок чтения, строки и столбцы таблиц, номера пунктов.
- Вывод. Верны ли поля, класс или ответ и подтверждены ли они цитатой, которая действительно есть в тексте.
Ошибка первого уровня портит остальные: если сумма прочитана неверно, самая аккуратная модель аккуратно перескажет ошибку. Поэтому полезная привычка: прежде чем оценивать ответ, посмотрите на то, что модель получила на входе, то есть на извлечённый текст.
Ориентировочная проверка
- Возьмите по десять документов каждого вашего формата, включая плохие.
- Для каждого откройте извлечённый текст рядом с оригиналом и сверьте пять-шесть чисел: суммы, даты, номера.
- Проверьте таблицы: число строк и столбцов, итог.
- Задайте пять вопросов с известным ответом и два вопроса, ответа на которые в документе нет.
- Отметьте ответы без источника и случаи, где «не найдено» сказано верно.
Это проверка на глаз, а не замер. Для приёмки нужны выборка, метрики по полям и пороги уверенности; как их записать, описано в статье «Как измерить точность распознавания документов».
Частые отказы: таблицы, колонтитулы, подписи
Эти места подводят чаще остальных. Общее правило: ошибка, которая выглядит правдоподобно, опаснее той, что видна сразу, поэтому для сумм и таблиц нужна проверка кодом.
| Что ломается | Как проявляется | Как ловим и чиним |
|---|---|---|
| Таблицы без границ | Колонки определены по расстояниям, цена попала в столбец количества | Арифметика: количество на цену равно сумме строки; при расхождении строка идёт человеку |
| Таблицы на нескольких страницах | Заголовок колонок остался на первой странице, строки продолжаются дальше | Склеиваем таблицу по страницам, переносим заголовок, сверяем число строк с итогом |
| Колонтитулы | Название документа и номер страницы вклиниваются в середину фразы или читаются как данные | Отделяем блоки, повторяющиеся на каждой странице, до разбиения на фрагменты |
| Подписи и печати | Печать закрывает цифры, видимая отметка подписи — картинка, а не текст | Поля под печатью помечаем как неуверенные; наличие подписи отмечаем отдельно, подлинность проверяет средство подписи |
| Сноски и примечания | Выпадают из порядка чтения и уходят в конец страницы | Привязываем сноску к месту ссылки |
| Две колонки | Строки двух колонок склеиваются в одну | Определяем колонки по координатам до чтения |
| Переносы слов | Слово разорвано между строками и не находится поиском | Склеиваем перенос до разбиения на фрагменты |
| Рукописные пометки | Читаются хуже печати, смысл теряется | Считаем отдельно, в учёт без проверки человеком не отдаём |
Что делаем мы и с чего начать
Мы разрабатываем разбор документов на заказ: чтение по формату, схемы полей, проверки кодом, очередь оператора. Модели стоят на ваших серверах, исходники лежат в вашем репозитории с первого коммита. Услуга описана на странице «Нейросеть для обработки документов»: пять задач, метод под каждый формат файла и выборка на 50–100 документов.
Начинаем с обследования: 200 000 ₽ за один-два потока документов (2–3 недели) или 350 000 ₽ за несколько источников и систем (3–4 недели); сумма вычитается из первого этапа. На выходе протокол замера на ваших документах, решение по каждому формату и вилка бюджета. Дальше лёгкий пилот (150 000–400 000 ₽), при необходимости тяжёлый (400 000–1 200 000 ₽) и вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Остановиться можно после любой ступени. Цены и сроки собраны на странице «Тарифы».
Частые вопросы
Как нейросеть работает с документами, если это скан?
Сначала страницу выравнивают и распознают, получая слова с координатами и оценкой уверенности. Затем языковая модель или правила достают поля по схеме, а код проверяет арифметику и реквизиты. Спорные значения уходят человеку. Точность по сканам считается отдельно от других форматов.
Может ли нейросеть читать документы Word с правками и комментариями?
Может, потому что в .docx правки и комментарии хранятся отдельно от основного текста. Нужно заранее решить, какую редакцию читать, с принятыми правками или исходную, и записать это в результат. Комментарии читаются как отдельный слой.
Как нейросеть анализирует PDF и почему иногда выдаёт мусор?
Если у PDF есть текстовый слой, текст берут напрямую. Мусор появляется, когда слой испорчен шрифтами или порядок чтения не совпадает с визуальным и колонки склеиваются. Если слоя нет, файл распознаётся как картинка. Проверьте, выделяется ли текст мышью и читается ли он при копировании.
Видит ли нейросеть таблицы?
Видит, если структуру таблицы удалось восстановить. В Word и Excel она хранится в файле. В PDF и на сканах это слова на странице, и строки со столбцами определяют по координатам. Поэтому для таблиц нужна проверка: число строк и сумма строк против итога.
Почему нейросеть иногда выдумывает данные из документа?
Языковая модель строит правдоподобный ответ, даже когда нужного значения в тексте нет или оно прочитано с ошибкой. Поэтому проверки стоят снаружи модели: значение должно найтись в исходном тексте, арифметика должна сойтись, а «не найдено» должно быть допустимым ответом.
Можно ли загружать договоры в облачную нейросеть?
Для данных ограниченного доступа облачные сервисы чаще не подходят по требованиям заказчика. Решение принимают служба безопасности и юрист; это не юридическая консультация. Персональные данные граждан России обычно должны храниться на серверах в России. Мы запускаем распознавание и модель на ваших серверах.
Сколько страниц нейросеть может прочитать за один раз?
Это зависит от модели и ограничено объёмом входного текста. Длинный документ режут на фрагменты по структуре и на каждый вопрос показывают подходящие. Чем длиннее вход, тем дороже запрос и тем чаще упускаются детали, поэтому цифру «страниц за раз» мы не называем: важнее, как организован подбор фрагментов.
Как проверить, что нейросеть правильно прочитала документ?
Откройте извлечённый текст рядом с оригиналом, сверьте числа и таблицы, задайте вопросы с известным ответом и вопросы без ответа. Для приёмки нужна выборка с метриками по полям; как их считать, описано в отдельной статье.