ИИ для работы с документами: как проверить извлечение данных
Соберите эталонный набор документов, сравните извлечённые поля с оригиналом и запишите типы ошибок до решения об автоматизации.
Проверяйте ИИ на конкретных полях и ошибках, а не на впечатлении от красивого ответа. Определите, какие значения нужно перенести из документа, соберите разрешённый набор разных файлов, заранее заполните правильные значения и сравните результат системы с эталоном. Если неверная дата, сумма или реквизит может повлиять на решение, человек должен сверить поле с оригиналом до использования.
Работа с документами включает множество разных задач: поиск текста, извлечение полей, сравнение версий, подготовку черновика. Этот разбор посвящён только извлечению полей. Системы анализа документов могут выделять текст и структуру; например, Microsoft Document Intelligence описывает извлечение таблиц в своём продукте. Это не доказательство, что любой ИИ одинаково читает ваш формат.
Составьте эталон до запуска инструмента
Возьмите одну операцию — например, перенести дату, номер и сумму из входящего документа в учётную карточку. Назначьте сотрудника, который знает, откуда берётся правильное значение. Для каждого разрешённого файла заполните строку:
| Поле в проверке | Что записать заранее |
|---|---|
| Тип файла и качество | PDF с текстом, скан, фотография; читаемость и страницы. |
| Нужные поля | Точное имя каждого поля и где оно находится. |
| Эталон | Значение, проверенное человеком по оригиналу. |
| Допустимый формат | Например, единый формат даты или разделитель десятичных разрядов. |
| Цена ошибки | Что случится, если значение пропущено или перепутано. |
| Решение | Принять, исправить вручную или отправить документ на разбор. |
В наборе должны быть не только ровные одностраничные образцы: добавьте перенос таблицы, похожие названия полей, пустое значение и нечёткий скан, если такие случаи действительно встречаются. Руководство OpenAI по оценке систем рекомендует тестировать на примерах, отражающих реальную задачу, и сверять автоматическую оценку с человеческой.
Разметьте ошибку, а не только «успех»
Для каждого поля сравните вывод с эталоном и выберите один тип:
- Верно: значение и его источник совпадают.
- Пропуск: значение есть в документе, но система его не нашла.
- Неверное поле: число или дата взяты из другого места.
- Неверное значение: поле выбрано верно, но распознано с ошибкой.
- Нельзя уверенно прочитать: исходный файл сам не позволяет принять значение без уточнения.
Просите систему показывать место в документе, откуда взят ответ, если выбранный сервис это умеет. Но наличие ссылки на страницу не отменяет сверку: источник может быть правильной страницей и неправильной строкой. Для критичных полей установите правило «нет уверенности — нет автоматической записи».
Для сравнения двух сервисов используйте тот же набор файлов и те же поля. Менять критерий после просмотра ответов нельзя: иначе кандидат, проверенный последним, получит преимущество. Храните эталон отдельно от запросов к системе, а журнал ошибок — без сведений, которые не нужны для оценки. Когда меняется формат документа, добавьте новый пример в проверку до расширения автоматической обработки.
Учебный пример без выдуманных результатов
Учебный сценарий. В документе на первой странице стоит дата составления, а на последней — срок оплаты. Инструмент возвращает дату, но сотрудник видит, что она относится не к тому полю. Такой результат нельзя считать успешным из-за совпадающего формата. Правильная проверка записывает тип ошибки «неверное поле» и возвращает файл человеку.
Если документы имеют одинаковую структуру, сначала сравните ИИ с шаблоном ввода или обычным распознаванием текста. Если типы файлов сильно различаются, тестируйте каждый значимый тип отдельно. Не делайте вывод об общей точности по нескольким удобным примерам и не переносите чужие показатели на свои документы.
Данные и решение о пилоте
Не отправляйте реальные конфиденциальные документы в сторонний сервис, пока не проверены его условия и правила вашей компании. OWASP выделяет раскрытие чувствительной информации среди рисков LLM-приложений; юридические требования к конкретным документам проверяйте отдельно со специалистом.
Пилот продолжают, только если понятны доля принятых полей, виды ошибок, время сверки и случаи ручной передачи. Для расчёта полного эффекта используйте методику измерения пилота: считать нужно полный путь до верной записи, а не скорость извлечения текста.