title background

Решения / Приватный IDP (Intelligent Document Processing) — интеллектуальная обработка и проверка документов для бизнеса

Приватный IDP — корпоративная система, которая принимает пакет документов заявителя: сканы, фотографии с телефона, PDF и файлы Word вперемешку. Система распознаёт пакет, определяет тип каждого документа, извлекает реквизиты и проверяет пакет на соответствие требованиям вашей организации.

Обработка выполняется целиком на вашем сервере. Документы, их содержимое и извлечённые данные не передаются в облачные сервисы и внешние API.

 

 

Задача

Заявитель присылает пакет документов в разных форматах. В одном PDF может оказаться шесть разных документов, а один документ может быть разложен по трём фотографиям. Сотрудник вручную разбирает, что чем является, чего не хватает, какие справки уже просрочены и совпадают ли данные между документами.

На один пакет уходят часы. Ошибка обнаруживается на следующем этапе, когда возвращать заявителя за недостающим документом уже дорого.

Что делает система

Приватный IDP выполняет входной контроль пакета за минуты:

  • распознаёт каждую страницу — печатный текст, таблицы, реквизиты, в том числе на сканах и фотографиях;
  • классифицирует страницы по типам документов из вашего справочника и собирает их в документы;
  • извлекает нужные поля — ИИН/БИН, даты, суммы, номера, наименования;
  • проверяет пакет — все ли документы приложены, заполнены ли обязательные поля, не истекли ли сроки действия, сходятся ли данные между документами.

На выходе — заключение с конкретикой: какого документа не хватает и по какому требованию он обязателен, какое поле не заполнено, какая страница нечитаема и требует пересъёмки. Каждое извлечённое значение сопровождается ссылкой на страницу и фрагмент, откуда оно взято, — проверить его можно одним кликом.

Решение остаётся за вашим сотрудником: система готовит для него материал, а не выносит вердикт.

 

 

Приватность — основной принцип архитектуры

Документы заявителей содержат персональные данные, финансовую информацию, а у банков — сведения, составляющие банковскую тайну. Поэтому система с самого начала спроектирована так, чтобы данные никуда не уходили.

  • Отдельная инсталляция для каждого клиента. Система разворачивается на вашем сервере — в вашей серверной или в собственной стойке в ЦОД. Общего облака и общей базы с другими клиентами нет.
  • Все модели работают локально. Распознавание, классификация и извлечение полей выполняются открытыми (open-source) моделями на вашем оборудовании. Файлы, текст и извлечённые значения не передаются ни разработчикам моделей, ни нам.
  • Работа в закрытом сегменте сети. После установки системе не нужен доступ в интернет.
  • Система не хранит архив документов. Файлы хранит ваша учётная система или СЭД, сервис получает их только на время обработки. Промежуточные файлы удаляются сразу после обработки, результаты — по настраиваемому сроку хранения.
  • Локализация данных. Данные не покидают инфраструктуру и территорию заказчика, что упрощает выполнение требований законодательства о хранении персональных данных и банковской тайне.
  • Проверяемость. Исходный результат распознавания сохраняется без изменений. Любой вывод системы можно проследить до конкретной страницы исходного документа.

 

 

Как это устроено

1. Маршрутизация по типу файла

Каждый формат обрабатывается своим способом. Из файлов Word текст извлекается напрямую, без распознавания. У PDF сначала проверяется текстовый слой: если он есть, берётся готовый текст с координатами; если это скан, страница растеризуется в 200–300 dpi и отправляется на распознавание. Это быстрее и точнее, чем распознавать всё подряд: на реальных пакетах значительная часть страниц вообще не требует OCR.

2. Подготовка фотографий

Для снимков с телефона система находит контур листа, исправляет перспективу и поворот, выравнивает освещение. Качество страницы оценивается до распознавания: если снимок непригоден, система сразу просит переснять конкретную страницу, а не сообщает о проблеме на следующий день.

3. Распознавание (OCR)

Распознавание выполняют компактные специализированные документные модели размером около 1 млрд параметров. На открытых бенчмарках разбора документов такие модели обходят универсальные мультимодальные нейросети, которые крупнее в сотни раз, и при этом работают на одном сервере. Результат — текст с координатами блоков, таблицы и отметки печатей. Система рассчитана на русский и казахский языки, включая специфические буквы казахской кириллицы.

4. Классификация и сборка документов

Каждая страница относится к одному из типов закрытого справочника документов, после чего страницы собираются в документы. Несколько документов в одном файле и один документ в нескольких файлах обрабатываются одинаково.

5. Извлечение полей по схеме

Для каждого типа документа задан свой набор полей. Если значение не читается или отсутствует, система возвращает «не найдено», а не подставляет правдоподобную догадку. Поля с низкой уверенностью распознавания помечаются для ручной проверки.

6. Проверка правилами, а не нейросетью

Комплектность и соответствие требованиям проверяет детерминированный движок правил. Результат воспроизводим: один и тот же пакет всегда даёт одно и то же заключение, а каждое замечание ссылается на конкретное правило. Требования задаются настройками и меняются аналитиком без участия разработчиков.

7. Кросс-проверки между документами

Сверка ИИН/БИН во всех документах пакета, контроль сроков давности справок, сходимость сумм между финансовой отчётностью и заявкой.

 

 

Где применяется

Первый отраслевой сценарий — приёмка пакета документов кредитной заявки. Та же задача — принять пакет, разобрать и проверить его по требованиям — возникает и в других процессах:

  • онбординг юридических лиц и KYC;
  • тендерные и конкурсные заявки;
  • кадровые документы при приёме сотрудников;
  • страховые и лизинговые заявки.

 

 

Интеграция и инфраструктура

  • REST API с авторизацией по токену. Задания выполняются асинхронно: ваша система отправляет пакет и забирает результат по готовности.
  • Результат выдаётся в двух видах: структурированные данные (JSON) для вашей системы и заключение для сотрудника.
  • Система работает рядом с вашим бэкендом или СЭД и не заменяет их.
  • Построена на той же платформе, что и Приватный ASR: очередь заданий, единый API, журналы и мониторинг уже проверены в промышленной эксплуатации.

Требования к локальному серверу

Достаточно одного сервера с видеокартой от 16 ГБ видеопамяти: модели распознавания документов и анализа текста размещаются на ней одновременно, без переключения. Пакет на сотню страниц обрабатывается за минуты.

 

 

Смотрите также

Приватный ASR — корпоративная система распознавания речи в инфраструктуре вашей компании.