title background

Шешімдер / Приватты IDP (Intelligent Document Processing) — бизнеске арналған құжаттарды интеллектуалды өңдеу және тексеру жүйесі

Приватты IDP — өтініш берушінің құжаттар пакетін (скандарды, телефоннан түсірілген фотосуреттерді, PDF және Word файлдарын аралас күйде) қабылдайтын корпоративтік жүйе. Жүйе пакетті таниды, әрбір құжаттың түрін анықтайды, деректемелерді (реквизиттерді) алады және пакеттің сіздің ұйым талаптарына сәйкестігін тексереді.

Өңдеу толығымен сіздің серверіңізде орындалады. Құжаттар, олардың мазмұны және алынған деректер бұлтты сервистерге және сыртқы API-лерге берілмейді.

 

 

Міндет

Өтініш беруші құжаттар пакетін әртүрлі форматта жібереді. Бір PDF файлында алты түрлі құжат болуы мүмкін, ал бір құжат үш фотосуретке бөлініп түсірілуі ықтимал. Қызметкер қолмен қайсысы қандай құжат екенін, не жетіспейтінін, қандай анықтамалардың мерзімі өтіп кеткенін және құжаттар арасындағы деректердің сәйкес келетінін-келмейтінін тексереді.

Бір пакетке сағаттар кетеді. Қателік келесі кезеңде анықталады, ал ол кезде жетіспейтін құжат үшін өтініш берушіні қайта шақыру қымбатқа түседі.

Жүйе не істейді

Приватты IDP пакеттің кіріс бақылауын бірнеше минут ішінде орындайды:

  • әрбір бетті, соның ішінде скандар мен фотосуреттердегі баспа мәтінін, кестелерді, деректемелерді таниды;
  • сіздің анықтамалығыңыздағы құжат түрлері бойынша беттерді жіктейді (классификациялайды) және оларды құжаттарға жинақтайды;
  • қажетті өрістерді — ЖСН/БСН, күндерді, сомаларды, нөмірлерді, атауларды алады;
  • пакетті тексереді — барлық құжаттар тіркелген бе, міндетті өрістер толтырылған ба, жарамдылық мерзімдері өтіп кетпеген бе, құжаттар арасындағы деректер сәйкес келе ме.

Нәтижесінде нақты қорытынды беріледі: қандай құжат жетіспейді және қай талап бойынша ол міндетті, қай өріс толтырылмаған, қай бет оқылмайды және қайта суретке түсіруді қажет етеді. Алынған әрбір мән оның қай беттен және қай үзіндіден алынғанын көрсететін сілтемемен сүйемелденеді — оны бір рет басу арқылы тексеруге болады.

Шешім қабылдау сіздің қызметкеріңізде қалады: жүйе оған материал дайындап береді, бірақ соңғы үкім шығармайды.

 

 

Приваттылық — архитектураның негізгі қағидаты

Өтініш берушілердің құжаттарында дербес деректер, қаржылық ақпарат, ал банктерде банктік құпияны құрайтын мәліметтер болады. Сондықтан жүйе басынан бастап деректер ешқайда кетпейтіндей етіп жобаланған.

  • Әр клиент үшін бөлек инсталляция. Жүйе сіздің серверіңізде — серверлік бөлмеңізде немесе ДӨО-дағы (деректерді өңдеу орталығы) жеке бағанада (стойкада) өрістетіледі. Басқа клиенттермен ортақ бұлт және ортақ дерекқор жоқ.
  • Барлық модельдер жергілікті түрде жұмыс істейді. Тану, жіктеу және өрістерді алу сіздің жабдығыңызда ашық бастапқы коды бар (open-source) модельдер арқылы орындалады. Файлдар, мәтін және алынған мәндер модель әзірлеушілеріне де, бізге де берілмейді.
  • Желінің жабық сегментінде жұмыс істеу. Орнатылғаннан кейін жүйеге интернетке қолжетімділік қажет емес.
  • Жүйе құжаттар мұрағатын сақтамайды. Файлдарды сіздің есептік жүйеңіз немесе ЭҚЖ (электрондық құжат айналымы жүйесі) сақтайды, сервис оларды тек өңдеу уақытына ғана алады. Уақытша файлдар өңделгеннен кейін бірден жойылады, ал нәтижелер — бапталатын сақтау мерзіміне сәйкес өшіріледі.
  • Деректерді локализациялау. Деректер тапсырыс берушінің инфрақұрылымы мен аумағынан тыс жерге шықпайды, бұл дербес деректерді сақтау және банктік құпия туралы заңнама талаптарын орындауды жеңілдетеді.
  • Тексерілушілік. Танудың бастапқы нәтижесі өзгеріссіз сақталады. Жүйенің кез келген қорытындысын бастапқы құжаттың нақты бетіне дейін қадағалап тексеруге болады.

 

 

Бұл қалай құрылған

1. Файл түрі бойынша маршруттау

Әрбір формат өзіндік тәсілмен өңделеді. Word файлдарынан мәтін тану кезеңінсіз, тікелей алынады. PDF файлдарында алдымен мәтіндік қабат тексеріледі: егер ол бар болса, координаттарымен бірге дайын мәтін алынады; егер бұл скан болса, бет 200–300 dpi ажыратымдылықта растрленеді де, тануға жіберіледі. Бұл бәрін қатарынан танығаннан гөрі жылдамырақ әрі дәлірек: нақты пакеттерде беттердің едәуір бөлігі OCR-ды мүлдем қажет етпейді.

2. Фотосуреттерді дайындау

Телефоннан түсірілген суреттер үшін жүйе парақтың контурын табады, перспектива мен бұрылысты түзетеді, жарықтандыруды теңестіреді. Беттің сапасы тануға дейін бағаланады: егер сурет жарамсыз болса, жүйе мәселе туралы келесі күні хабарламай, нақты сол бетті қайта суретке түсіруді бірден сұрайды.

3. Тану (OCR)

Тануды көлемі шамамен 1 млрд параметрден тұратын ықшам мамандандырылған құжаттық модельдер орындайды. Құжаттарды талдаудың ашық бенчмарктерінде мұндай модельдер жүздеген есе үлкен әмбебап мультимодальді нейрожелілерді басып озады және сонымен бірге бір серверде жұмыс істейді. Нәтижесі — блоктардың координаттары бар мәтін, кестелер және мөр белгілері. Жүйе орыс және қазақ тілдеріне, соның ішінде қазақ кириллицасының ерекше әріптеріне бейімделген.

4. Құжаттарды жіктеу және жинақтау

Әрбір бет құжаттардың жабық анықтамалығындағы түрлердің біріне жатқызылады, содан кейін беттер құжаттарға жинақталады. Бір файлдағы бірнеше құжат пен бірнеше файлдағы бір құжат бірдей өңделеді.

5. Схема бойынша өрістерді алу

Құжаттың әрбір түрі үшін өзіндік өрістер жиынтығы белгіленген. Егер мән оқылмаса немесе жоқ болса, жүйе шындыққа ұқсас болжамды қоя салмай, «табылмады» деген жауап қайтарады. Тану сенімділігі төмен өрістер қолмен тексеру үшін белгіленеді.

6. Нейрожелімен емес, ережелермен тексеру

Жинақтылық пен талаптарға сәйкестікті детерминирленген ережелер қозғалтқышы тексереді. Нәтиже қайталанатын (тұрақты) болады: бірдей пакет әрқашан бірдей қорытынды береді, ал әрбір ескерту нақты бір ережеге сілтеме жасайды. Талаптар баптаулар арқылы беріледі және оларды әзірлеушілердің қатысуынсыз талдаушы өзгерте алады.

7. Құжаттар арасындағы кросс-тексерулер

Пакеттегі барлық құжаттардағы ЖСН/БСН салыстырып тексеру, анықтамалардың жарамдылық мерзімін бақылау, қаржылық есептілік пен өтінім арасындағы сомалардың сәйкестігі.

 

 

Қайда қолданылады

Алғашқы салалық сценарий — несие өтінімінің құжаттар пакетін қабылдау. Дәл осындай міндет — пакетті қабылдау, талдау және талаптар бойынша тексеру — басқа процестерде де туындайды:

  • заңды тұлғалардың онбордингі және KYC;
  • тендерлік және конкурстық өтінімдер;
  • қызметкерлерді жұмысқа қабылдау кезіндегі кадрлық құжаттар;
  • сақтандыру және лизинг өтінімдері.

 

 

Интеграция және инфрақұрылым

  • Токен бойынша авторизацияланатын REST API. Тапсырмалар асинхронды түрде орындалады: сіздің жүйеңіз пакетті жібереді және дайын болған кезде нәтижені алады.
  • Нәтиже екі түрде беріледі: сіздің жүйеңізге арналған құрылымдалған деректер (JSON) және қызметкерге арналған қорытынды.
  • Жүйе сіздің бэкендіңізбен немесе ЭҚЖ-мен қатар жұмыс істейді және оларды алмастырмайды.
  • Приватты ASR жүйесімен бір платформада құрылған: тапсырмалар кезегі, бірыңғай API, журналдар мен мониторинг өнеркәсіптік пайдалануда тексерілген.

Жергілікті серверге қойылатын талаптар

16 ГБ-тан басталатын бейнежады бар бейнекартасы орнатылған бір сервер жеткілікті: құжаттарды тану және мәтінді талдау модельдері ауыстырып қосусыз, онда бір уақытта орналасады. Жүздеген беттен тұратын пакет бірнеше минут ішінде өңделеді.

 

 

Сондай-ақ қараңыз

Приватты ASR — компанияңыздың инфрақұрылымындағы корпоративтік сөйлеуді тану жүйесі.