Adatkinyerés számlákról, az MI segítségével

A vállalatok számára a számlákon található adatok strukturált feldolgozása kiemelt üzleti értéket képvisel, hiszen ezek az információk közvetlenül felhasználhatók riportok, elemzések, előrejelzések és döntéstámogató rendszerek készítéséhez. A projekt kezdetén a piacon elsősorban OCR- és sablonalapú megoldások voltak elérhetők. Ezek a rendszerek megfelelően működtek ismert dokumentumstruktúrák esetén, azonban minden új számlatípus esetén külön konfigurációt és sablonkarbantartást igényeltek. A változó formátumú dokumentumok kezelése jelentős manuális ráfordítást követelt, ami korlátozta a skálázhatóságot. A később megjelenő AI-alapú modellek új lehetőségeket teremtettek, ugyanakkor a magyar nyelvű számlák feldolgozása továbbra is kihívást jelentett — gondoljunk csak a multinacionális kereskedelmi cégek által kibocsátott, szemmel is nehezen olvasható számlatípusokra. A rendelkezésre álló nyílt forráskódú modellek pontossága nem érte el a kívánt szintet, míg a megfelelő finomhangoláshoz szükséges nagymennyiségű annotált tanítóadat előállítása jelentős erőforrásigénnyel járt volna.

A fejlesztés első szakaszában részletesen elemeztük a hagyományos OCR-megoldásokat, köztük az ABBYY, Kofax és TIS eFlow rendszereket. Ezek értékes tapasztalatokat biztosítottak a dokumentumfeldolgozási folyamatokról, ugyanakkor egyértelművé vált, hogy hosszú távon nem biztosítanak megfelelő rugalmasságot a változatos számlaformátumok kezelésére. A következő lépésben publikus AI-modelleket vizsgáltunk. A Donut modell angol nyelvű dokumentumok esetén ígéretes eredményeket mutatott, azonban a magyar számlák esetében a pontosság és az üzleti felhasználhatóság elmaradt az elvárásoktól. A szükséges finomhangolás jelentős adatigénye miatt ezt az irányt nem folytattuk tovább. A valódi áttörést a multimodális "vision" modellek megjelenése hozta. Elsőként a Gemini 1.0 Pro Vision modellt vezettük be, amely már képes volt a számlaképek szemantikus értelmezésére. A pontosság növelése érdekében egy iteratív feldolgozási stratégiát alakítottunk ki, amely a számlák különböző részeit önállóan elemezte, majd az eredményeket egyesítette. A feldolgozási folyamat végén a nettó, bruttó és ÁFA-értékek ellenőrzése és számítása programozott validációs lépések segítségével történt. A rendszer teljesítményét benchmark tesztekkel mértük, amelyek objektív visszajelzést biztosítottak az egyes modellek és promptstratégiák hatékonyságáról. A Gemini 1.5 Flash bevezetése jelentős előrelépést eredményezett mind pontosság, mind sebesség, mind pedig költséghatékonyság tekintetében. Az új modell kisebb promptterjedelemmel is képes volt a releváns összefüggések felismerésére, miközben jelentősen csökkentette a feldolgozás költségét és idejét.

A projekt legfontosabb tanulsága az volt, hogy a dokumentumfeldolgozás területén a vision-alapú multimodális modellek képesek áttörni az OCR-rendszerek hagyományos korlátait. Míg a korábbi megoldások elsősorban a karakterek felismerésére koncentráltak, az új generációs modellek már a dokumentumok szerkezetét és szemantikáját is értelmezik. A benchmark mérések egyértelműen igazolták, hogy a feldolgozási stratégia legalább olyan fontos tényező, mint maga a modell. A számlák részegységekre bontása, a strukturált promptolás és a programozott validáció együtt jelentősen javították az eredményeket. A Gemini 1.5 Flash bevezetésével sikerült elérni a projekt addigi legjobb eredményét: standard és egyszerűsített magyar számlák esetében 90%-os adatkinyerési pontosságot, miközben a tokenfelhasználás költsége átlagosan 73,75%-kal csökkent az előző generációs megoldáshoz képest. A fejlesztés jelenlegi szakaszában a rendszer üzleti környezetben is alkalmazható pontosságot biztosít. A következő fejlesztési irányok között szerepel az új generációs Gemini modellek integrálása, a pontosság további növelése, valamint a komplexebb dokumentumtípusok támogatása.