Mis on RAG-lahendus? Ettevõtte dokumentidel põhineva AI võimalused ja piirid

RAG leiab et­te­võtte do­ku­men­ti­dest as­ja­ko­ha­seid lõike ja koos­tab al­li­ka­tele vii­ta­vaid vas­tu­seid, kuid see ei treeni mu­de­lit ega taga tõde või li­gi­pää­su­kont­rolli.

Esmaspäeva hom­mi­kul kü­sib per­so­na­li­juht si­seas­sis­ten­dilt, kui kaua tu­leb kan­di­daa­tide and­meid säi­li­tada, ja saab veenva vas­tuse koos lin­giga et­te­võtte po­lii­ti­kale; on ai­nult üks prob­leem: lei­tud ver­sioon kao­tas keh­ti­vuse ka­heksa kuud ta­gasi. Selline RAG-la­hen­dus võis teh­ni­li­selt teha kõik, mida te­malt pa­luti — leida se­man­ti­li­selt sar­nase lõigu, li­sada selle mu­deli kon­teksti ja kir­ju­tada la­dusa vas­tuse. See ei kont­rol­li­nud siiski, kas fail on vii­mane kin­ni­ta­tud ver­sioon, kui ver­siooni olek pole in­deksis usal­dus­väär­selt mär­gi­tud.

Mis on RAG-la­hen­dus? RAG tä­hendab ret­rie­val-aug­men­ted ge­ne­ra­tion'it, mille pu­hul li­sa­takse vas­ta­mise ajal mu­de­lile vä­li­sest al­li­kast lei­tud kon­tekst. See ei õpeta et­te­võtte do­ku­mente mu­deli kaalu­desse ega ole eraldi „tar­ku­se­kiht”, mis teab au­to­maat­selt, mil­line do­ku­ment on õige; pi­gem mee­nu­tab see raa­ma­tu­kogu, kus väga kiire raa­ma­tu­ko­gu­hoidja toob an­deka toi­me­taja lauale köite. Hoidja võib va­lida vale köite, ent toi­me­taja kir­ju­tab ik­kagi veenva lõigu; algne RAG-i uuri­mus eris­tabki mu­deli pa­ra­meet­ri­list mälu vä­li­sest mit­te­pa­ra­meet­ri­li­sest al­li­kast.

Praktiline kasu on suur, kui pii­rid au­salt välja öelda; süs­teem võib leida hal­la­tud do­ku­men­di­ko­gust so­bivad lõi­gud, koon­dada need kü­si­muse jaoks kon­teksti ja koos­tada kont­rol­li­tava al­li­ka­vii­tega mus­tandi. Vastutuse piir peab olema näh­tav ka ka­su­tajale: lii­des ei tohi jätta mul­jet, et al­li­ka­viide tä­hendab õi­gus­likku kin­ni­tust, ning veast või eba­sel­gu­sest tea­ta­mine peab olema sama lihtne kui kü­si­muse esi­ta­mine. RAG ei pa­randa halba do­ku­men­tat­siooni, taga fak­ti­list õig­sust, ra­kenda ise li­gi­pää­su­õi­gusi ega asenda kind­late reeg­li­tega töö­voogu ja ini­m­ese kin­ni­tust olu­kor­ras, kus viga te­ki­tab õi­gus­liku, ra­ha­lise, turbe- või inim­õi­guste riski. See piir mää­rab nii ar­hi­tek­tuuri kui ka pi­loo­dis mõõ­de­tava.

Miks võib vana poliitika ilmuda kehtiva dokumendina?

Vana po­lii­tika prob­leem ei alga kee­le­mu­de­list, vaid do­ku­men­di­hal­du­sest; ja­ga­tud ket­tal on „Isikuandmed_final.docx”, „Isikuandmed_final2.docx” ja kin­ni­ta­tud PDF, kuid ühelgi fai­lil pole üht­set jõus­tu­mis­kuu­päeva, ole­kut ega asen­da­tud ver­siooni tun­nust. Indeks näeb kolme si­sult sar­nast kan­di­daati ja se­man­ti­line ot­sing võib vana do­ku­mendi et­te­poole tõsta, sest selle sõ­nas­tus lan­geb kü­si­mu­sega pa­re­mini kokku. Mudel ei tea or­ga­ni­sat­siooni koos­ole­kul teh­tud ot­sust, kui seda and­me­tes pole, ning faili­nimi „fi­nal” ei ole hal­dus­meh­ha­nism.

Tagajärg on pet­lik, sest vas­tus võib näida ta­va­li­sest ot­sin­gu­tu­le­mu­sest pa­rem: see on lü­hike, gram­ma­ti­li­selt kor­rektne ja viitab pä­ris do­ku­men­dile. Seetõttu te­kib tunne, et kont­roll on juba teh­tud; link tõendab vaid seda, et vas­tuse juu­res näi­dati või seostati konk­reet­set faili. See ei tõenda, et iga väide tu­le­neb vii­da­tud lõi­gust, et lõik pole erandi juu­rest välja re­bi­tud ega et do­ku­men­dil on õi­gus olla au­to­ri­teetne. NIST-i GenAI pro­fiil ei kä­sitle usal­dus­väär­set vä­li­must pii­sava ris­ki­kont­rol­lina ja rõ­hu­tab juh­ti­mist kogu süs­teemi elutsükli jook­sul.

Lahendus on aval­da­mis­olek, ver­sioo­ni­ahel ja priori­tee­di­reeg­lid, mitte pi­kem viip. Igal in­deksis ole­val do­ku­men­dil peab olema oma­nik, jõus­tu­mis- ja lõpp­kuu­päev, olek, asen­da­tud do­ku­ment, ük­sus, kon­fi­dent­siaal­sus­klass ning üle­vaa­ta­mise täht­aeg; ot­sin­gu­fil­ter peab vai­ki­misi vä­lis­tama mus­tan­did ja keh­te­tud ver­sioo­nid. Kui al­li­kad lä­he­vad vas­tu­ollu, peab süs­teem konf­likti näi­tama ja hoi­duma ühe kindla vas­tuse teesk­le­mi­sest; vas­tu­tav oma­nik peab saama üles­ande do­ku­men­di­kogu kor­ras­tada; RAG võib kaose näh­ta­vaks teha, kuid ei muuda kaost po­lii­ti­kaks.

Vastuse lii­des peaks sel­li­ses olu­kor­ras näi­tama li­saks do­ku­mendi ni­mele ka ver­siooni, keh­ti­vus­ole­kut, lõiku ja konf­lik­ti­hoia­tust. Logis tu­leb säi­li­tada, mil­li­sed kan­di­daa­did leiti ja miks üks neist va­liti, et viga saaks pä­rast in­deksi muut­mist kor­rata. Kui süs­teem hak­kab hil­jem vas­tama tei­siti, peab mees­kond saama kind­laks teha, kas muu­tus do­ku­ment, tü­kel­da­mine, ot­singu sea­dis­tus või mu­del; ilma sel­lise jäl­gi­ta­vu­seta muu­tub kva­li­tee­di­juh­tum ole­tu­seks „AI käi­tu­mise” kohta, mitte pa­ran­da­ta­vaks süs­tee­mi­veaks.

Mis on RAG-lahendus ja kuidas see ettevõtte dokumentidega töötab?

RAG-i tööt­lusahel algab and­mete sis­se­võ­tust, mitte vest­lusak­nast; fai­lid võe­takse kind­la­test hoid­la­test ning neist eral­da­takse tekst, ta­belid ja ole­mas­olev struk­tuur; skan­ni­tud do­ku­men­ti­dele on vaja op­ti­list teks­ti­tu­vas­tust ehk OCR-i. Seejärel ja­ga­takse sisu tä­hen­dus­likeks lõi­ku­deks, säi­li­ta­des iga lõigu juu­res viite do­ku­men­dile, le­hele, jao­ti­sele ja hal­dus­me­ta­and­me­tele. Microsoft kä­sit­leb tü­kel­da­mist ot­singu ka­su­lik­kust mõ­ju­tava va­li­kuna: liiga väike tükk kao­tab mõtte, liiga suur toob kaasa müra ning pi­mesi kindla mär­gi­arvu järgi lõi­ka­mine võib poo­li­tada ta­beli või erandi.

Indekseerimisel luuakse lõi­ku­dest ot­sin­guks so­biv esi­tus, ta­va­li­selt märk­sõ­na­ot­singu ja ar­vu­lis­tel vek­to­ri­tel põ­hi­neva se­man­ti­lise võrd­luse kom­bi­nat­sioon. Kui ka­su­taja esi­tab kü­si­muse, võib süs­teem muuta selle mit­meks ot­sin­gu­pä­rin­guks, ra­ken­dada ük­suse-, kuu­päeva- ja li­gi­pää­su­filtreid, leida kan­di­daa­did ning need üm­ber jär­jes­tada. Alles see­jä­rel jõuavad va­li­tud lõi­gud koos üles­an­dega mu­deli kon­teks­tiak­nasse: vasta ole­mas­ole­vate tõen­dite põh­jal, näita al­li­kaid ja ütle, kui tõen­deid ei piisa; mi­dagi ei „õpita jää­da­valt”; kon­tekst keh­tib selle konk­reetse pä­ringu kohta.

Viimane etapp on ge­ne­ree­ri­mine; eel­ne­valt tree­ni­tud kee­le­mu­del muu­dab lõi­gud aru­saa­da­vaks vas­tuseks, kuid võib neid koh­ma­kalt üm­ber sõ­nas­tada, ühen­dada kok­ku­so­bi­ma­tuid al­li­kaid või li­sada usu­tava de­taili oma üld­tead­mis­test. Tulemus peab säi­li­tama seose lõigu ja väite va­hel, mitte näi­tama vas­tuse lõ­pus üks­nes de­ko­ra­tiiv­set al­li­ka­loen­dit. Kui kü­si­mus nõuab toi­min­gut, näi­teks CRM-is hinna muut­mist, ei tohi mu­de­lile anda vaba täit­mis­õi­gust. Struktureeritud töö­riis­ta­kutse kont­rol­livad ra­ken­duse kood, õi­gu­sed ja kin­ni­tu­se­tapp; ot­sing ai­tab leida põh­jen­duse; see ei anna te­gut­se­mis­luba.

Praktikas töö­tab hästi hüb­rii­dot­sing: täp­set too­te­koodi või po­lii­ti­ka­numb­rit ot­si­takse märk­sõ­nana, kü­si­muse tä­hen­dust aga se­man­ti­li­selt; see­jä­rel va­lib üm­ber­jär­jes­ta­mine lõi­gud, mis vas­ta­vad kõige pa­re­mini kogu kü­si­mu­sele. Jada tu­leb tes­tida pä­ris lü­hen­dite, vi­ga­selt kir­ju­ta­tud koo­dide, kää­nete ja mit­me­keel­sete do­ku­men­ti­dega, sest demo kü­si­mus on ta­va­li­selt liiga pu­has. Kui va­ja­lik lõik kan­di­daa­tide hulka ei jõua, ei saa ge­ne­ree­riv mu­del seda kõ­ne­osa­vu­sega taas­tada; ot­sin­gu­viga tu­leb pa­ran­dada enne viiba üm­ber­kir­ju­ta­mist.

Millistele dokumendiülesannetele RAG sobib?

Parimad ka­su­tus­ju­hud on kü­si­mu­sed, mille vas­tus on pal­ju­des hal­la­tud do­ku­men­ti­des juba ole­mas, kuid mille leid­mine võ­tab ini­me­sel liiga kaua: si­se­prot­se­duu­rid, too­te­ju­hen­did, teh­ni­li­sed ju­hi­sed, kva­li­tee­di­do­ku­men­tat­sioon, le­pin­gu­mal­lide sel­gi­tu­sed ja klien­di­toe tead­mus­baas. RAG-i üles­anne pole uut ot­sust leiu­tada, vaid leida õige jao­tis, ühen­dada mõ­ned koos­kõ­la­li­sed lõi­gud ja teha mus­tand. Hea kü­si­mus on „mil­li­ses ju­hen­dis seda viga kir­jel­da­takse ja mil­li­sed kont­roll­sam­mud seal on?”, mitte „kui­das peaks et­te­võte igas krii­sis käi­tuma?”; ka­su­lik on ka do­ku­men­tide eel­uu­ring: pro­jek­ti­juht leiab le­pin­gu­test tar­ne­tin­gi­mu­sed, han­kes­pet­sia­list nõuete mai­ni­mised ja hool­dus­teh­nik vara­semad la­hen­dused sar­na­sele sead­mele. Vastus peab avama al­lika täpse koha ning süs­teem sal­ves­tama pä­ringu, lei­tud lõi­gud ja ka­su­ta­tud ver­siooni; nii on RAG na­vi­gee­ri­mis- ja mus­tan­di­töö­riist, mitte ano­nüümne ot­sus­taja, kelle ot­sus­tus­käiku ei saa hil­jem taas­tada.

Halvad kan­di­daa­did on üles­an­ded, mil­lel pole sta­biil­set do­ku­men­taal­set alust, mis nõuavad täp­set ar­vu­tust või reeg­lite täit­mist või kus üks viga käi­vi­tab au­to­maat­selt pöör­du­matu toi­mingu. Palgaarvestust, li­gi­pääsu and­mist, makse te­ge­mist ja õi­gus­liku täht­aja kont­rolli ju­hivad kood ning kont­rol­li­ta­vad äri­reeg­lid; RAG võib leida prot­se­duuri sel­gi­tuse, kuid ei asenda ar­vu­tus­moo­to­rit ega vo­li­tus­ahe­lat. Kui te­ge­lik ees­märk on süs­teeme ühen­dada ja and­meid prog­noo­si­ta­valt lii­gu­tada, tu­leb hin­nata äri­prot­ses­side au­to­ma­ti­see­ri­mist, mitte teha ge­ne­ree­ri­tud vas­tu­sest prot­sessi kesk­set lü­li­tit.

Sobivuse mää­rab ka vas­tu­tav oma­nik; iga do­ku­men­di­kogu va­jab ini­mest, kes kin­ni­tab al­li­kad, la­hendab vas­tu­olud ja ot­sus­tab, mida in­deksist eemal­dada. Iga ka­su­tus­juht va­jab mees­konda, kes vaa­tab vead üle ja täiendab tes­ti­komp­lekti. Kui keegi seda tööd ei võta, muu­tub pi­loot mõne kuuga va­nade do­ku­men­tide peeg­liks isegi siis, kui mu­del ise pole muu­tu­nud. Tehniliselt lihtne, kuid hal­la­tud klien­di­toe ju­hend on see­tõttu pa­rem esi­mene pro­jekt kui kogu et­te­võtte ketta ühen­da­mine ühe õh­tuga.

Mida saab RAG ettevõtte dokumentidega igapäevaselt teha?

RAG võib vä­hen­dada aega, mida töö­taja ku­lu­tab õige kausta ja märk­sõ­nade ar­va­misele, sest se­man­ti­line ot­sing leiab lõigu ka siis, kui kü­si­muse sõ­nad ei ühti do­ku­mendi ter­mi­ni­tega. See võib ühen­dada mitu koos­kõ­la­list al­li­kat, sel­gi­tada kee­ru­kat ju­hen­dit liht­sa­malt, koos­tada e-kirja või aru­ande mus­tandi ning näi­data, mil­li­selt le­helt iga olu­line väide pä­ri­neb. OpenAI file search ja Microsofti ot­sin­gu­ar­hi­tek­tuur on konk­reet­sed töö­riis­ta­näi­ted, kuid too­te­va­lik ei kaota va­ja­dust mää­rata do­ku­men­tide olek, filt­rid ja kva­li­tee­di­kont­rol­lid. Süsteem võib pal­jas­tada ka prob­leeme, mida kaus­tade sir­vi­mine var­jab: ühe kü­si­muse kohta lei­dub kaks vas­tu­rää­ki­vat ju­hen­dit, sa­ge­da­sel kü­si­mu­sel puu­dub al­li­kas või ühe osa­konna do­ku­men­did do­mi­nee­rivad, sest need on pa­re­mini struk­tu­ree­ri­tud. Need juh­tu­mid on väär­tus­li­kud vaid siis, kui neid ei pei­deta ühe la­dusa vas­tuse taha. Puuduv al­li­kas ja konf­likt pea­vad muu­tuma mõõ­de­ta­vaks sünd­mu­seks, mida do­ku­mendi oma­nik näeb; nii saab RAG-i kva­li­tee­di­lo­gist ka tead­mus­juh­ti­mise töö­jär­je­kord, mitte pel­galt mu­deli jõud­luse graa­fik.

Teine reaalne või­ma­lus on ko­han­dada esi­tust rolli ja kon­teksti järgi; teh­nik saab ük­sik­as­ja­liku ju­hise koos koo­di­dega, klien­di­nõus­taja lü­hema sel­gi­tuse, kui mõ­le­mal on õi­gus samu al­li­kaid näha. Muutub esi­tus, mitte tõde, ning kõigi rol­lide pu­hul pea­vad al­lika olek ja puu­duva teabe väl­ja­mõt­le­mise keeld jääma sa­maks. Meie töö AI-la­hen­dus­tega algab ka­su­tus­juhu ja ris­ki­piiri mää­ra­mi­sest, mitte mu­deli de­most, sest hea pro­to­tüüp tõendab konk­reet­set töö­võitu teie do­ku­men­ti­del ning näi­tab sa­mal ajal kü­si­musi, millele süs­teem peab vas­tama „ma ei tea”.

Igapäevatöös te­kib suu­rim kasu siis, kui ini­mene näeb, mida süs­teem tema eest tegi ja mis va­jab veel kont­rolli. Vastuse mus­tan­dis saab esile tõsta puu­du­li­kult põh­jen­da­tud väi­ted, pak­kuda seo­tud do­ku­mente ja lasta ühe toi­min­guga va­lest ver­sioo­nist tea­tada; sel­line ta­ga­si­side on väär­tus­li­kum kui lihtne pöid­lai­koon. Parandus tu­leb si­duda kü­si­muse, lõigu ja vea­lii­giga, et mees­kond eris­taks leid­mata al­li­kat koh­ma­kast sõ­nas­tu­sest või va­lest äri­reeg­list ning va­liks so­biva pa­ran­duse.

Mida ei saa RAG teha, kui veenev vastus ka poleks?

RAG ei saa ta­gada tõde, sest viga võib tek­kida enne ge­ne­ree­ri­mist, selle ajal või pä­rast seda. Allikas võib si­sal­dada vale fakti, ot­sing va­lida so­bi­matu lõigu, kon­tekst kao­tada erandi või mu­del ühen­dada õi­ged lõi­gud va­lesti. Tsitaat vä­hendab pi­meda usal­duse riski ai­nult siis, kui ka­su­taja saab avada täpse koha ja kont­rol­lida, kas väide sel­lest tõesti tu­le­neb. Link pä­ris PDF-ile ei ole kva­li­tee­di­märk, nagu ka vi­gase aru­ande bib­liog­raa­fia ei muuda jä­rel­dust õi­geks.

RAG ei ra­kenda ise li­gi­pää­su­kont­rolli; kui ot­sin­gu­kiht ei filt­reeri enne ot­sin­gut do­ku­mente kont­rol­li­tud ka­su­ta­ja­iden­ti­teedi ja do­ku­men­di­õi­guste alu­sel, võib mu­deli kon­teksti jõuda lõik, mida ka­su­taja ei tohi näha. Hiljem viipa kir­ju­ta­tud „ära avalda sa­la­jast tea­vet” ei pa­randa seda ar­hi­tek­tuu­ri­viga; Microsofti do­ku­men­di­ta­seme li­gi­pääsu ju­hi­sed näe­vad ette õi­gusand­med ja tur­be­filt­rid ot­sin­gu­teel en­dal. Liideses pei­de­tud nupp ei kaitse mi­dagi, kui pä­rin­gut saab teha muul vii­sil.

RAG ei muuda ka eba­usal­dus­väär­set sisu tur­va­li­seks; do­ku­men­dis, vee­bi­lehel või e-kir­jas võib olla ju­his, mis püüab süs­teemi käi­tu­mist üm­ber kir­ju­tada — vii­ba­süst. OWASP kä­sit­leb seda eraldi ris­kina, mida ei la­henda täie­li­kult üks keeld süs­tee­mi­vii­bas. Seetõttu tu­leb vä­list sisu kä­sit­leda and­mete, mitte käs­ku­dena; töö­riis­ta­kut­sed pea­vad olema kit­salt lu­ba­tud ja va­li­dee­ri­tud ning suure ris­kiga toi­ming jääma kindla reegli ja ini­m­ese kin­ni­tuse taha. Mudel võib et­te­pa­neku teha, kuid vo­li­tuse an­nab süs­teem.

Piiride hulka kuu­lu­vad ka käi­del­da­vus ja ta­lit­lus­pi­de­vus; kui ot­sin­gu­in­deks pole kät­te­saa­dav, ei tohi tur­va­line süs­teem tee­selda, et et­te­võtte al­li­kad on en­di­selt ole­mas. See peab sel­gelt mi­nema vea­sei­sun­disse või pii­ra­tud re­žiimi, muidu ei erista ka­su­taja al­li­ka­põ­hist vas­tust mu­deli va­bast imp­ro­vi­sat­sioo­nist; sa­muti on vaja kulu- ja pä­rin­gu­piire, hä­da­seis­ka­mist ning eel­mise sea­dis­tuse taas­ta­mist. RAG-toode on mitme tee­nuse ahel ja iga vaikne tõrge võib vas­tuse tä­hen­dust muuta ka siis, kui vest­lus­aken töö­tab edasi.

Dokumentide valmisolek: OCR, metaandmed ja versioonihaldus

Dokumendikausta maht ei näita val­mis­ole­kut. Viltuse le­hega skan­ni­tud le­ping, loe­ta­matu päi­sega ta­bel, vale teks­ti­jär­je­kor­raga PDF või väi­kese kont­ras­tiga foto võib ini­me­sele aru­saa­dav olla, kuid OCR-i väl­jun­dis kao­tada numbri, veer­gude seose või lõi­gu­piiri. Microsofti OCR-i piiran­gud seo­vad tu­le­muse sel­gelt skanni kva­li­teedi, eral­dus­võime, kont­rasti, val­gus­tuse, pöörde ja teksti oma­dus­tega. Seetõttu tu­leb esin­dus­likke do­ku­mente pä­rast eral­da­mist kont­rol­lida, võr­rel­des teksti, ta­be­leid, le­he­vii­teid ja olu­lisi välju ori­gi­naa­liga, mitte us­kuda tea­det „fail töö­deldi edu­kalt”.

Metaandmed an­na­vad lõi­gule or­ga­ni­sat­siooni kon­teksti; do­ku­mendi tüüp, ük­sus, toode, keel, oma­nik, kin­ni­taja, kon­fi­dent­siaal­sus, jõus­tu­mis­aeg ja ver­siooni olek või­mal­da­vad pä­rin­gut pii­rata enne se­man­ti­lise sar­na­suse hin­da­mist. Ilma nen­deta võrd­leb ot­sing lau­seid, kuid ei tea, et laoju­hend keh­tib ai­nult Leedus või et le­pingu lisa asen­dati uuemaga. Kõige olu­li­se­mad väl­jad tu­leb võtta usal­dus­väär­sest süs­tee­mist või lasta ini­me­sel kin­ni­tada; ge­ne­ree­ri­tud ole­tus do­ku­mendi oleku kohta ei tohi muu­tuda filt­riks, mis mää­rab järg­mise vas­tuse.

Ka uuen­da­mine on toote osa, mitte ühe­kordne im­port. Tuleb teada, kui kii­resti jõuab kin­ni­ta­tud muu­da­tus in­deksisse, kui­das eemal­da­takse ta­gasi võe­tud lõik, mis juh­tub faili aad­ressi muu­tu­misel ja kas tõrke kor­ral näi­tab süs­teem edasi vana ver­siooni. Microsofti in­deksi­ju­hi­sed eris­ta­vad järk­jär­gu­lisi uuen­dusi täie­li­kust üm­ber­in­deksee­ri­mi­sest; seega va­jab iga al­li­kas do­ku­men­tee­ri­tud sünk­roo­ni­mis- ja vea­kont­rolli mee­to­dit. Enne RAG-pro­jekti tasub kor­ras­tada üks au­to­ri­teetne do­ku­men­di­voog, sest muidu kii­rendab hea ot­sing ai­nult eba­selge hal­duse ta­ga­järgi.

Enne esi­mest in­deksee­ri­mist on ka­su­lik teha do­ku­men­tide val­mis­oleku va­lim; va­lige eri­ne­vad fai­li­tüü­bid, va­nu­sed, kee­led, ta­belid, skan­nid ja li­gi­pää­su­klas­sid ning kont­rol­lige iga­ühe pu­hul eral­da­tud teksti, tü­ki­piire, me­ta­and­meid ja al­li­ka­linki. Vigade osa­kaalu ei tohi su­la­tada üheks kesk­miseks, sest kao­ta­tud koma hind ju­hen­dis ja kao­ta­tud summa hind le­pin­gus pole sama. Valim ai­tab ot­sus­tada, mil­li­seid vor­min­guid au­to­maat­selt vastu võtta, mil­li­sed va­ja­vad ini­m­ese kont­rolli ja mil­li­seid ei tasu praegu in­deksee­rida; see töö an­nab sa­geli suu­rema kva­li­tee­di­võidu kui teise kee­le­mu­deli va­li­mine.

Ligipääsuõigused, privaatsus ja juurutusviis

Turvaline ar­hi­tek­tuur algab iden­ti­teedist: kes kü­sib, mil­li­sesse or­ga­ni­sat­siooni ja ük­susesse ta kuu­lub, mil­li­seid do­ku­men­di­klasse to­hib ta näha ning kas neid õi­gusi kont­rol­li­takse igal ot­sin­gu­pä­rin­gul. Õigusfilter peab töö­tama enne, kui lõi­gud jõuavad mu­deli kon­teksti; lo­gi­des tu­leb väl­tida ter­vete kü­si­muste, vas­tuste ja tund­like lõi­kude tar­be­tut ko­pee­ri­mist. Testida tu­leb ka piir­juh­tu­meid: töö­taja va­he­tab rolli, do­ku­ment pii­ra­takse, li­gi­pääs tü­his­ta­takse või ühe kliendi ka­su­taja püüab leida teise kliendi sisu. „Vestlus nõuab sis­se­lo­gi­mist” ei ole pii­sav vas­tu­võ­tukri­tee­rium.

Küsimusele „kas minu and­med lä­he­vad mu­deli tree­ni­miseks?” pole au­sat uni­ver­saal­set vas­tust ilma tee­nu­se­pak­kuja, toote, konto ja sea­dis­tuste ni­me­ta­miseta. OpenAI äri- ja API-ma­ter­ja­lide järgi ei ka­su­tata as­ja­omaste äri­too­dete and­meid vai­ki­misi mu­de­lite tree­ni­miseks, sa­mas kir­jel­dab API and­me­kont­rolli do­ku­men­tat­sioon eraldi säi­li­ta­mist, väär­ka­su­tuse sei­ret ja lõpp-punk­tide eran­deid. Anthropic eris­tab sa­muti äri­too­dete and­me­tööt­lust, tead­likku nõus­ole­kut mu­deli pa­ran­da­miseks ja säi­li­tus­tin­gi­musi; see­tõttu kont­rol­li­takse le­pin­gus ja teh­ni­li­ses pro­jek­tis konk­reet­set tee­nust, mitte ei toe­tuta fraa­sile „äri-API”.

Lahenduse juu­ru­ta­mine EL-i piir­konda või oma ta­ris­tusse võib ai­data täita and­mete asu­koha-, kont­rolli- või in­teg­rat­sioo­ni­nõu­deid, kuid ei tõenda ise­ene­sest IKÜM-i nõue­tele vas­ta­vust ega tur­va­li­sust. Endiselt tu­leb mää­rata tööt­le­mise ees­märk ja õi­gus­lik alus, mi­ni­maal­sed and­med, säi­li­tus­täht­ajad, alam­tööt­le­jad, kus­tu­ta­mine, int­si­den­di­prot­sess ja li­gi­pää­suaudit; IKÜM-i põ­hi­mõt­ted keh­tivad kogu ahe­lale, mitte ai­nult mu­de­li­ser­veri rii­gile. Mõnikord on õige ot­sus jätta osa do­ku­mente RAG-ist välja või eemal­dada enne in­deksee­ri­mist väl­jad, mida vas­tuseks vaja pole.

Ohumudel peab katma peale uudis­hi­mu­liku töö­taja ka vi­gase gru­pi­sünk­roo­ni­mise, ja­ga­tud lingi, ad­mi­nist­raa­to­ri­rolli, sal­ves­ta­tud va­he­mälu ja pa­ha­taht­liku ju­hi­sega do­ku­mendi. Testkasutajad pea­vad esin­dama iga rolli ja keela­tud rol­li­kom­bi­nat­siooni ning kü­sima otse, sü­no­nüümi­dega ja kaudse kok­ku­võt­te­pal­vega; tu­le­mus ei tohi pal­jas­tada lõiku, do­ku­mendi nime ega vas­tu­sest tu­le­ta­ta­vat sa­la­jast de­taili. Pärast õi­guste muut­mist tu­leb test kor­rata, sest eilne tur­va­line fil­ter võib olla va­he­mällu jää­nud; need on vas­tu­võ­tukri­tee­riu­mid, mitte hi­li­sema tur­vaau­diti kau­nis­tus.

Kuidas mõõta otsingut, allikapõhisust ja õigsust?

Üks „täp­sus” RAG-süs­tee­mile on nagu üks kesk­mine hinne haig­lale: arv võib olla hea, kuigi krii­ti­line vea­liik jääb peitu. Kõigepealt mõõ­de­takse ot­sin­gut eraldi — kas va­ja­lik lõik jõu­dis mää­ra­tud arvu pa­ri­mate tu­le­muste hulka ja kas tar­be­tud lõi­gud ei tõr­ju­nud seda välja. Seejärel mõõ­de­takse kon­teksti vas­ta­vust kü­si­mu­sele, vas­tuse põ­hi­ne­mist an­tud lõi­ku­del, fak­ti­list õig­sust kin­ni­ta­tud eta­loni suh­tes, iga al­li­ka­viite so­bi­vust konk­reetse väi­tega ning süs­teemi os­kust vas­ta­mata jätta, kui al­li­kat pole või al­li­kad on vas­tu­olus.

Microsofti RAG-i hin­da­jate do­ku­men­tat­sioon eris­tab neid mõõt­meid ja ARES-i uuri­mus teeb sar­na­selt va­het kon­teksti as­ja­ko­ha­su­sel, vas­tuse al­li­ka­põ­hi­su­sel ja vas­tuse as­ja­ko­ha­su­sel. Praktilises tes­ti­komp­lek­tis va­jab iga pä­ris kü­si­mus see­tõttu peale „õige vas­tuse” ka ko­hus­tus­likku al­li­kat, lu­ba­tud sõ­nas­tusi, keela­tud väi­teid, rolli, do­ku­men­di­ver­siooni ja ooda­ta­vat käi­tu­mist siis, kui tõen­deid ei piisa. Osa näi­teid tu­leb sa­ge­das­test kü­si­mus­test, osa ku­lu­ka­test eran­di­test ja tead­li­kest lõk­su­dest.

Vastuvõtulävi tu­leb mää­rata igale mõõt­mele ja ris­ki­klas­sile enne tu­le­muste nä­ge­mist; muidu va­lib mees­kond pä­rast de­mot näi­taja, mis kõige pa­rem välja näeb. Piloodi mõõt­mis­tes tu­leb säi­li­tada vi­gade jao­tus do­ku­men­di­tüübi, ük­suse, keele ja kü­si­mu­se­liigi kaupa, sest üld­kesk­mine võib peita, et ju­hen­did töö­ta­vad hästi, le­pin­gu­ta­belid aga hal­vasti. Automaatne mu­del­hin­daja ai­tab kont­rolli ska­lee­rida, kuid va­limi vaa­tab üle ini­mene ning krii­tilisi vas­tu­seid võr­rel­dakse au­to­ri­teetse al­li­kaga, mitte teise mu­deli ene­se­kind­lu­sega.

Pärast käi­vi­ta­mist mõõ­de­takse samu oma­dusi kont­rol­li­tud too­dan­gu­va­limi ja pri­vaat­sust hoid­vate lo­gi­dega; do­ku­men­di­kogu, tü­kel­dus­algo­ritmi, vek­to­re­si­tuse mu­deli, üm­ber­jär­jes­ta­mise või ge­ne­ree­riva mu­deli muu­tus võib pa­ran­dada üht kü­si­mu­se­rühma ja hal­ven­dada teist. Iga ver­sioon va­jab see­tõttu reg­res­sioo­ni­testi ja võr­rel­da­vat läh­te­joont, kus hin­da­mis­reeg­lid jää­vad kogu tes­ti­komp­lek­tis sa­maks. Hoiatus ei tohi käi­vi­tuda ai­nult koond­näi­taja lan­guse kor­ral, vaid ka krii­ti­lise vea il­mu­misel, näi­teks keela­tud lõigu näi­ta­misel või väl­ja­mõel­dud vas­tusel seal, kus süs­teem pidi vas­ta­mata jätma.

RAG, otsing, pikk kontekst, peenhäälestus ja agendid

Tavaline täis­teks­ti­ot­sing on pa­rem, kui ka­su­taja teab täp­set nime, koodi või fra­asi ja va­jab do­ku­menti, mitte koos­ta­tud vas­tust; see on oda­vam, prog­noo­si­ta­vam ja liht­sa­mini au­di­tee­ri­tav. Semantiline ot­sing ai­tab sü­no­nüümide ja eba­sel­gete kü­si­mus­tega, kuid ge­ne­ree­ri­mine tasub li­sada ai­nult siis, kui kok­ku­võte loob te­ge­likku väär­tust. RAG pole ko­hus­tus­lik iga et­te­võtte ot­sin­gu­süs­teemi jaoks; mõ­ni­kord on õige toode hea filt­rite, lõi­gu­eel­vaate ja ver­siooni ole­kuga ot­sin­gu­leht, sest ka­su­taja teeb jä­rel­duse ise täis­do­ku­men­dist.

Terve do­ku­mendi pai­gu­ta­mine pikka kon­teks­tiak­nasse võib olla lihtne väi­kese ja sta­biilse ma­ter­jali pu­hul, kuid suu­res kor­pu­ses kas­va­vad kulu, müra ja oht, et olu­line lõik kaob eba­olu­lise sisu va­hele. Mudeli täien­dav ko­han­da­mine ehk fine-tu­ning võib kin­nis­tada vor­min­gut, stiili või kind­lat üles­an­de­käi­tu­mist, kuid pole mu­gav viis sa­geli muu­tu­vate hin­dade, po­lii­ti­kate ja ju­histe hoid­miseks, sest al­lika uuen­da­mine ja vii­ta­mine muu­tu­vad vä­hem lä­bi­paist­vaks. RAG lu­bab do­ku­men­di­kogu muuta mu­deli kaalude tree­ni­mi­sest sõl­tu­ma­tult, ent see paind­lik­kus nõuab in­deksi, ver­sioo­nide ja ot­sin­guk­va­li­teedi hal­da­mist.

Automatiseerimine täi­dab ette mää­ra­tud samme, AI-agent võib aga va­lida töö­riista ja järg­mise sammu; sel­line va­ba­dus nõuab ran­ge­maid vo­li­tus-, va­li­dee­ri­mis- ja seis­ka­mis­piire. RAG võib anda agen­dile tea­vet, kuid mitte õi­gusi: puh­ku­se­po­lii­tika leid­mine ei anna mu­de­lile õi­gust puu­du­mist kin­ni­tada või pal­ga­süs­teemi muuta. Struktureeritud funkt­sioo­ni­kutse on vaid et­te­pa­nek ra­ken­dus­ele, mis kont­rol­lib skeemi, iden­ti­teeti, lu­ba­tud toi­min­gut, sum­masid või muid piire ja va­ja­liku ini­m­ese kin­ni­tust. Tehnoloogiate võrd­lus algab prot­sessi ris­kist, mitte soo­vist ka­su­tada kõige uue­mat ni­me­tust.

Valiku saab sõ­nas­tada lihtsa kont­rol­lina; kui vaja on fail leida ja avada, alus­tage ot­sin­gust. Kui tu­leb koon­dada mõni muu­tuv al­li­kas koos vii­de­tega, hin­nake RAG-i. Kui on vaja pü­si­vat vor­min­gut või klas­si­fit­see­ri­mis­käi­tu­mist, võib so­bida mu­deli peen­hää­les­tus; kui tu­leb täita prog­noo­si­tav toi­min­gute jada, ehi­tage au­to­ma­ti­see­ri­mine. Agent li­sage vaid siis, kui järg­mist sammu ei saa tur­va­li­selt prog­ram­mee­rida ja kasu kaa­lub li­sariski üles. Neid lä­he­ne­misi võib kom­bi­nee­rida, kuid igal ki­hil peab olema oma üles­anne, mõõ­dik ja seis­ka­mis­piir, muidu kaob vea põh­jus sõna „AI” taha.

Kuidas ehitada piiratud piloot päris küsimustega?

Piloot algab ühest do­ku­men­di­ko­gust, ühest ka­su­ta­ja­rüh­mast ja ühest ot­sus­tus­pii­rist, näi­teks teh­ni­lise toe kä­si­raa­ma­tu­test, kus süs­teem ai­nult leiab al­li­kad ja koos­tab vas­tuse mus­tandi. Enne aren­dust ko­gub mees­kond pä­ris kü­si­musi ot­sin­gu­lo­gi­dest, e-kir­ja­dest ja töö­ta­jate in­terv­juu­dest, li­sab õi­ged al­li­kad ning kaasab tead­li­kult vas­ta­ma­tuid, ae­gu­nud, vas­tu­olu­lisi ja keela­tud juh­tu­meid. Iga juh­tumi pu­hul mää­ra­takse vas­tu­võe­tav tu­le­mus: va­ja­lik lõik lei­takse, väide põ­hi­neb al­li­kal, viide avab õige koha, vas­tus on fak­ti­li­selt õige ja süs­teem ei mõtle puu­du­vat in­fot välja.

Läved fik­see­ri­takse enne de­mot ja ja­ga­takse riski järgi; sa­ge­dase in­fo­kü­si­muse pu­hul võib so­bida pa­ran­da­tav mus­tand, kuid isi­ku­and­mete, le­pingu, turbe või mak­sega seo­tud kü­si­mus nõuab ran­ge­mat kont­rolli ja ini­m­ese kin­ni­tust. Piloodis mõõ­de­takse ka vas­ta­mis­aega, kulu pä­ringu kohta, li­gi­pää­su­filt­rite toi­mi­mist, in­deksi uuen­da­mise vii­vi­tust ning seda, kui tihti töö­taja avab al­lika või pa­randab vas­tust. Kui süs­teem pa­randab ai­nult de­mo­näi­teid, kuid ei läbi va­rem pei­de­tud tes­ti­komp­lekti, ei ole toote tu­le­must tõen­da­tud; tõen­da­tud on vaid mees­konna os­kus demo ette val­mis­tada.

Meie AI-la­hen­duste aren­dus on ala­tes 3 500 € ja kes­tab ta­va­li­selt 3–8 nä­da­lat; töö­tava pi­loodi teie enda and­me­tel saame tar­nida 2–3 nä­da­laga. Need ar­vud kir­jel­da­vad tee­nuse alg­hinda ja ül­dist aja­kava, mitte tund­matu ma­huga fik­see­ri­tud pak­ku­mist. Piloodi lõ­puks peab peale vest­lusakna ole­mas olema ver­sioo­ni­tud do­ku­men­di­kogu, test­kü­si­mu­sed, eraldi kva­li­tee­di­näi­ta­jad, vea­logi, li­gi­pää­su­tes­tid ja ot­sus selle kohta, mida la­hen­dus ei tohi teha. Hilisemad in­teg­rat­sioo­ni­nõu­ded tasub fik­see­rida sama sel­gelt nagu muus di­gi­pro­jek­tis, jär­gi­des ar­tik­lis „10 viga, mida et­te­võt­jad vee­bi­lehe tel­li­misel tee­vad” kir­jel­da­tud põ­hi­mõ­tet: vas­tu­võ­tukri­tee­riu­mid ja oma­ni­kud mää­ra­takse enne täis­ma­hus juu­ru­tust, mitte pä­rast esi­mest mul­jet aval­da­vat ek­raani.

Pilooti jät­ka­takse ai­nult siis, kui see saa­vu­tab ette mää­ra­tud lä­ved va­rem nä­ge­mata tes­ti­osas, kä­sit­leb keela­tud ja vas­ta­ma­tuid kü­si­musi tur­va­li­selt ning an­nab ini­m­ese töös mõõ­de­tava kasu. Kui ot­sing ei leia jär­je­pi­de­valt õi­get al­li­kat, pa­ran­da­takse es­malt do­ku­mente, me­ta­and­meid ja in­deksit; kui al­li­kas on õige, kuid ge­ne­ree­ri­mine moo­nu­tab seda, muu­de­takse kon­teksti, viipa või mu­de­lit. Kui viga te­kib ai­nult suure ris­kiga ot­sus­tes, jäe­takse need kind­late reeg­li­tega süs­tee­mile ja ini­me­sele. Peatatud pi­loot ei ole lä­bi­kuk­ku­mine, vaid oda­valt saa­dud tõend, et selle prot­sessi pu­hul on RAG-i pii­rid olu­li­se­mad kui de­moefekt.