tokenimine

Tokenimine on arvutiteaduses ja keeletehnoloogias kasutatav protsess, kus tekst või muud andmed jagatakse väiksemateks tähenduslikeks üksusteks ehk tõkenditeks (inglise keeles tokens). Näiteks võib lause "Tere, maailm!" tokeniseerida kolmeks tõkendiks: "Tere", "," ja "maailm!". Tõkendid võivad olla sõnad, sõnaosad, kirjavahemärgid või isegi üksikud tähed, sõltuvalt kasutatavast meetodist. Keeletöötluses on tokenimine esimene samm teksti analüüsimisel – enne kui arvuti saab teksti mõista või tõlkida, peab ta selle jaotama eraldiseisvateks osadeks. Kaasaegsed tehisaru mudelid nagu ChatGPT või Google'i Bard kasutavad tokenimine't, et teksti sisendeid ja väljundeid töödelda. Neis süsteemides võib üks tõkend olla osa sõnast, terve sõna või isegi mitu sõna korraga. Tokenimine on oluline ka seetõttu, et tehisaru mudelite töötlemisvõimsust mõõdetakse sageli tõkendite arvuga – näiteks kui mudel suudab töödelda 4000 tõkendit, siis see määrab, kui pikka teksti ta korraga mõista suudab.