UC San Francisco ja UC Berkeley teadlased on välja töötanud aju-arvuti liidese (BCI), mis võimaldab ajutüve insuldi tõttu raske halvatusega naisel rääkida digitaalse avatari kaudu.
See on esimene kord, kui ajusignaalidest sünteesitakse kõne või näoilmeid. Süsteem suudab ka need signaalid tekstiks dekodeerida kiirusega peaaegu 80 sõna minutis, mis on senise tehnoloogiaga võrreldes märkimisväärne edasiminek.
“Meie eesmärk on taastada täielik, kehastatud suhtlemisviis, mis on meie jaoks kõige loomulikum viis teistega rääkida,” ütles UCSF-i neuroloogilise kirurgia õppetooli juhataja Edward Chang.
Changi meeskond on varem näidanud, et mehel, kes oli samuti aastaid tagasi ajutüve insulti kogenud, on võimalik ajusignaale tekstiks dekodeerida. Praegune uuring näitab midagi ambitsioonikamat: ajusignaalide dekodeerimine kõneks koos liigutustega, mis vestluse ajal inimese nägu animeerivad.
Chang implanteeris paberõhukese ristküliku, mis koosneb 253 elektroodist, naise aju pinnale piirkondadesse, mis tema meeskonna arvates on kõne jaoks kriitilised. Elektroodid püüdsid kinni ajusignaalid, mis insuldi puudumisel oleksid läinud tema, keele, lõualuu ja kõri lihastesse, aga ka näole. Kaabel, mis oli ühendatud tema pea külge kinnitatud porti, ühendas elektroodid arvutipangaga.
Naine töötas nädalaid koos meeskonnaga, et koolitada süsteemi tehisintellekti algoritme, et ära tunda tema ainulaadsed ajusignaalid kõne jaoks. See hõlmas erinevate fraaside kordamist 1024-sõnalisest vestlussõnavarast ikka ja jälle, kuni arvuti tundis ära helidega seotud ajutegevuse mustrid.
Selle asemel, et õpetada tehisintellekti terveid sõnu ära tundma, lõid teadlased süsteemi, mis dekodeerib sõnu foneemidest. Need on kõne allüksused, mis moodustavad suulise sõna samamoodi nagu tähed kirjutavad sõnu. Näiteks “Hello” sisaldab nelja foneemi: “HH”, “AH”, “L” ja “OW”.
Seda lähenemisviisi kasutades oli arvutil vaja õppida ainult 39 foneemi, et mis tahes ingliskeelse sõna dešifreerida. See suurendas süsteemi täpsust ja muutis selle kolm korda kiiremaks.
Allikas: Science Daily
