Uređaj za čitanje misli može ispričati priču koju zamišljate
Semantički dekoderi nisu novost, ali je njihova upotreba bila prilično ograničena. Neki prethodni dekoderi primjenjivani su na neuralnu aktivnost snimljenu nakon invazivne neurokirurgije, dok su drugi koristili neinvazivne snimke aktivnosti mozga što ih je pak ograničavalo na dekodiranje pojedinačnih riječi ili kratkih fraza.
Na kraju svih tih eksperimenata ostalo bi nejasno mogu li semantički dekoderi uopće raditi s kontinuiranim, prirodnim jezikom.
No sad su Alexander Huth i kolege sa Teksaškog sveučilišta u Austinu (UT) razvili semantički dekoder koji rekonstruira kontinuirani jezik iz moždanih uzoraka dobivenih iz funkcionalnih MRI (fMRI) podataka, prenosi bug.hr.
Model za preslikavanje moždane aktivnosti
Istraživači su zabilježili fMRI podatke tri sudionika dok su slušali 16 sati narativa kako bi osposobili model za preslikavanje moždane aktivnosti i semantičkih značajki koje su uhvatile značenja određenih fraza i povezanih moždanih odgovora.
Ovaj model dekodera zatim je testiran na reakcijama mozga sudionika dok su slušali nove priče koje nisu korištene u izvornom skupu podataka za obuku. Koristeći ovu moždanu aktivnost, dekoder je mogao generirati sekvence riječi koje su uhvatile značenja novih priča, a također je generirao neke točne riječi i fraze iz priča.
Predviđanje zamišljene priče
Dekoder, treniran na percipiranom govoru, mogao je predvidjeti značenje zamišljene priče sudionika ili sadržaj gledanog nijemog filma iz podataka fMRI. A kad bi sudionici testiranja aktivno slušali priču, ignorirajući pritom drugu priču koju su im puštali istovremeno, dekoder je mogao identificirati značenje priče koja se u trom trenutku aktivno sluša.
Analiza privatnosti je pokazala da dekoder, kad je treniran na fMRI podacima jednog sudionika, ne predviđa dobro semantički sadržaj iz podataka drugog sudionika.
Autori istraživanja, objavljenog u časopisu Nature Neuroscience, zaključuju da je suradnja ključna za obuku i primjenu ovih neinvazivnih dekodera i napominju da će se, ovisno o budućem razvoju ove tehnologije, trebati ozbiljno poraditi na zaštiti mentalne privatnosti korisnika.
