"Emotiv EPOC" neuronski kontroler

1. UVOD

U posljednje vrijeme sve se više spominje i istražuje mogućnost analiziranja električnih signala dobivenih iz mozga za dobivanje informacija o mentalnom stanju čovjeka. Dobivene informacije, odnosno signali, se zatim mapiraju i obrađuju, te na temelju rezultata razlučuju čovjekovu misao. Na taj je način moguće interpretirati i izvršiti pojedinu misao kroz uređaj, odnosno sučelje, poput pomicanje kursora miša ili pisanje e-maila.

Sučelje mozak-računalo (engl. Brain computer interface) daje nam takvu mogućnost, mogućnost upravljanja mislima pomoću određenog neuronskog kontrolera. Većina sučelja mozak-računalo koriste elektroencefalografiju. Elektroencefalograf (EEG) je potpuno neinvazivna metoda mjerenja električke moždane aktivnosti, gdje su elektrode pričvršćene na lubanju. Iako je ovakva neinvazivna metoda jednostavan način za mjerenje električnih signala iz mozga, ona ne može pružiti detaljne informacije o aktivnostima pojedinih neurona, pa samim time nije dovoljna za izvršenje nekih kompleksnijih radnji, odnosno misli. Neuronski kontroler kojim ćemo se baviti u ovom seminaru je EPOC tvrtke Emotiv, te reći nešto više o njegovim mogućnostima i korištenju, te problemima na koje nailazi.

Slika 1.1. Emotiv EPOC neuronski kontroler

2. SUČELJE MOZAK-RAČUNALO (BCI)

Sučelje mozak-računalo možemo definirati kao direktnu komunikacijsku vezu između mozga i vanjskog uređaja. Razlog zbog kojeg ovakav tip sučelja radi i uopće može raditi leži u načinu rada našeg mozga. Naš mozak sastoji se od neurona, koji su međusobno povezani dendritima i aksonima. Svaki put kad se krećemo, mislimo, osjećamo ili se nečega prisjećamo naši neuroni rade. Rade na način da proizvode male električne signale, koji putuju od neurona do neurona i to brzinom od čak ~100 m/s.

Električni signali putuju određenim tokom, ali svako toliko pojedini električni signal “pobjegne” sa svoje rute. Takve signale, koji ne stignu na odredište, moguće je presresti, interpretirati i iskoristiti. Primjerice, znanstvenici mogu dokučiti koji signali se šalju od strane vidnog živca u trenutku gledanja plave boje. Moguće je zatim takav isti signal poslati u mozak slijepe osobe, omogućujući na taj način slijepoj osobi da vidi plavu boju.

2.1. Elektroencefalografija (EEG)

Najzahtjevniji izazov kod sučelja mozak-računalo je zapravo mehanizam samog sučelja. Najlakša, neinvazivna metoda za čitanje električnih signala dobivenih iz mozga je kada su elektrode pričvršćene na lubanju(elektroencefalografija). Invazivna metoda, da razjasnimo razliku, bila bi kada bi elektrode ugradili direktno u mozak. EEG radi na način da se električna aktivnost registrira u obliku valova ili nizova valova, koji dalje mogu biti prikazani na ekranu ili ispisani na papir. Ovisno o obliku, frekvenciji i širini valova može se zaključiti radi li se o urednoj aktivnosti ili je ona promijenjena.

EEG kao neinvazivna metoda zapravo nam stvara dosta problema zbog toga što lubanja blokira velik broj električnih signala, a oni signali, koji i prođu, te budu očitani, nisu jasni i čisti, te sadrže smetnje. Bez obzira na poziciju elektroda, mehanizam očitanja električnih signala je u principu isti. Elektrode mjere razliku u električnom potencijalu između neurona. Električni signal se zatim pojačava i filtrira, te interpretira putem određenog računalnog programa.

Računalni program radi na način da “uči” pojedine signale gdje zapravo osoba koja ga koristi mora prvo istrenirati uređaj kako bi uređaj mogao znati što da radi. Nije isto, primjerice, pomaknuti kursor na ekranu računala i pomaknuti prostetičku ruku. Svaki pokret svake osobe se drugačije interpretira, pa je za određene radnje potrebno jako puno treninga i truda kako bi se u potpunosti ispunio cilj.

2.2. Način rada

Način rada sučelja mozak-računalo temelji se na već spomenutoj ideji. Misli prepoznaje pretvornik i pretvara ih u jednostavne naredbe. Upravljačko sučelje je zapravo međuveza između jednostavnih i složenih naredbi. Složenim naredbama mozak indirektno upravlja aplikacijom, a subjekt odnosno mozak pomoću povratne veze uspostavlja kontrolu nad aplikacijom. Pretvornik se sastoji od standardnog lanca za obradu signala. Signale treba obraditi i pojačati, te ukloniti smetnje. Pomoću raznih matematičkih aparata iz moždane aktivnosti moguće je zatim prepoznati korisne signale i klasificirati ih u upravljačke signale.

Slika 2.1. Način rada sučelja mozak-računalo

2.3. Upotreba

Trenutno razvijanje sučelja mozak-računalo obavlja se primarno za medicinske potrebe, gdje se pritom misli na pomoć kod fizički onesposobljenih osoba, onih osoba kojima je rad ruku i nogu u potpunosti onemogućen, pa čak i ostalih dijelova tijela, pa im je jedini način za samostalno izvršavanje određenih zadataka pomoću mozga odnosno misli. Primjerice sučelje mozak-računalo bi osobi s paralizom ili tetraplegičaru moglo omogućiti upravljanje invalidskim kolicima ili prostetičkom rukom samo pomoću misli. Gledjaući još apstraktnije, kada pričamo o mogućnostima, možemo zamisliti da se električni signali također mogu poslati direktno u nečiji mozak i na taj način omogućiti slijepoj osobi da vidi, gluhoj da čuje, nekoj trećoj da osjeti pojedini osjećaj, onaj osjećaj, odnosno signal, koji je poslan. Osim toga, također može naći primjenu kod virtualnih okruženja poput računalnih igara nove generacije, raznih simulatora ili općenito života u virtualnom svijetu.

3. EMOTIV EPOC NEURONSKI KONTROLER

Emotiv Systems je Australska kompanija elektroničke opreme. koja razvija sučelja mozak-računalo bazirana na elektroencefalografiji. Jedan od proizvoda, između ostalih, napravljen od strane ove kompanije je i Emotiv EPOC. Ideja za proizvodnju Emoti EPOC neuronskog kontrolera došla je radi unaprjeđenja doživljaja video igara, iako ovaka neuronski kontroler zapravo može imati puno širi spektar mogućnosti. Zamislimo samo mogućnost upravljanja dijelovima tijela ili invalidskim kolicima pomoću ničeg drugog osim ljudskih misli. U svijetu asistivne tehnologije i pomoći ljudima s invaliditetom, neuronski kontroler mogao bi imati revolucijski značaj. Emotiv EPOC neuronski kontroler pomoću EEG neinvazivne metode očitava električne signale iz mozga na način da uspoređuje razliku električnog potencijala između neurona. Dobivene električne signale možemo interpretirati, te kao takve mapirati i spremiti, te zapravo naučiti susta v na koji način naš mozak funkcionira. U sljedećim poglavljima navest ćemo specifikacije Emotiv EPOC neuronskog kontrolera, te vidjeti njegove mogućnosti, način na koji se koristi i probleme na koje nailazi.

3.1. Specifikacije

EPOC koristi 14 senzora, odnosno elektroda i 2 referentne točke za praćenje 14 različitih kanala elektroencefalografske aktivnosti. Uređaj koristi sekvencijalno uzorkovanje, ima propusnost 0.2 – 0.45Hz i 14 bitnu rezoluciju. To dovodi do niže razlučivosti skupa podatka u usporedbi sa standardnim EEG-om, no prednosti koje sadrži nadoknađuju ovaj nedostatak.

Slika 3.1. Pozicije elektroda Emotiv EPOC neuronskog kontrolera

Dostupan je za osobne ili komercijalne uporabe, te izuzetno jeftin(~300 - 500$) u usporedbi sa standardnim EEG-om. Jednostavan je za koristiti, prema navedenim uputstvima, te može pohranjivati podatke u bilo koje standardno desktop računalo. Osim desktop računala također je moguče povezati se s tabletom ili pametnim telefonom preko 2.4GHz bežičnog pristupa, gdje su za rad podržane sve platforme odnosno operacijski sustavi(Windows XP, Vista, 7, 8, Linux (Ubuntu, Fedora), Max OS X, Android 4+). Bežičnost nam zapravo daje veliku prednost kod kretanja subjekta koji koristi uređaj. Detaljne specifikacije uređaja navedene su u tablici.

Tablica 3.1. Specifikacije Emotiv EPOC neuronskog kontrolera

3.2. Mogućnosti

Govoreći o mogućnostima ovakvog kontrolera, zapravo nam samo mašta može biti granica, no bitno je bilo kakvu ideju sprovesti u dijelo i to tako da mogućnosti koje su navedene budu potpuno funkcionalne. Bitno je to zbog osoba s invaliditetom kojima bi ovaka neruonski kontroler bio od pomoći. Prvenstveno se tu misli na osobe s invaliditetom mišično-živčanog oštećenja, gdje u velikoj većini njihovo kretanje ovisi o drugoj osobi. Tetraplegija, cerebralna paraliza, oštećenje leđne moždine, no i u slučaju moždanog udara, neuronski kontroler bi mogao imati veliki utjecaj u rehabilitaciji pacijenata.

Trenutno postoje 3 načina osjećanja namjere, odnosno čitanja ljudksih misli (moždanih valova) i izraza, gdje u svakom od načina imamo određena ograničenja, s obzirom na količinu moguće detekcije i interpretacije osjećaja, pa prema tome razlikujemo emocionalna stanja, izraze lica i mentalne naredbe.

EMOCIONALNA STANJA:

Trenutno uzbuđenje
Dugoročno uzbuđenje
Frustracija
Angažman (angažiranost prema nečemu)
Meditacija

IZRAZI LICA:

Treperenje
Lijevi mig
Desni mig
Namrštiti se
Dizanje obrve (iznenađenje)
Stisnuti zube
Pogled u lijevo
Pogled u desno
Smijeh
Osmijeh
Zlobno smijuljanje (lijeva strana)
Zlobno smijuljanje(desna strana)

MENTALNE NAREDBE:

Neutralna
Guranje
Podizanje
Povlačenje (prema sebi)
Spuštanje
Pomicanje u lijevo
Pomicanje u desno
Rotiranje u smjeru kazaljke na satu
Rotiranje u suprotnom smjeru kazaljke na satu
Rotiranje unaprijed
Rotiranje unatrag
Rotiranje ulijevo
Rotiranje udesno
Nestajanje

Kod mentalnih naredbi sve naredbe, osim neutralne, moraju se prvo “trenirati” kako bi uređaj naučio način na koji naš mozak šalje električne signale kod određenih radnji. Postoji 13 mogućih mentalnih naredbi od kojih je 4 moguće izvršiti istovremeno.

Osim načina osjećanja namjere, EPOC također sadrži žiroskop koji omogućuje osobi koja ga koristi kontrolu kamere ili kursora pomoću pokreta glave. Svim skupa navedennim, dolazimo do pregršt mogućnosti koje ovaj proizvod nudi. Ipak, njegove funkcionalnosti nisu još do kraja implementirane, te se za potpuno funkcionalan, ovakav tip uređaja mora još dosta istražiti i razumjeti način odašiljanja moždanih valova, te njihovih očitavanja i interpretiranja.

3.3. Korištenje

Jedna od prednosti Emotiv EPOC-a leži i u načinu korištenja odnosno iskoristivosti uređaja. Kada smo primjerice frustrirani, naš mozak šalje poseban uzorak moždanih valova. Takav uzorak određene misli ili osjećaja je jedinstven kod svake osobe. Zbog jedinstvenosti ljudskog mozga, neuronski kontroler mora prvo “upoznati” način rada osobe koja ga koristi. Prvo i osnovno, kako bi mogli iskoristiti podatke dobivene elektroencefalografijom, elektrode moraju biti namještene potpuno točno. U trenutku namještanja elektroda, poželjno je ne mrdati se kako se neka od elektroda ne bi otkačila. Nakon što propisno namjestimo elektrode, možemo započeti s kalibracijom.

Kalibracija se odvija putem grafičkog korisničkog sučelja (engl. GUI). Prilog Emotiv EPOC neuronskom kontroleru je igra pomoću koje izvršavamo konkretne zadatke. Sva komunikacija između uređaja i računala se odvija preko USB priključka, prijenosom preko spometuog bežičnog kanala (2.4GHz).

Igra je sastavljena na način da se pokazuje i govori zadatak koji se od osobe očekuje. Primjerice, koncentracija za posebnu kretnju gdje je zadatak podizanje 3D kocke. Elektrode očitavaju i snimaju moždane valove dok se izvršava određena radnja, te nakon toga sustav prepoznaje uzorak kao funkciju podizanja kocke. Koncentracija je ključna u stadiju učenja, što ponekad može biti težak izazov zbog načina na koji se očitavaju moždani valovi, gdje nije definirano da će sve uspjeti iz prvog pokušaja. Neke od akcija koje se zahtijevaju tokom učenja su podizanje kocke, ispuštanje kocke, rotiranje kocke i slično.

Slika 3.2. 3D kocka pomoću koje učimo pomicanje objekta

Postoje i drugi aspekti EEG očitanja, koji ne moraju biti jedinstveni. Na primjer, susta može prepoznati stanje dosade čak i ako takvu vrstu stanja nije “učio” do sada. Mogućnost ovakvog načina prepoznavanja leži u količini emitiranih moždanih valova. Mozak emitira električne signale kada nešto radimo, osjećamo ili mislimo, a to znači uvijek. Moguće je razvrstati trenutno stanje ljudskog mozga prema količini emitiranih moždanih valova. Najsporije se moždani valovi odašilju dok spavamo, u polu snu ili lakom snu nešto brže, u stanju mirovanja još brže, te na kraju u stresnom stanju ili stanju uzbuđenja najbrže.

Prema tome razlikujemo delta, teta, alfa i beta valove. Delta valovi u čvrstom snu odašilju se 1 do 4 puta u sekundi, teta valovi u lakom snu od 4 do 7, alfa valovi od 7 do 13, te beta valovi čak 13 do 40 puta u sekundi, ovisno o intenzivnosti uzbuđenja ili stresa. Zbog toga, sustav može prepoznati stanje dosade ili stanje izuzetnog uzbuđenja neovisno o osobi koja koristi uređaj.

3.4. Emotiv TestBench računalni program

Kada Emotiv TestBench prikuplja signale iz kontrolera, podaci se automatski prikazuju na grafičkom korisničkom sučelju. Kontroler uzorkuje podatke sekvencijalno preko 14 elektroencefalografskih lokacija(elektrode pričvršćene za glavu) brzinom od 128Hz, te sa 14 bitnom efektivnom rezolucijom. Ovakva rezolucija,niža od standardne EEG rezolucije, prouzrokuje veći šum kod dobivanja podataka iz kontrolera, ali se podaci i dalje mogu koristiti nakon klasifikacije.

Slika 3.4. Emotiv TestBench računalni program u korištenju. Podaci prikazani su podaci dobiveni iz 14 elektroda

Emotiv TestBench računalni program prikazuje elektroencefalografske podatke u realnom vremenu dobivene sa elektroda. Kanali se zatim mjenjaju ovisno o različitim ljudskim mislima. Također se prikupljaju elektromiografski podaci, odnosno podaci dobiveni mjenjanjem izraza lica. Zbog toga je potrebno sačuvati neutralni izraz lica u stanju učenja i testiranja kontrolera. Kao dodatak vizualnog prikaza podataka, ovaj računalni program također omogućava skupljanje podataka kroz određeni period u EDF(European data format) formatu.

3.5. Problemi

Trenutnih problema ovakvog kontrolera ima dosta, od kojih je neke, s vremenom, moguće popraviti tokom nadogradnje kontrolera i boljeg razumjevanja prikupljenih električnih signala moždanih valova. Kao jedno od najvećih nedostataka ističe se stadij učenja u kojem je ponekad potrebno i do par dana vježbanja samo kako bi omogućili izvođenje osnovnih radnji poput pomicanja 3D kocke. Za pokretanje primjerice prostetičke ruke, u tom slučaju, stadij učenja mogao bi potrajati i do godinu dana, što nije obećavajuće, iako osobama koja je takva vrste pomoći potrebna, ne bi imali ništa protiv i tako dugog perioda učenja ukoliko bi sa sigurnošću nakon toga sami mogli pomicati ruku. Namještanje elektroda također ponekad zna biti konfuzno.

Osim tehničkih poteškoća, postoji i onaj moralni dio problematike. Logičan slijed unaprjeđenja ovakvog kontrolera dovodi do nezamislivih i apstraktnih mogućnosti, pa bi tako u suštini, u skoroj budućnosti ovakav kontroler mogao primjerice čitati tuđe ljudske misli. Zamislite da netko pomoću ovakvog kontrolera može pročitati vaše misli u bilo kojem trenutku. Oni koji bi koristili ovakvu tehnologiju svakako bi prije ili kasnije mogli naštetiti ljudskoj slobodi i privatnosti. Moguće bi u tom slučaju bilo pročitati tuđa mišljenja, osjećaje, emocionalno stanje... Naravno, s obzirom na trenutnu tehnologiju i razumjevanje ljudskog mozga, ovakva ideja je samo fikcija, no ipak, s daljnjim istraživanjem i razumjevanjem, ne možemo tu opciju isključiti u cjelosti.

4. ZAKLJUČAK

Emotiv EPOC neuronski kontroler s trenutnim ograničenjima i mogućnostima moguće je koristiti u istraživačke i zabavne svrhe. Ipak, za neke konkretnije i zahtjevnije radnje u cilju pomagala osobama s invaliditetom, ne bi bio od prevelike koristi. Moguće je pomicati kursor s mišem pomoću pokreta glave, moguće je napisati i e-mail, pa čak i neki duži tekst, baratati aplikacijama na računalu, no sve te mogućnosti moguće je ionako izvesti s nekim konkretnijim uređajima poput eye trackera i sličnih.

Mogućnosti koje bi ovaka kontroler mogao sadržavati su, s druge strane, enormne, i kao takav, s puno truda, razvijanja i testiranja, mogao bi zasigurno biti revolucionaran. Iako je ova tehnologija tek na početku svog razvitka, čak i ovakav kontroler predstavlja dobar temelj za nešto što bi u skorijoj budućnosti moglo biti osnovno pomagalo kod većine osobe s invaliditetom, što je zapravo i cilj razvijanja ovakvog neuronskog kontrolera. Testiranje za pomicanje robotske ruke s ovakvim kontrolerom, pokazalo je da bi već sa 6 umjesto 4 istovremenih očitanja električnih signala, takva ruka mogla izvršavati većinu osnovnih radnji poput pomicanja prstiju, podizanje čaše i slično. Za neke kompliciranije radnje poput hodanja, trčanja, ili pak istovremenog pomicanja dviju ruka, taj broj istovremene kontrole električnih signala morao bi biti puno veći.

Vjerujem da će s vremenom ovakav kontroler biti u mogućnosti pružiti puno više mogućnosti od trenutnih, a do onda preostaje istraživanje i implementiranje pojedinih funkcionalnosti, sve dok ovakav neuronski kontroler ne bude potpuno funkcionalan.

LITERATURA

[1] “Sučelje mozak-računalo – Wikipedija, Slobodna Enciklopedija”, s Interneta, https://hr.wikipedia.org/wiki/Su%C4%8Delje_mozak-ra%C4%8Dunalo

[2] “Elektroencefalografija – Wikipedija, Slobodna Enciklopedija”, s Interneta, https://hr.wikipedia.org/wiki/Elektroencefalografija

[3] “Emotiv EPOC”, s Interneta, https://emotiv.com/

[4] “Facial Expression Detections”, s Interneta, https://emotiv.zendesk.com/hc/en-us/articles/201216295-Facial-Expression-Detections

[5] “How the Emotiv EPOC Works”, s Interneta, http://electronics.howstuffworks.com/emotiv-epoc.htm

[6] “Emotiv Systems – Wikipedia, The Free Encyclopedia”, s Interneta, https://en.wikipedia.org/wiki/Emotiv_Systems

[7] “Emotiv eStore”, s Interneta, https://emotiv.com/store/compare/

[8] “Review: Emotiv EPOC, tough thoughts on the new mind-reading controller”, s Interneta, http://www.engadget.com/2010/01/27/review-emotiv-epoc-tough-thoughts-on-the-new-mind-reading-cont/

[9] “How Brain-computer Interfaces Work – BCI Applications”, s Interneta, http://computer.howstuffworks.com/brain-computer-interface2.htm

Mark Maras