Peter Tucker
0 
4169
832
Neurolodzy uczą komputery odczytywania słów prosto z ludzkich mózgów.
Kelly Servick, pisząca dla Science, poinformowała w tym tygodniu o trzech artykułach wysłanych na serwer preprint bioRxiv, w których trzy różne zespoły naukowców wykazały, że potrafią dekodować mowę z nagrań odpalonych neuronów. W każdym badaniu elektrody umieszczone bezpośrednio na mózgu rejestrowały aktywność nerwową, podczas gdy pacjenci po operacji mózgu słuchali mowy lub czytali na głos słowa. Następnie badacze próbowali dowiedzieć się, co słyszą lub mówią pacjenci. W każdym przypadku naukowcom udało się przekształcić aktywność elektryczną mózgu w przynajmniej w pewnym stopniu zrozumiałe pliki dźwiękowe.
Pierwsza praca, wysłana do bioRxiv 10 października 2018 r., Opisuje eksperyment, w którym naukowcy odtwarzali nagrania mowy pacjentom z padaczką, którzy byli w trakcie operacji mózgu. (Zapisy neuronowe wykonane w eksperymencie musiały być bardzo szczegółowe, aby można je było zinterpretować. A ten poziom szczegółowości jest dostępny tylko w rzadkich przypadkach, gdy mózg jest wystawiony na działanie powietrza, a elektrody są na nim bezpośrednio umieszczane, np. Podczas operacji mózgu .) [Obrazy 3D: Odkrywanie ludzkiego mózgu]
Gdy pacjenci słuchali plików dźwiękowych, naukowcy rejestrowali odpalanie neuronów w częściach mózgu pacjentów, które przetwarzają dźwięk. Naukowcy wypróbowali wiele różnych metod przekształcania danych o odpalaniu neuronów w mowę i odkryli, że „głębokie uczenie” - w którym komputer próbuje rozwiązać problem mniej lub bardziej bez nadzoru - działa najlepiej. Kiedy odtwarzali wyniki przez vocoder, który syntetyzuje ludzkie głosy, dla grupy 11 słuchaczy, osoby te były w stanie poprawnie zinterpretować słowa w 75% przypadków..
Tutaj możesz posłuchać dźwięku z tego eksperymentu.
Drugi artykuł, opublikowany 27 listopada 2018 r., Opierał się na zapisach neuronowych osób poddawanych operacji usunięcia guzów mózgu. Gdy pacjenci czytali na głos jednosylabowe słowa, naukowcy rejestrowali zarówno dźwięki wydobywające się z ust uczestników, jak i neurony odpalające w obszarach mózgów wytwarzających mowę. Zamiast intensywnie trenować komputery na każdym pacjencie, naukowcy ci nauczyli sztuczną sieć neuronową, aby konwertować zapisy neuronowe na dźwięk, pokazując, że wyniki są przynajmniej rozsądnie zrozumiałe i podobne do nagrań wykonanych przez mikrofony. (Dźwięk z tego eksperymentu jest tutaj, ale musi zostać pobrany jako plik zip).
Trzeci artykuł, opublikowany 9 sierpnia 2018 r., Polegał na zarejestrowaniu części mózgu, która przekształca określone słowa, które dana osoba decyduje się wypowiedzieć, na ruchy mięśni. Chociaż żadne nagranie z tego eksperymentu nie jest dostępne w Internecie, naukowcy poinformowali, że byli w stanie zrekonstruować całe zdania (również nagrane podczas operacji mózgu u pacjentów z padaczką) i że osoby, które słuchały zdań, były w stanie poprawnie zinterpretować je na podstawie wielokrotnego wyboru test (z 10 opcji) w 83% przypadków. Metoda tego eksperymentu polegała na identyfikacji wzorców związanych z tworzeniem pojedynczych sylab, a nie całych słów.
Celem wszystkich tych eksperymentów jest umożliwienie pewnego dnia osobom, które utraciły zdolność mówienia (z powodu stwardnienia zanikowego bocznego lub podobnych stanów), do mówienia przez interfejs komputer-mózg. Jednak nauka dla tej aplikacji jeszcze nie istnieje.
Interpretacja wzorców neuronowych osoby, która po prostu wyobraża sobie mowę, jest bardziej skomplikowana niż interpretacja wzorców osoby słuchającej lub wytwarzającej mowę, donosi Science. (Jednak autorzy drugiego artykułu stwierdzili, że interpretacja aktywności mózgu osoby wyobrażającej sobie mowę może być możliwa.)
Należy również pamiętać, że są to małe badania. Pierwsza praca opierała się na danych pobranych od zaledwie pięciu pacjentów, podczas gdy druga dotyczyła sześciu pacjentów, a trzecia tylko trzech. I żaden z zapisów neuronowych nie trwał dłużej niż godzinę.
Mimo to nauka idzie do przodu, a urządzenia sztucznej mowy podłączone bezpośrednio do mózgu wydają się realną możliwością w pewnym momencie drogi.
- 10 rzeczy, których nauczyliśmy się o mózgu w 2018 roku
- 10 rzeczy, których o sobie nie wiedziałeś
- Galeria zdjęć: przecinanie mózgu
Pierwotnie opublikowano w dniu .