ИИ научился воссоздавать изображения, которые видит человек, по снимкам его мозга

Ис­сле­до­ва­те­ли из На­уч­но­го ин­сти­ту­та Вайц­ма­на в Из­ра­и­ле раз­ра­бо­та­ли ИИ-ин­стру­мент, ко­то­рый по сним­ку моз­га вос­со­зда­ёт то, на что смот­рел че­ло­век. Он ра­бо­та­ет и в об­рат­ную сто­ро­ну, то есть мо­жет пред­ска­зы­вать ак­тив­ность моз­га по кар­тин­ке. Об этом со­об­ща­ет MIT Tech­nol­ogy Re­view.

Для это­го уче­ные ис­поль­зо­ва­ли от­кры­тые дан­ные функ­ци­о­наль­ной маг­нит­но-ре­зо­нанс­ной то­мо­гра­фии (фМРТ). Ме­тод от­сле­жи­ва­ет дви­же­ние на­сы­щен­ной кис­ло­ро­дом кро­ви в моз­ге — об­ла­сти, ко­то­рые «за­го­ра­ют­ся» на сним­ке, счи­та­ют­ся са­мы­ми ак­тив­ны­ми. Обыч­но один эле­мент сним­ка (вок­сель) охва­ты­ва­ет око­ло трёх ку­би­че­ских мил­ли­мет­ров тка­ни, в каж­дом ку­би­че­ском мил­ли­мет­ре при­мер­но 16 ты­сяч ней­ро­нов. Ис­сле­до­ва­те­ли взя­ли дан­ные то­мо­гра­фов с бо­лее вы­со­ким раз­ре­ше­ни­ем, где вок­сель по­кры­ва­ет око­ло од­но­го ку­би­че­ско­го мил­ли­мет­ра. Преж­ние мо­де­ли тоже уме­ли вос­со­зда­вать изоб­ра­же­ния по сним­кам моз­га, но ре­зуль­тат по­лу­чал­ся неточ­ным. По сло­вам Ми­шаль Ира­ни, если че­ло­век ви­дел ба­нан, ней­ро­сеть на­ри­су­ет ба­нан, но с дру­гой струк­ту­рой и в дру­гом по­ло­же­нии.

Де­ко­дер обу­чи­ли на дан­ных вось­ми доб­ро­воль­цев, ко­то­рым по­ка­зы­ва­ли по 9 ты­сяч изоб­ра­же­ний. У него две вет­ви: одна пред­ска­зы­ва­ет струк­ту­ру кар­тин­ки, на­при­мер рас­по­ло­же­ние цве­тов, дру­гая — её со­дер­жа­ние, на­при­мер связ­ку ба­на­нов на та­рел­ке. На ос­но­ве этих пред­ска­за­ний диф­фу­зи­он­ная мо­дель, тип ИИ, ко­то­рый со­зда­ёт изоб­ра­же­ния, по­сте­пен­но очи­щая «шум» из пик­се­лей, стро­ит ито­го­вую кар­тин­ку. Дан­ных для обу­че­ния не хва­та­ло, по­это­му ко­ман­да до­ба­ви­ла эн­ко­дер, пред­ска­зы­ва­ю­щий сни­мок моз­га по изоб­ра­же­нию. Он со­зда­ёт для де­ко­де­ра но­вые обу­ча­ю­щие при­ме­ры, де­ко­дер пы­та­ет­ся по ним вос­ста­но­вить кар­тин­ку, и обе мо­де­ли улуч­ша­ют друг дру­га. Бла­го­да­ря это­му око­ло 70% обу­ча­ю­щих дан­ных со­ста­ви­ли изоб­ра­же­ния, ко­то­рые ни­ко­му не по­ка­зы­ва­ли в то­мо­гра­фе.

Объ­еди­нив дан­ные несколь­ких ис­сле­до­ва­ний, учё­ные на­шли об­ла­сти моз­га с об­щи­ми функ­ци­я­ми у раз­ных лю­дей. Одна ре­а­ги­ро­ва­ла на изоб­ра­же­ния еды, дру­гая — на спорт. По­лу­чив­ший­ся «уни­вер­саль­ный эн­ко­дер моз­га» мож­но при­ме­нять к но­во­му че­ло­ве­ку по­чти без ка­либ­ров­ки: ему ну­жен один час фМРТ вме­сто обыч­ных 40. Ре­зуль­та­ты пред­ста­ви­ли на кон­фе­рен­ции по ко­гни­тив­ной вы­чис­ли­тель­ной ней­ро­био­ло­гии в Нью-Йор­ке в сен­тяб­ре. Ней­ро­био­лог Том­ми Спрэг из Ка­ли­фор­ний­ско­го уни­вер­си­те­та в Сан­та-Бар­ба­ре от­ме­тил, что час то­мо­гра­фии сто­ит от 600 до 1000 дол­ла­ров, по­это­му та­кие ин­стру­мен­ты мо­гут уско­рить ис­сле­до­ва­ния. Ошиб­ки у мо­де­ли тоже бы­ва­ют: торт она по­ка­за­ла как три сэнд­ви­ча, а со­ба­ку в ванне — как козу по­хо­же­го цве­та. Тем не ме­нее в срав­не­нии с дру­ги­ми ин­стру­мен­та­ми раз­ра­бот­ка, по сло­вам Ира­ни, зна­чи­тель­но их опе­ре­ди­ла.

Даль­ше ис­сле­до­ва­те­ли хо­тят пе­рей­ти от изоб­ра­же­ний к ви­део и аудио. Ира­ни меч­та­ет на­учить­ся вос­со­зда­вать то, о чём че­ло­век ду­ма­ет или что пред­став­ля­ет, и даже со­дер­жа­ние его снов, но пока это­го нет. Та­кая тех­но­ло­гия мог­ла бы по­мочь пол­но­стью па­ра­ли­зо­ван­ным лю­дям об­щать­ся с по­мо­щью ак­тив­но­сти моз­га. Она так­же поз­во­ли­ла бы за­гля­нуть в то, как вы­гля­дят, на­при­мер, флеш­б­эки при по­ст­трав­ма­ти­че­ском стрес­со­вом рас­строй­стве. Ней­ро­э­тик Джу­ди Ил­лес из Уни­вер­си­те­та Бри­тан­ской Ко­лум­бии, не участ­во­вав­шая в ра­бо­те, на­зва­ла её «ве­ли­ко­леп­ной».

Экс­пер­ты пре­ду­пре­жда­ют о рис­ках для при­ват­но­сти. Сей­час за­ста­вить че­ло­ве­ка неосо­знан­но ле­жать в то­мо­гра­фе по­чти нере­аль­но, но Ира­ни и дру­гие учё­ные ра­бо­та­ют над по­доб­ны­ми ме­то­да­ми для ЭЭГ, где ак­тив­ность моз­га из­ме­ря­ют элек­тро­да­ми, в том чис­ле и че­рез на­уш­ни­ки. По мне­нию Мар­чел­ло Иен­ки из Мюн­хен­ско­го тех­ни­че­ско­го уни­вер­си­те­та, пе­ре­ход к ЭЭГ из­ме­нит всё: ком­па­нии смо­гут по­лу­чать до­пол­ни­тель­ную ин­фор­ма­цию из моз­га поль­зо­ва­те­ля без его со­гла­сия, а суды — при­ни­мать ре­кон­струк­ции мыс­лен­ных об­ра­зов как до­ка­за­тель­ства. Спрэг счи­та­ет, что под­ход Ира­ни, ве­ро­ят­но, сра­бо­та­ет и для об­ра­зов, о ко­то­рых че­ло­век толь­ко ду­ма­ет. Сама Ира­ни при­зна­ёт риск зло­упо­треб­ле­ний, но пока не тре­во­жит­ся: «Я ста­ра­юсь ду­мать толь­ко о хо­ро­шем».

H_Ko / Shut­ter­stock / Fotodom