Мыши-предсказатели и человеческий мозг: как искусственный интеллект помог разобраться в механизмах обучения

На сче­ту ис­кус­ствен­но­го ин­тел­лек­та Google Deep­Mind мно­го за­бав­ных до­сти­же­ний: в 2016 году его иг­ро­вой ал­го­ритм су­мел обыг­рать че­ло­ве­ка в Го, в 2019-м — на­чал в ре­аль­ном вре­ме­ни по­беж­дать иг­ро­ков в Star­Craft. В на­ча­ле это­го года ко­ман­да Deep­Mind объ­яви­ла, что их ал­го­рит­мы на­учи­лись рас­по­зна­вать рак гру­ди на ран­них ста­ди­ях с по­мо­щью од­них толь­ко рент­ге­нов­ских сним­ков. А по­след­нее ис­сле­до­ва­ние са­мо­го ис­кус­ствен­но­го ин­тел­лек­та поз­во­ли­ло точ­нее разо­брать­ся в ра­бо­те моз­га че­ло­ве­ка, пи­шут The Vox и MIT Tech­nol­ogy Re­view.

В 1951 году сту­дент Гар­вар­да Мар­вин Мин­ски по­стро­ил свою первую, еще лам­по­вую, обу­ча­ю­щу­ю­ся ней­ро­сеть. Свою ра­бо­ту Мин­ски спро­ек­ти­ро­вал на прин­ци­пах, от­кры­тых Пав­ло­вым: его ком­пью­тер учил­ся бла­го­да­ря си­сте­ме «по­ощ­ре­ний» и «на­ка­за­ний». В то вре­мя ней­ро­фи­зио­ло­ги еще не до кон­ца разо­бра­лись в ме­ха­низ­мах моз­га, ко­то­рые поз­во­ля­ли жи­вот­ным учить­ся та­ким об­ра­зом, по­это­му ней­ро­сеть Мин­ски, по сути, про­сто по­вто­ря­ла по­ве­де­ние жи­вот­ных. Спу­стя по­чти 70 лет имен­но ней­ро­се­ти по­мог­ли уче­ным при­бли­зить­ся к по­ни­ма­нию того, как про­ис­хо­дит про­цесс обу­че­ния в моз­ге.

Ко­гда ней­ро­сеть ра­бо­та­ет по прин­ци­пу обу­че­ния с под­креп­ле­ни­ем, она со­вер­ша­ет дей­ствия и по­ни­ма­ет, что неко­то­рые из них «по­ощ­ря­ют­ся». Со вре­ме­нем ИИ кор­рек­ти­ру­ет свою ра­бо­ту так, что­бы по­лу­чить мак­си­мум под­креп­ле­ния. При­мер­но то же са­мое про­ис­хо­дит и с че­ло­ве­че­ским моз­гом, где ис­точ­ни­ка­ми под­креп­ле­ния вы­сту­па­ют ней­ро­ме­ди­а­то­ры: на­при­мер, до­фа­мин.

Уче­ных за­ин­те­ре­со­вал во­прос — от­ку­да у че­ло­ве­ка (или у ИИ) по­яв­ля­ет­ся мо­ти­ва­ция де­лать что-то мно­го­этап­ное, за что они не сра­зу по­лу­чат на­гра­ду. Ины­ми сло­ва­ми, как ин­тел­лект пред­ска­зы­ва­ет от­да­лен­ное воз­на­граж­де­ние? Ис­сле­до­ва­ние, опуб­ли­ко­ван­ное в Na­ture, объ­яс­ня­ет это так: наш мозг пред­ска­зы­ва­ет не толь­ко на­гра­ду, ко­то­рую он по­лу­чит, пе­ре­хо­дя на сле­ду­ю­щий этап, но и по­сле­до­ва­тель­но со­став­ля­ет про­гноз для даль­ней­ших уров­ней.

Эта си­сте­ма ка­жет­ся про­стой: на­при­мер, мож­но пред­по­ло­жить, что сту­дент хо­чет под­го­то­вить­ся к эк­за­ме­ну, что­бы по­лу­чить хо­ро­шую оцен­ку, ко­то­рая обес­пе­чит ему до­стой­ную ра­бо­ту с вы­со­кой зар­пла­той. Од­на­ко на деле эта си­сте­ма устро­е­на тонь­ше и слож­нее.

Ис­ку­ствен­ный ин­тел­лект, учи­ты­ва­ю­щий ра­пре­де­ле­ние ве­ро­ят­но­стей раз­лич­ных ис­хо­дов, дей­ству­ет го­раз­до точ­нее, чем на­стро­ен­ный на вы­чис­ле­ние сред­ней вы­го­ды на каж­дом эта­пе. И имен­но по та­ко­му прин­ци­пу ра­бо­та­ет и наш мозг. Бла­го­да­ря экс­пе­ри­мен­там на мы­шах, уче­ным уда­лось разо­брать­ся в том, как это про­ис­хо­дит, и узнать, ка­ким об­ра­зом наш мозг удер­жи­ва­ет та­кой объ­ем ин­фор­ма­ции.

Ла­бо­ра­тор­ных мы­шей по­ме­сти­ли в усло­вия, где нуж­но было вы­пол­нять опре­де­лен­ные дей­ствия, а под­креп­ле­ние за­ви­се­ло от брос­ка иг­раль­ных ко­стей, и по­пы­та­лись от­сле­дить, как ней­ро­ны вы­де­ля­ют до­фа­мин. Ока­за­лось, что все ней­ро­ны про­из­во­ди­ли раз­ное ко­ли­че­ство ней­ро­ме­ди­а­то­ра: неко­то­рые были «оп­ти­ми­стич­ны­ми», про­гно­зи­ро­ва­ли уда­чу и вы­де­ля­ли мно­го до­фа­ми­на, неко­то­рые, на­обо­рот, были «пес­си­ми­стич­ны­ми».

Ко­гда уче­ные со­по­ста­ви­ли рас­пре­де­ле­ние про­гно­зов и фак­ти­че­ских на­град, они об­на­ру­жи­ли, что гра­фи­ки очень по­хо­жи — мозг мы­шей обу­чал­ся и со­став­лял про­гно­зы на ос­но­ве рас­пре­де­ле­ния ве­ро­ят­но­стей, рав­но как и ал­го­ритм ис­ку­ствен­но­го ин­тел­лек­та, ко­то­рый со­зда­вал­ся без зна­ний об этом ме­ха­низ­ме.

Кро­ме того, что это ис­сле­до­ва­ние рас­ши­ри­ло по­ни­ма­ние о спо­соб­но­стях моз­га, оно мо­жет по­слу­жить ос­но­вой для дру­гих ис­сле­до­ва­ний — на­при­мер, о свя­зи де­прес­сии и дис­ба­лан­са в ра­бо­те «пес­си­ми­стич­ных ней­ро­нов».