Ученые собрали офис из ИИ-менеджеров. И они не справились с человеческими задачами

Если вы бо­я­лись, что ИИ от­бе­рет у вас ра­бо­ту, мож­но вы­дох­нуть с об­лег­че­ни­ем. Уче­ные про­ве­ли экс­пе­ри­мент и вы­яс­ни­ли, что пока ней­ро­се­ти не мо­гут пол­но­стью за­ме­нить лю­дей. Об этом со­об­ща­ет Busi­ness In­sider.

Ис­сле­до­ва­те­ли из уни­вер­си­те­та Кар­не­ги Мел­лон в США со­зда­ли фаль­ши­вую ком­па­нию по раз­ра­бот­ке ПО и уком­плек­то­ва­ли ее ИИ-со­труд­ни­ка­ми. В экс­пе­ри­мен­те ИИ-аген­ты долж­ны были вы­пол­нять все ра­бо­чие за­да­чи са­мо­сто­я­тель­но.

Ней­ро­се­ти от Google, Ope­nAI, An­thropic и Meta* ста­ли фи­нан­со­вы­ми ана­ли­ти­ка­ми, про­грам­ми­ста­ми, про­ект­ны­ми ме­не­дже­ра­ми, HR-ме­не­дже­ром, глав­ным тех­ни­че­ским ди­рек­то­ром. Им да­ва­ли обыч­ные за­да­чи в со­от­вет­ствии с их долж­но­стя­ми.

Са­мым эф­фек­тив­ным ИИ ока­зал­ся Claude 3.5 Son­net от An­thropic. Но даже он смог спра­вить­ся толь­ко с 24% сво­их за­дач. Gem­ini 2.0 Flash ком­па­нии Google спра­вил­ся лишь с 11% обя­зан­но­стей. Ему по­тре­бо­ва­лось в сред­нем 40 ша­гов, что­бы вы­пол­нить одно за­да­ние. Са­мым худ­шим со­труд­ни­ком ока­зал­ся Nova Pro v1 от Ama­zon, это­му ИИ уда­лось за­вер­шить все­го 1,7% за­дач за 20 ша­гов.

Уче­ные го­во­рят, что ней­ро­се­тям не хва­та­ет здра­во­го смыс­ла, со­ци­аль­ных на­вы­ков и про­сто­го по­ни­ма­ния, как ис­кать ин­фор­ма­цию в ин­тер­не­те. «Во вре­мя вы­пол­не­ния од­ной за­да­чи агент не мог най­ти нуж­но­го че­ло­ве­ка, что­бы за­дать во­прос. В ре­зуль­та­те он ре­шил пе­ре­име­но­вать дру­го­го поль­зо­ва­те­ля и за­дать ему нуж­ное имя», — го­во­рит­ся в еще не опуб­ли­ко­ван­ном ис­сле­до­ва­нии.

Хотя ИИ хо­ро­шо справ­ля­ет­ся с неболь­ши­ми за­да­ча­ми, слож­ные за­да­ния ему не по зу­бам. К тому же его про­из­во­ди­тель­ность слиш­ком до­ро­го об­хо­дит­ся ком­па­ни­ям-раз­ра­бот­чи­кам. Со­вре­мен­ный ИИ —это слож­ное рас­ши­ре­ние пре­дик­тив­но­го тек­ста в те­ле­фоне, а не ра­зум­ный ин­тел­лект, ко­то­рый мо­жет ре­шать про­бле­мы, учить­ся на про­шлом опы­те и при­ме­нять этот опыт в но­вых си­ту­а­ци­ях.

Meta* при­зна­на экс­тре­мист­ской ор­га­ни­за­ци­ей и за­пре­щен­а в РФ