ИИ могут выйти из-под контроля уже через 6-12 месяцев, считают основатели ИИ-компаний

Ру­ко­во­ди­те­ли ве­ду­щих AI-ком­па­ний об­суж­да­ют, что бу­дет по­сле мас­штаб­но­го ин­ци­ден­та с ис­кус­ствен­ным ин­тел­лек­том. Они ждут, что та­кое со­бы­тие рез­ко уси­лит недо­ве­рие об­ще­ства к тех­но­ло­гии и её ли­де­рам, и го­то­вят­ся к жёст­кой ре­ак­ции вла­стей. Об этом со­об­ща­ет Ax­ios со ссыл­кой на соб­ствен­ные ис­точ­ни­ки.

Чаще все­го в этих сце­на­ри­ях фи­гу­ри­ру­ет ки­бе­р­ата­ка, из-за ко­то­рой люди те­ря­ют до­ступ к фи­нан­со­вым услу­гам и ин­тер­не­ту, а воз­мож­но, к элек­три­че­ству и воде. По оцен­ке топ-ме­не­дже­ров, пер­вый слу­чай се­рьёз­но­го ре­аль­но­го ущер­ба от небез­опас­но­го ИИ ещё силь­нее на­стро­ит про­тив тех­но­ло­гии и без того на­сто­ро­жен­ное об­ще­ство. Удар при­дёт­ся по гла­вам An­thropic и Ope­nAI Да­рио Амо­деи и Сэму Альт­ма­ну, а так­же по пре­зи­ден­ту США До­наль­ду Трам­пу, ко­то­ро­го кри­ти­ку­ют за неже­ла­ние ре­гу­ли­ро­вать от­расль.

Сце­нар­ное пла­ни­ро­ва­ние само по себе не ново: Пен­та­гон про­во­дит во­ен­ные игры де­ся­ти­ле­ти­я­ми. От­ли­чие в том, что мно­гие ве­ду­щие ис­сле­до­ва­те­ли и ру­ко­во­ди­те­ли ИИ-ком­па­ний счи­та­ют круп­ный ин­ци­дент неиз­беж­ным. В Ope­nAI рас­ска­за­ли, что про­во­дят уче­ния по го­тов­но­сти, где ко­ман­ды раз­би­ра­ют раз­ные си­ту­а­ции, но не счи­та­ют их неиз­беж­ны­ми. В An­thropic от ком­мен­та­ри­ев от­ка­за­лись. Мно­гие ин­сай­де­ры от­рас­ли ска­за­ли Ax­ios, что ждут се­рьёз­но­го со­бы­тия в бли­жай­шие 6–12 ме­ся­цев.

Ви­но­ва­тых нач­нут ис­кать в лю­бом слу­чае: вы­рвет­ся ли из те­сто­вой сре­ды «рой» неуправ­ля­е­мых ИИ-аген­тов или зло­умыш­лен­ник най­дёт неожи­дан­ный спо­соб ис­поль­зо­вать до­ступ­ные мо­де­ли. По­ка­за­тель­ным при­ме­ром из­да­ние на­зы­ва­ет недав­нюю кам­па­нию про­тив фи­нан­со­вых ор­га­ни­за­ций Юж­ной Ко­реи, в ходе ко­то­рой, по со­об­ще­ни­ям, взло­ма­ли два бан­ка. По дан­ным ком­па­нии Crowd­Strike, ха­кер из Ки­тая яко­бы ис­поль­зо­вал ки­тай­ские ИИ-мо­де­ли, в том чис­ле DeepSeek, что­бы по­хи­тить дан­ные де­сят­ков ты­сяч кли­ен­тов бан­ков. Для по­ис­ка пло­ща­док, где мож­но про­дать укра­ден­ное, он при­ме­нял Claude Code. Один че­ло­век с ИИ-ин­стру­мен­та­ми спо­со­бен на­не­сти се­рьёз­ный ущерб.

Ру­ко­вод­ство AI-ком­па­ний ис­хо­дит из того, что де­мо­кра­ты, уси­лив­ши­е­ся по­сле про­ме­жу­точ­ных вы­бо­ров, быст­ро возь­мут­ся за огра­ни­че­ние от­рас­ли, но столк­нут­ся с се­рьёз­ны­ми труд­но­стя­ми. Кон­гресс, по их мне­нию, да­лёк от по­ни­ма­ния ИИ-ре­во­лю­ции и мо­жет ока­зать­ся не го­тов к та­ким ре­ше­ни­ям. Ми­ро­вая эко­но­ми­ка тес­но свя­за­на со стро­и­тель­ством ИИ-ин­фра­струк­ту­ры, и за­мед­ле­ние спо­соб­но уда­рить по и без того хруп­кой эко­но­ми­ке. К тому же мно­же­ство от­кры­тых мо­де­лей уже мож­но сво­бод­но ска­чать и ис­поль­зо­вать во вред. Боль­шин­ство спе­ци­а­ли­стов по ки­бер­без­опас­но­сти счи­та­ют, что ре­шить эту про­бле­му мож­но толь­ко с по­мо­щью ИИ, ко­то­рый бу­дет про­ти­во­сто­ять вре­до­нос­но­му ИИ.

Под­го­тов­ка вклю­ча­ет от­ра­бот­ку худ­ших сце­на­ри­ев и в ос­нов­ном сво­дит­ся к уско­рен­но­му про­све­ще­нию чле­нов Кон­грес­са. Ру­ко­во­ди­те­ли ком­па­ний по­ни­ма­ют, что сей­час за­ко­ны о ре­гу­ли­ро­ва­нии ИИ не прой­дут. Тем не ме­нее они хо­тят по­вли­ять на за­ко­но­да­тель­ство и по­ли­ти­ку, к ко­то­рым в Ва­шинг­тоне об­ра­тят­ся по­сле пер­вой ка­та­стро­фы.

Сре­ди са­мых жёст­ких ини­ци­а­тив де­мо­кра­тов — за­прет сверх­ин­тел­лек­та и па­у­за в раз­ра­бот­ке пе­ре­до­во­го ИИ. Дру­гие идеи, на­при­мер обя­за­тель­ный «ру­биль­ник» для про­дви­ну­тых си­стем, под­дер­жи­ва­ют обе пар­тии, а часть ин­ду­стрии не воз­ра­жа­ет. Экс­пер­ты при этом со­мне­ва­ют­ся, что мож­но ре­аль­но от­клю­чить все ИИ-си­сте­мы. Даже при кон­тро­ле де­мо­кра­тов над обе­и­ми па­ла­та­ми Кон­грес­са ком­па­нии рас­счи­ты­ва­ют на раз­дроб­лен­ную по­ли­ти­ку, в том чис­ле внут­ри са­мой Де­мо­кра­ти­че­ской пар­тии.

Впро­чем, в ре­аль­ном кри­зи­се Ва­шинг­тон спо­со­бен от­ло­жить пар­тий­ные раз­но­гла­сия. Один из по­мощ­ни­ков-де­мо­кра­тов на­пом­нил о со­труд­ни­че­стве по­ли­ти­ков во вре­мя пан­де­мии COVID-19 и фи­нан­со­во­го кри­зи­са 2008 года. Имен­но на та­кую мо­дель по­ве­де­ния, судя по все­му, и рас­счи­ты­ва­ют в AI-ком­па­ни­ях.

sopa phetcharat / Shut­ter­stock / Fotodom