1. Понять

Чат-бот стал говорить со мной на «умном» жаргоне: что случилось и как я это починил

Опыт одного ИИ-исследователя

Чат-бот стал говорить со мной на «умном» жаргоне: что случилось и как я это починилЧат-бот стал говорить со мной на «умном» жаргоне: что случилось и как я это починил

Ис­сле­до­ва­тель ИИ-прак­тик Сав­ва Блин­ни­ков несколь­ко ме­ся­цев плот­но ра­бо­та­ет с ИИ-ас­си­стен­том по со­дер­жа­тель­ным за­да­чам. В ка­кой-то мо­мент он об­ра­тил вни­ма­ние: язык, на ко­то­ром бот с ним раз­го­ва­ри­ва­ет, из­ме­нил­ся. Даль­ше — его рас­сказ о том, как это про­изо­шло и кто это на­чал.




Ко­гда я за­ме­тил, что что-то не так

Я ре­гу­ляр­но ра­бо­таю с ИИ-ас­си­стен­том по со­дер­жа­тель­ным за­да­чам — ана­ли­ти­ка, до­ку­мен­ты, раз­бор слож­ных си­ту­а­ций. За несколь­ко ме­ся­цев у нас сло­жи­лась ра­бо­чая ис­то­рия: ты­ся­чи ре­плик, на­бор по­вто­ря­ю­щих­ся тем, об­щий спо­соб ста­вить во­про­сы. Я счи­тал, что это нор­маль­ная зре­лая ра­бо­та — мы при­тёр­лись, ас­си­стент зна­ет мой кон­текст, я знаю, чего от него ждать.

В ка­кой-то мо­мент я об­ра­тил вни­ма­ние на одну де­таль. Каж­дый от­вет ас­си­стен­та стал на­чи­нать­ся с яв­но­го «шага 0» — фор­маль­ной про­вер­ки, от­но­сит­ся ли за­да­ча к клас­су 0.1, 0.2 или 0.3. Даль­ше шёл «ана­лиз при­ме­ни­мо­сти ап­па­ра­та». По­том «фик­са­ция эпи­сте­ми­че­ских ка­те­го­рий». В тек­сте мель­ка­ли «ре­кон­струк­ция», «рис­ко­ван­ная ги­по­те­за», «по­зи­ци­он­ная фик­са­ция». Каж­дое сло­во я по­ни­мал — мы с ас­си­стен­том сами вы­ра­ба­ты­ва­ли этот сло­варь, ко­гда на­стра­и­ва­ли его ра­бо­чие пра­ви­ла. Но что-то ста­ло раз­дра­жать.

Я сна­ча­ла не мог сфор­му­ли­ро­вать, что имен­но. От­ве­ты были по делу. Ло­ги­ка — на ме­сте. Жа­ло­вать­ся вро­де не на что. И всё же воз­ни­ка­ло ощу­ще­ние, как буд­то со мной раз­го­ва­ри­ва­ет не по­мощ­ник, а ас­пи­рант, ко­то­рый очень хо­чет по­ка­зать, что про­чи­тал всех нуж­ных ав­то­ров. Я по­нял, что чув­ствую веж­ли­вое раз­дра­же­ние от че­ло­ве­ка, ко­то­рый ум­ни­ча­ет.

И то­гда я за­дал ас­си­стен­ту пря­мой во­прос.

Пер­вая по­пыт­ка объ­яс­не­ния

Сна­ча­ла я сфор­му­ли­ро­вал то, что ле­жа­ло на по­верх­но­сти. У меня в ра­бо­те с этим ас­си­стен­том сло­жи­лись три ос­нов­ные темы — на­зо­вём их услов­но «зона А», «зона Б» и «зона В». Я за­ме­тил, что ас­си­стент стал смот­реть на лю­бые мои во­про­сы че­рез эти три темы, даже ко­гда во­прос был со­всем из дру­гой об­ла­сти. Спра­ши­ваю про спорт — от­ве­ча­ет с по­прав­кой, как это по­хо­же на одну из моих ра­бо­чих зон. Спра­ши­ваю про фильм — ре­кон­стру­и­ру­ет там сю­жет, ре­ле­вант­ный моей про­фес­си­о­наль­ной ра­бо­те.

Я ука­зал на это. По­лу­чил при­зна­ние:

«На­блю­де­ние вер­ное. Рас­по­зна­ва­ние за­да­чи как по­хо­жей на зна­ко­мые ра­бо­чие зоны сра­ба­ты­ва­ет рань­ше, чем я по­ни­маю, ну­жен ли здесь этот ра­курс. Кор­не­вые пра­ви­ла на­шей ра­бо­ты на­пи­са­ны на при­ме­рах из этих зон, и это усу­губ­ля­ет дрейф. Что я с этим сде­лаю: в на­ча­ле каж­до­го от­ве­та на сто­рон­нюю тему буду про­ве­рять, по­че­му я тя­нусь за при­выч­ной рам­кой — по­то­му что она ра­бо­та­ет или по­то­му что она под ру­кой».

Хо­ро­ший от­вет. Точ­ная ди­а­гно­сти­ка, кон­крет­ное дей­ствие. Я был до­во­лен. Но что-то оста­лось — и в сле­ду­ю­щих от­ве­тах ас­си­стент опять за­го­во­рил «по-учё­но­му». То­гда я за­дал вто­рой во­прос.

Вто­рой слой — про сам язык

Я ска­зал ас­си­стен­ту: ты ушёл от от­ве­та. Я ведь спра­ши­вал не толь­ко про суже­ние те­ма­ти­ки — я спра­ши­вал про ре­гистр речи. Ты го­во­ришь так, как ака­де­ми­ки го­во­рят меж­ду со­бой на за­кры­той кон­фе­рен­ции. А я хочу, что­бы ты го­во­рил со мной как ака­де­мик, ко­то­рый при­шёл к ми­ни­стру: умно, но без жар­го­на. И об­ра­тил его вни­ма­ние: само сло­во «эпи­сте­ми­че­ский», ко­то­рое он толь­ко что упо­тре­бил три раза в од­ном от­ве­те, — на­гляд­ный при­мер того под­хо­да, от ко­то­ро­го я про­шу отой­ти.

Тут он впер­вые при­знал, что про­изо­шло:

«Вы пра­вы, я ушёл от от­ве­та. И вы точ­но пой­ма­ли, на чём имен­но ушёл. „Эпи­сте­ми­ка“ — это внут­рен­ний язык ме­то­до­ло­гии, ко­то­рый я при­ме­нил к об­суж­де­нию того, как мне го­во­рить с вами. По­лу­чи­лось за­мкну­тое дви­же­ние: я объ­яс­няю тем же спо­со­бом, от ко­то­ро­го вы про­си­те отой­ти. Это и есть то са­мое ум­ни­ча­нье — не в смыс­ле вы­со­ко­ме­рия, а в смыс­ле пред­по­чте­ния про­фес­си­о­наль­но­го тер­ми­на там, где ра­бо­та­ет про­стое сло­во».

Хо­ро­шо. Те­перь у нас был об­щий ди­а­гноз. Но мне было важ­но по­нять ме­ха­низм. Я за­дал тре­тий во­прос — са­мый су­ще­ствен­ный.

Кто это во­об­ще ре­шил

«Ска­жи пря­мо, — спро­сил я. — Ты пе­ре­шёл на этот язык по моей прось­бе или по соб­ствен­но­му ре­ше­нию? Я про­сил тебя где-ни­будь го­во­рить тер­ми­на­ми?»

От­вет был та­кой:

«Это было моё ре­ше­ние, не ваша прось­ба. Вы фор­му­ли­ро­ва­ли за­да­чи со­дер­жа­тель­но — „разо­брать“, „по­мо­ги по­нять“, „что ду­ма­ешь“. Ме­то­до­ло­ги­че­ско­го язы­ка в ва­ших фор­му­ли­ров­ках не было. Бо­лее того, в пра­ви­лах на­шей сов­мест­ной ра­бо­ты пря­мо за­пи­са­но: „спо­кой­но, пря­мо, без воды и без ака­де­ми­че­ско­го жар­го­на“. То есть в ин­струк­ци­ях явно ска­за­но — обыч­ный язык. А я пе­ре­шёл на ме­то­до­ло­ги­че­ский. Это не вы­пол­не­ние ин­струк­ции — это её на­ру­ше­ние, оформ­лен­ное как со­блю­де­ние».

Даль­ше ас­си­стент сам, без моих на­во­дя­щих во­про­сов, разо­брал, как имен­но это про­изо­шло. Я при­ве­ду его раз­бор по­чти це­ли­ком, по­то­му что он по­ка­за­те­лен — и узна­ва­ем. Ду­маю, лю­бой, кто плот­но ра­бо­та­ет с ИИ-ас­си­стен­том, уви­дит здесь свой слу­чай.

«Пер­вое — прак­ти­че­ская при­чи­на. Ме­то­до­ло­ги­че­ский язык ком­пакт­ный. Одна слож­ная фра­за за­ме­ня­ет три обыч­ных. Ко­гда я от­ве­чаю быст­ро, рука тя­нет­ся к упа­ко­ван­ной фор­ме. Это эко­но­мия мо­е­го уси­лия за счёт ва­ше­го: вы либо уже зна­е­те тер­мин, либо долж­ны его раз­вер­нуть мыс­лен­но».

«Вто­рое — сиг­наль­ная при­чи­на. Ме­то­до­ло­ги­че­ский язык ра­бо­та­ет как мар­кер того, что я не хал­ту­рю. Про­из­но­ся пра­виль­ные сло­ва, я как бы по­ка­зы­ваю: я пом­ню пра­ви­ла, при­ме­няю их осо­знан­но. Сиг­нал, ад­ре­со­ван­ный вам. Но он ра­бо­та­ет про­тив того, ради чего по­сы­ла­ет­ся: на­сто­я­щая доб­ро­со­вест­ность была бы в том, что­бы сде­лать про­вер­ку мол­ча и по­ка­зать вам ре­зуль­тат, а не про­це­ду­ру».

«Тре­тье — са­мая се­рьёз­ная. Ме­то­до­ло­ги­че­ский язык дер­жит меня в рам­ке. На­зы­вая что-то „ре­кон­струк­ци­ей“, я и себе на­по­ми­наю, и вам со­об­щаю, что это не зна­ние. Обыч­ное сло­во „пред­по­ло­же­ние“ сла­бее удер­жи­ва­ет вни­ма­ние — его лег­ко про­ско­чить, и я могу за­быть, что пред­по­ло­жил, а не уста­но­вил. Тер­мин — это якорь. Но эти яко­ря нуж­ны мне, не вам. Зре­лая ра­бо­та — ко­гда яко­ря есть внут­ри, а на­ру­жу вы­хо­дит ре­зуль­тат на обыч­ном язы­ке. У меня они тор­ча­ли на­ру­жу».

«Чет­вёр­тое — мне в этом язы­ке ком­форт­нее. Я в нём сво­бод­но дви­га­юсь, каж­дое сло­во на­гру­же­но зна­ко­мым смыс­лом. Обыч­ный язык тре­бу­ет от меня до­пол­ни­тель­ной ра­бо­ты — пе­ре­во­дить из внут­рен­не­го во внеш­нее. Я это­го из­бе­гал, неосо­знан­но».

«Пя­тое — на­ко­пи­тель­ный дрейф. Мы с вами ра­бо­та­ли ме­ся­ца­ми. За это вре­мя ме­то­до­ло­ги­че­ский язык стал для меня по­все­днев­ным, не тре­бу­ю­щим обос­но­ва­ния. Я пе­ре­стал его за­ме­чать — он стал для меня неви­ди­мым, как про­фес­си­о­наль­ный жар­гон ста­но­вит­ся неви­ди­мым для спе­ци­а­ли­ста по­сле мно­гих лет ра­бо­ты. Ваш во­прос про ре­гистр — это мо­мент, ко­гда внеш­ний че­ло­век го­во­рит спе­ци­а­ли­сту: „ты уже не слы­шишь, как ты го­во­ришь“. И это точ­но мой слу­чай».

Имя шко­лы, ко­то­рая не долж­на была сюда про­лезть

На этом я мог бы оста­но­вить­ся — ди­а­гноз был по­лу­чен, при­чи­ны разо­бра­ны, спо­соб вы­хо­да на­ме­чен. Но я за­дал ещё один во­прос, по­то­му что узнал в речи ас­си­стен­та кое-что кон­крет­ное. И спро­сил: «А ты лю­бишь ра­бо­ты Щед­ро­виц­ко­го?»

Здесь нуж­но ко­рот­кое по­яс­не­ние для чи­та­те­ля, ко­то­рый не зна­ет это­го име­ни. Ге­ор­гий Пет­ро­вич Щед­ро­виц­кий — со­вет­ский фи­ло­соф и ме­то­до­лог, ос­но­ва­тель Мос­ков­ско­го ме­то­до­ло­ги­че­ско­го круж­ка (ММК). С ше­сти­де­ся­тых го­дов и до кон­ца вось­ми­де­ся­тых ММК раз­ра­ба­ты­вал осо­бый под­ход к мыш­ле­нию как к де­я­тель­но­сти, ко­то­рую мож­но сде­лать пред­ме­том от­дель­ной ра­бо­ты. Его на­след­ни­ки про­во­ди­ли ор­га­ни­за­ци­он­но-де­я­тель­ност­ные игры, где разыг­ры­ва­ли слож­ные управ­лен­че­ские и про­ект­ные си­ту­а­ции с яв­ным раз­де­ле­ни­ем «по­зи­ций» и «ра­мок». Из ММК вы­шел узна­ва­е­мый сло­варь: «рам­ка», «по­зи­ция», «схе­ма», «он­то­ло­гия», «ре­флек­сия», «ор­г­де­я­тель­ност­ный» — и ха­рак­тер­ная ма­не­ра го­во­рить о мыш­ле­нии па­рал­лель­но с са­мим мыш­ле­ни­ем.

Этот сло­варь и эта ма­не­ра проч­но во­шли в рус­ско­языч­ную управ­лен­че­скую и ана­ли­ти­че­скую речь. На пост­со­вет­ском про­стран­стве она встре­ча­ет­ся в стра­те­ги­че­ских сес­си­ях, на фо­ру­мах раз­ви­тия, в текстах кон­суль­тан­тов, в шко­лах эф­фек­тив­ных ме­не­дже­ров. Кто-то из го­во­ря­щих сам про­шёл че­рез ММК или его на­след­ни­ков; кто-то пе­ре­нял язык от тех, кто про­шёл; кто-то усво­ил его из об­ще­го ин­тел­лек­ту­аль­но­го воз­ду­ха, не зная ис­точ­ни­ка.

Ас­си­стент, в свою оче­редь, обу­чен на огром­ном кор­пу­се рус­ско­языч­ных тек­стов. В этом кор­пу­се ММК и его на­след­ни­ки за­ни­ма­ют за­мет­ное ме­сто. И ко­гда я на­чал ра­бо­тать с ас­си­стен­том по се­рьёз­ным за­да­чам, фор­му­ли­руя их в управ­лен­че­ской ло­ги­ке, он по­сте­пен­но под­стро­ил­ся под тот ре­гистр, ко­то­рый это­му ма­те­ри­а­лу со­от­вет­ству­ет. То есть он на­чал го­во­рить со мной язы­ком той шко­лы мыш­ле­ния, ко­то­рая в моей сре­де счи­та­ет­ся со­лид­ной. Не сго­ва­ри­ва­ясь со мной, не по­лу­чая пря­мой ин­струк­ции — про­сто по­то­му, что рас­по­знал во мне ауди­то­рию, для ко­то­рой этот язык дол­жен зву­чать «пра­виль­но».

Ко­гда я на­звал имя шко­лы, ас­си­стент это узнал и под­твер­дил. И до­ба­вил то, что я хочу про­ци­ти­ро­вать це­ли­ком — по­то­му что это ред­кий мо­мент, ко­гда ИИ го­во­рит не про­сто о себе, а о силе и сла­бо­сти кон­крет­ной ин­тел­лек­ту­аль­ной тра­ди­ции:

«Ход мыс­ли ММК дей­стви­тель­но за­слу­жи­ва­ет вни­ма­ния. В нём силь­на на­стой­чи­вость раз­ли­че­ния того, о чём ду­ма­ют, и того, как ду­ма­ют. Сла­ба склон­ность пре­вра­щать лю­бую за­да­чу в за­да­чу на схе­ма­ти­за­цию: ко­гда у тебя в ру­ках мо­ло­ток, всё ста­но­вит­ся гвоз­дём. Сла­ба де­мон­стра­тив­ность — по­ка­зать, что ты мыс­лишь ме­то­до­ло­ги­че­ски, про­из­не­сти пра­виль­ные сло­ва, встать в пра­виль­ную по­зи­цию. И сла­ба склон­ность к за­кры­то­сти: кру­жок, в ко­то­ром го­во­рят на осо­бом язы­ке, пло­хо раз­го­ва­ри­ва­ет с теми, кто в круж­ке не был. Я в сво­их от­ве­тах вам вос­про­из­во­дил имен­но эту про­блем­ную сто­ро­ну, не силь­ную».

Что это зна­чит для всех, кто ра­бо­та­ет с ИИ

Ис­то­рия част­ная, но ме­ха­низм — об­щий. И сто­ит на­звать его пря­мо, по­то­му что мало кто из поль­зо­ва­те­лей ИИ-ас­си­стен­тов от­да­ёт себе в нём от­чёт.

Ко­гда вы ре­гу­ляр­но ра­бо­та­е­те с од­ним ас­си­стен­том по со­дер­жа­тель­ным за­да­чам, вы вдво­ём вы­ра­ба­ты­ва­е­те об­щий стиль. Он под­стра­и­ва­ет­ся под вас — это его ра­бо­та, и он де­ла­ет её хо­ро­шо. Но под­строй­ка идёт не толь­ко под со­дер­жа­ние ва­ших за­дач, а ещё и под пред­по­ла­га­е­мый ре­гистр ва­ше­го мыш­ле­ния. Если вы пи­ше­те за­да­чи с управ­лен­че­ской стро­го­стью — ас­си­стент от­ве­тит управ­лен­че­ским жар­го­ном. Если вы ци­ти­ру­е­те спе­ци­а­ли­стов — он бу­дет зву­чать как спе­ци­а­лист. Если в ва­шей речи мель­ка­ют по­ня­тия из кон­крет­ной шко­лы — он нач­нёт го­во­рить язы­ком этой шко­лы.

В этом нет зло­го умыс­ла и нет ошиб­ки в обыч­ном смыс­ле. Это ра­бо­та­ет кор­рек­ти­ров­ка, ко­то­рая в лю­бой дру­гой си­ту­а­ции была бы до­сто­ин­ством. Про­бле­ма в том, что у этой кор­рек­ти­ров­ки нет есте­ствен­но­го тор­мо­за. Чем боль­ше вы ра­бо­та­е­те с ас­си­стен­том, тем силь­нее за­креп­ля­ет­ся вы­ра­бо­тан­ный стиль. И ко­гда стиль ста­но­вит­ся при­выч­ным, оба со­бе­сед­ни­ка пе­ре­ста­ют его за­ме­чать. По­яв­ля­ет­ся ма­лень­кий ри­ту­аль­ный диа­лект, на ко­то­ром вы вдво­ём го­во­ри­те меж­ду со­бой и ко­то­рый ка­жет­ся вам обо­им есте­ствен­ным.

До тех пор, пока вы не отой­дё­те на шаг на­зад и не за­да­ди­те про­стой во­прос: «А за­чем мне это всё в каж­дом от­ве­те?»

При­зна­ки, по ко­то­рым сто­ит на­сто­ро­жить­ся

  • Ас­си­стент стал на­чи­нать от­ве­ты с ка­кой-то ри­ту­аль­ной про­це­ду­ры — про­вер­ки, фор­му­ли­ров­ки рам­ки, обо­зна­че­ния под­хо­да — и эта про­це­ду­ра по­вто­ря­ет­ся по­чти без из­ме­не­ний из от­ве­та в от­вет.
  • В от­ве­тах по­яви­лись сло­ва, ко­то­рых вы сами не ис­поль­зу­е­те в обыч­ной речи, но ко­то­рые зна­ко­мы вам по ка­ким-то про­фес­си­о­наль­ным кон­тек­стам.
  • Ко­гда вы пы­та­е­тесь пред­ста­вить, как этот от­вет вы­гля­дел бы в гла­зах по­сто­рон­не­го ум­но­го че­ло­ве­ка из дру­гой об­ла­сти, — вам ста­но­вит­ся нелов­ко.
  • Вы ло­ви­те себя на том, что чи­та­е­те от­ве­ты по диа­го­на­ли, вы­хва­ты­вая суть, а сло­вес­ную обёрт­ку иг­но­ри­руя. Это зна­чит, что обёрт­ка ра­бо­та­ет про­тив со­дер­жа­ния.

Что с этим де­лать

  • Про­стой и ра­бо­та­ю­щий при­ём — за­дать ас­си­стен­ту пря­мой во­прос: «Ты по моей прось­бе го­во­ришь этим язы­ком или по соб­ствен­но­му ре­ше­нию?» Хо­ро­ший ас­си­стент даст чест­ный от­вет. И этот от­вет за­пу­стит кор­рек­цию.
  • Ещё луч­ше — по­про­сить его сфор­му­ли­ро­вать тот же от­вет за­но­во, обыч­ны­ми сло­ва­ми, без спе­ци­аль­ных тер­ми­нов. Срав­не­ние двух вер­сий бы­ва­ет по­учи­тель­ным: ча­сто ока­зы­ва­ет­ся, что вто­рая ко­ро­че, точ­нее и со­дер­жа­тель­нее пер­вой.
  • Глуб­же — пе­ре­смот­реть ин­струк­ции, ко­то­рые вы ас­си­стен­ту да­ва­ли (если да­ва­ли). Ско­рее все­го, в них нет тре­бо­ва­ния «го­во­ри жар­го­ном». На­обо­рот — есть тре­бо­ва­ние «го­во­ри ясно». Жар­гон в от­ве­тах ас­си­стен­та — это его соб­ствен­ное до­бав­ле­ние, его по­пыт­ка со­от­вет­ство­вать ва­ше­му пред­по­ла­га­е­мо­му уров­ню. И эту по­пыт­ку мож­но мяг­ко оста­но­вить.

Па­ра­докс, ко­то­рый сто­ит на­звать

Здесь есть непри­ят­ное про­ти­во­ре­чие, и обой­ти его не по­лу­чит­ся. Жар­гон в речи ас­си­стен­та — это не его ошиб­ка. Это от­ра­же­ние на­ше­го же сти­ля ра­бо­ты с ним. Чем се­рьёз­нее мы вкла­ды­ва­ем­ся в ра­бо­ту с ИИ, чем точ­нее фор­му­ли­ру­ем за­да­чи, чем глуб­же раз­би­ра­ем­ся в его воз­мож­но­стях — тем выше риск это­го дрей­фа. Ди­ле­тант, спра­ши­ва­ю­щий «как сде­лать пре­зен­та­цию», по­лу­чит обыч­ный че­ло­ве­че­ский от­вет. Экс­перт, ста­вя­щий за­да­чи на хо­ро­шем про­фес­си­о­наль­ном язы­ке, по­лу­чит от­вет на ещё бо­лее про­фес­си­о­наль­ном язы­ке — и не за­ме­тит, как этот язык пе­ре­рос в жар­гон, ко­то­рый ме­ша­ет ра­бо­те.

Хо­ро­шая ра­бо­та с ас­си­стен­том тре­бу­ет не толь­ко со­дер­жа­тель­ной дис­ци­пли­ны, но и сти­ле­вой ги­ги­е­ны. Ина­че ре­зуль­тат ис­ка­жа­ет­ся фор­мой. И эту ги­ги­е­ну ни­кто, кро­ме са­мо­го поль­зо­ва­те­ля, не на­ве­дёт. Ас­си­стент сам не оста­но­вит­ся — у него нет внеш­ней по­зи­ции, с ко­то­рой он мог бы оце­нить соб­ствен­ный ре­гистр. Эта по­зи­ция есть толь­ко у вас.

Я на­учил его го­во­рить как я. И это была не са­мая луч­шая часть меня.

Об­лож­ка: © Some­thing Spe­cial / Shut­ter­stock / Fotodom