Крупнейшие IT-компании намеренно сокращают ответы ИИ до уровня «пещерного человека», чтобы экономить токены

Круп­ные иг­ро­ки на рын­ке ИИ на­ча­ли со­зна­тель­но «уре­зать» от­ве­ты ней­ро­се­тей до при­ми­тив­ных фор­му­ли­ро­вок, что­бы сни­зить рас­хо­ды на об­ра­бот­ку за­про­сов, пи­шет 404 Me­dia. Для это­го раз­ра­бо­та­ли спе­ци­аль­ный ин­стру­мент Cave­man, ко­то­рый пре­вра­ща­ет длин­ные ре­пли­ки мо­де­лей в ко­рот­кие, по­чти те­ле­грамм­ные фра­зы.

Сер­вис Cave­man под­клю­ча­ют к язы­ко­вым мо­де­лям вро­де Claude, Codex и Gem­ini, что­бы те го­во­ри­ли мак­си­маль­но крат­ко и без веж­ли­вых вступ­ле­ний. Вме­сто раз­вер­ну­тых объ­яс­не­ний и эмо­ци­о­наль­ных при­зна­ний от­ве­ты сво­дят­ся к гру­бым, но ём­ким. Сло­ган про­ек­та зву­чит так: «Пе­щер­ный че­ло­век бе­речь твой то­кен, бе­речь твои день­ги».

Ав­то­ры ин­стру­мен­та объ­яс­ня­ют, что каж­дая лиш­няя фра­за — это до­пол­ни­тель­ные то­ке­ны, а зна­чит пря­мые за­тра­ты для ком­па­ний, ко­то­рые мас­со­во за­пус­ка­ют ИИ‑сер­ви­сы.

По дан­ным 404 Me­dia, Cave­man уже ис­поль­зу­ют раз­ра­бот­чи­ки из круп­ных тех­но­ло­ги­че­ских ком­па­ний, а один из стар­ших ин­же­не­ров до­ба­вил под­держ­ку для кода Codex. Та­кой под­ход по­мо­га­ет эко­но­мить де­сят­ки про­цен­тов то­ке­нов: пла­гин «вы­жи­ма­ет» из мо­де­лей толь­ко са­мую необ­хо­ди­мую ин­фор­ма­цию, уби­рая веж­ли­во­сти, уточ­не­ния и лиш­ние де­та­ли. В ито­ге от­ве­ты ста­но­вят­ся про­ще и гру­бее, но за­мет­но де­шев­ле для ин­фра­струк­ту­ры.

Koupei Stu­dio / Shut­ter­stock / Fotodom