Ловушка невозвратных затрат, эффект доступности и другие распространенные ошибки восприятия

Ос­нов­ная цель ана­ли­ти­ка дан­ных — вы­явить за­ко­но­мер­но­сти и свя­зи меж­ду раз­ны­ми по­то­ка­ми ин­фор­ма­ции. Несмот­ря на то, что про­фес­сия пред­по­ла­га­ет ра­бо­ту с фак­та­ми и ал­го­рит­ма­ми, на фи­наль­ные за­клю­че­ния мо­гут по­вли­ять субъ­ек­тив­ные уста­нов­ки че­ло­ве­ка. Спе­ци­а­лист по ра­бо­те с боль­ши­ми дан­ны­ми Ра­уль Агарваль (Rahul Agar­wal) в сво­ем тек­сте раз­мыш­ля­ет о том, как это­го из­бе­жать и ка­ких ко­гни­тив­ных ис­ка­же­ний сто­ит опа­сать­ся в первую оче­редь.

Ошиб­ка вы­жив­ше­го

Во вре­мя Вто­рой ми­ро­вой вой­ны пе­ред груп­пой уче­ных Цен­тра Во­ен­но-мор­ских ис­сле­до­ва­ний сто­я­ла за­да­ча: по­нять, как ис­пра­вить недо­стат­ки и про­блем­ные зоны ис­тре­би­те­лей. Для это­го они ре­ши­ли осмот­реть каж­дый са­мо­лет, вер­нув­ший­ся с во­ен­ной мис­сии, и сде­ла­ли по­мет­ки о том, в ка­кие ме­ста по­па­ли пули. На них ко­ман­да уче­ных и ука­за­ла тех­ни­кам, по­ла­гая, что спра­ви­лась с по­ру­че­ни­ем.

Про­бле­ма, од­на­ко, в том, что ис­сле­до­ва­те­ли смот­ре­ли толь­ко на ле­та­тель­ные ап­па­ра­ты, ко­то­рые вер­ну­лись об­рат­но, но ис­клю­чи­ли из сво­е­го ана­ли­за те, что по­тер­пе­ли кру­ше­ние. А ведь имен­но по­след­ние хра­ни­ли в себе цен­ные дан­ные о фа­таль­ных уяз­ви­мо­стях са­мо­ле­тов.

Груп­па ис­сле­до­ва­те­лей столк­ну­лась с «ошиб­кой вы­жив­ше­го»: они об­ра­ти­лись толь­ко к той ин­фор­ма­ции, ко­то­рая была у них под ру­кой и не при­ня­ли во вни­ма­ние бо­лее ши­ро­кий кон­текст. Это ко­гни­тив­ное ис­ка­же­ние свя­за­но с от­филь­тро­вы­ва­ни­ем дан­ных на ос­но­ве про­из­воль­но­го кри­те­рия, при этом че­ло­век не осо­зна­ет, что ему недо­ста­ет кри­ти­че­ски важ­ных дан­ных.

Один из спо­со­бов спра­вить­ся с по­доб­ной ошиб­кой вос­при­я­тия — при­бег­нуть к на­уч­но­му ме­то­ду мыш­ле­ния и по­нять, ка­кая в прин­ци­пе ин­фор­ма­ция нуж­на, что­бы соз­дать наи­бо­лее пол­ный про­гноз или оцен­ку си­ту­а­ции, вме­сто того, что­бы сра­зу на­чать с ра­бо­ты с дан­ны­ми.

Ло­вуш­ка невоз­врат­ных за­трат

Каж­дый из нас хотя бы раз по­па­дал­ся на крю­чок по­тра­чен­ных де­нег, ко­то­рые нель­зя вер­нуть: на­при­мер, ко­гда вы пред­по­чли до­си­деть до кон­ца неудач­но­го спек­так­ля и филь­ма, по­то­му что би­лет уже был куп­лен. Ло­вуш­ка невоз­врат­ных за­трат опи­сы­ва­ет склон­ность че­ло­ве­ка оце­ни­вать свои дей­ствия, ис­хо­дя из того, как мно­го ре­сур­сов ушло на их ре­а­ли­за­цию. В ито­ге мож­но по­те­рять еще боль­ше уси­лий и средств. В боль­шин­стве слу­ча­ев един­ствен­ный вер­ный вы­ход — сми­рить­ся и не со­жа­леть о при­ня­тых ре­ше­ни­ях.

По сло­вам Агарва­ля, та­кой ис­ход — не ред­кость в ра­бо­те с мас­си­ва­ми дан­ных. Про­ект мо­жет без­ре­зуль­тат­но длить­ся боль­ше двух лет, а ис­сле­до­ва­те­лю бы­ва­ет слож­но при­нять тот факт, что вре­мя и энер­гия были по­тра­че­ны да­ром, по­это­му он про­дол­жа­ет бес­смыс­лен­ный труд.

Что­бы пре­одо­леть свою нере­ши­тель­ность в по­доб­ной си­ту­а­ции, Агарваль со­ве­ту­ет со­сре­до­то­чить­ся на пер­спек­ти­вах и даль­ней­ших про­ек­тах, а не за­цик­ли­вать­ся на про­шлом. Сам ана­ли­тик дан­ных вы­би­ра­ет ме­тод со­став­ле­ния спис­ка: в од­ной ко­лон­ке он пе­ре­чис­ля­ет ре­сур­сы, ко­то­рые при­дет­ся за­дей­ство­вать, что­бы про­дол­жить ис­сле­до­ва­ние, во вто­рой — пре­иму­ще­ства и ре­зуль­та­ты, ко­то­рые мож­но по­лу­чить от ра­бо­ты. Если пунк­ты из пер­вой ко­лон­ки пе­ре­ве­ши­ва­ют бо­ну­сы из вто­ро­го, это го­во­рит о том, что про­ект луч­ше от­пу­стить.

Лож­ные при­чин­но-след­ствен­ные свя­зи

Ино­гда наш мозг на­хо­дит пат­тер­ны и свя­зи даже там, где их нет. А по­сколь­ку по­иск от­но­ше­ний меж­ду объ­ек­та­ми со­став­ля­ет ос­нов­ную часть ра­бо­ты ана­ли­ти­ка дан­ных, та­кая осо­бен­ность вос­при­я­тия мо­жет быть до­воль­но опас­ной.

Важ­но пом­нить, что кор­ре­ля­ция не все­гда озна­ча­ет при­чин­но-след­ствен­ные свя­зи. Если две пе­ре­мен­ные все вре­мя дви­га­ют­ся в тан­де­ме, во­все необя­за­тель­но, что одна за­ви­сит от дру­гой.

Этот прин­цип мож­но про­де­мон­стри­ро­вать на несколь­ких при­ме­рах. До­пу­стим, вы на­блю­да­е­те за тем, как все боль­ше по­жар­ных от­прав­ля­ют­ся на ту­ше­ние по­жа­ра и за­ме­ча­е­те, что по их воз­вра­ще­нию все боль­ше тех­ни­ки вы­хо­дит из строя. Мож­но ли сде­лать вы­вод, что от ко­ли­че­ства по­жар­ных за­ви­сит уро­вень по­вре­жде­ния по­жар­ной тех­ни­ки? В дру­гом кей­се один ака­де­мик об­на­ру­жил кор­ре­ля­цию меж­ду чис­лом со­вер­шен­ных пре­ступ­ле­ний в Нью-Йор­ке 1980-х и ко­ли­че­ством мо­ро­же­но­го, ко­то­рое было про­да­но в тот пе­ри­од на ули­цах го­ро­да. Сто­ит ли сде­лать за­клю­че­ние, что лю­бовь к мо­ро­же­но­му за­став­ля­ет лю­дей со­вер­шать пре­ступ­ле­ния?

Та­кие аб­сурд­ные при­ме­ры за­став­ля­ют ис­сле­до­ва­те­лей все­гда быть на­че­ку и два­жды по­ду­мать, преж­де чем прий­ти к вы­во­ду о ха­рак­те­ре свя­зей меж­ду дву­мя по­то­ка­ми дан­ных.

Эф­фект до­ступ­но­сти

Ко­гда мы ис­поль­зу­ем фор­му­лу «Я знаю, что X (вставь­те сюда утвер­жде­ние об­ще­го ха­рак­те­ра), по­то­му что Y (вставь­те сюда один кон­крет­ный при­мер)», то под­да­ем­ся «эф­фек­ту до­ступ­но­сти». При­мер: «Неправ­да, что пиво при­во­дит к лиш­не­му весу: по­смот­ри на Ваню — он каж­дую неде­лю вы­пи­ва­ет с дру­зья­ми, и не пол­не­ет». Вы сно­ва пы­та­е­тесь сде­лать вы­вод, опи­ра­ясь на огра­ни­чен­ные дан­ные.

Лю­дям свой­ствен­но вы­ска­зы­вать суж­де­ния, ис­поль­зуя уже име­ю­щи­е­ся у них зна­ния и не ис­кать до­пол­ни­тель­ные под­твер­жде­ния. Из-за это­го в вы­во­ды за­кра­ды­ва­ют­ся по­греш­но­сти, а кар­ти­на мира ока­зы­ва­ет­ся од­но­сто­рон­ней.

Пре­одо­леть по­доб­ное ко­гни­тив­ное ис­ка­же­ние мож­но, толь­ко при­дер­жи­ва­ясь идеи по­сто­ян­но­го са­мо­раз­ви­тия и же­ла­ния узна­вать но­вое. Об­суж­дай­те свои про­ек­ты с дру­ги­ми ана­ли­ти­ка­ми дан­ных, по­се­щай­те про­фес­си­о­наль­ные встре­чи, вы­слу­ши­вай­те кри­ти­ков. Будь­те от­кры­ты све­же­му опы­ту и иде­ям.

Пред­взя­тость вос­при­я­тия

Ста­рая шут­ка гла­сит, что если до­ста­точ­но дол­го му­чить дан­ные, то рано или позд­но, мож­но вы­тя­нуть из них при­зна­ние. Ина­че го­во­ря, если вы слиш­ком дав­но по­гру­же­ны в ма­те­ри­ал, есть риск по­те­рять объ­ек­тив­ность и трак­то­вать ин­фор­ма­цию так, как го­во­рят ваши убеж­де­ния.

Каж­дый из нас ру­ко­вод­ству­ет­ся в жиз­ни опре­де­лен­ны­ми уста­нов­ка­ми и прин­ци­па­ми, но для уче­но­го необ­хо­ди­мо су­меть от них от­стра­нить­ся в про­цес­се ра­бо­ты. В обы­ден­ных си­ту­а­ци­ях пред­взя­тость вос­при­я­тия ча­сто за­став­ля­ет нас ин­тер­пре­ти­ро­вать про­ис­хо­дя­щее в со­от­вет­ствии со сво­и­ми взгля­да­ми. Мы даже склон­ны боль­ше об­щать­ся с теми, кто при­дер­жи­ва­ет­ся схо­жих мне­ний.

Пе­ред по­гру­же­ни­ем в оче­ред­ной про­ект Агарваль ре­ко­мен­ду­ет со­ста­вить спи­сок сво­их убеж­де­ний и со­по­ста­вить их с фак­та­ми, что­бы из­бе­жать пред­взя­то­сти. По­ста­рай­тесь взве­сить свои ги­по­те­зы со всех сто­рон, изу­чить ар­гу­мен­ты оп­по­нен­тов и прой­тись по на­уч­ной базе.

В эпо­ху ин­фор­ма­ци­он­ной пе­ре­груз­ки наш мозг вся­че­ски пы­та­ет­ся за­щи­тить нас от ли­ших энер­го­за­трат, по­это­му стать жерт­вой од­но­го из ко­гни­тив­ных ис­ка­же­ний до­воль­но лег­ко. В по­все­днев­но­сти огра­ни­че­ние ис­точ­ни­ков зна­ния мо­жет быть дей­стви­тель­но по­лез­ным, од­на­ко ко­гда речь за­хо­дит об ана­ли­зе дан­ных, крайне важ­но со­хра­нять мак­си­маль­ную кон­цен­тра­цию и от­да­вать себе от­чет в воз­мож­ных эф­фек­тах и по­след­стви­ях оши­бок вос­при­я­тия.