Как ЦРУ борется с когнитивными искажениями

[leo_sosnine]

Перепощиваю подзамок от hordon:

По материалам книг Ричарда Хьюера (Richards J. Heuer, Jr)
- Психология разведанализа (Psychology of Intelligence Analysis, 1999)
- Структурированные техники для разведанализа (Structured Analytic Techniques for Intelligence Analysis, 2010)

Ограничения и недостатки человеческого разума

1) Человек склонен к интуитивному выбору удовлетворяющего его объяснения на основе имеющихся знаний и жизненного опыта. Впоследствии он склонен держаться этого объяснения.
2) Новые сведения укладываются в привычную картину мира: подтверждающая информация добавляет уверенности в суждениях, опровергающие доводы игнорируются или считаются малозначимыми.
3) В рабочей памяти человека одновременно умещается около 7 элементов информации (плюс-минус 2)
4) Чем ярче впечатление при восприятии новой информации, тем лучше она запоминается, тем больше используется как довод при формировании суждений.

Приоритеты доверия:
а) личный опыт, собственное наблюдение;
б) сведения от близких, друзей, любых людей, способных произвести впечатление;
в) абстрактная информация (теория, статистика)

5) Само по себе знание о наличии познавательных уклонов (или когнитивных искажений) не особо помогает минимизировать их эффект.

Аналитические инструменты и техники

Разработан ряд техник, призванных обойти или минимизировать влияние этих и других факторов. В их основе лежат декомпозиция и визуализация.

Декомпозиция - дробление вопроса на составные части.
Визуализация - материальное отображение хода мысли аналитика (на бумаге, на доске или в специальной программе).

Простейший пример: перемножение двузначных чисел в столбик.

Генерировать гипотезы (или сценарии) можно техниками мозгового штурма, звездообразования и морфологического анализа.

Звездообразование - визуальное представление шестиконечной звезды в виде исходящих из центра звезды стрелок, которые соответствуют вопросам: Кто? Что? Где? Когда? Как? Почему?

Морфологический анализ - выявление ключевых факторов, составление квадрантов, генерирование сценария на основе четвертей.

Пример: варианты сценариев осуществления террористической атаки на системы водоснабжения.
а) ключевые предположения: одиночная атака, один террорист, атака на систему водообеспечения, осуществляется человеком извне;
б) формулировка контр-предположений: серия атак, несколько террористов, атака на систему канализации, действует инсайдер;
в) определение двух противоположных направлений по каждому контр-предположению: одновременная атака или цепь терактов, атака на очистные сооружения или на трубы, работник или наёмный контрактор;
г) составление квадрантов (матриц 2х2);
д) написание сценария на основе каждой четверти.

Анализ конкурирующих гипотез

На стадии анализа конкурирующих гипотез (сценариев) рекомендуется генерировать до 7 разумных взаимоисключающих версий, а имеющиеся и появляющиеся в дальнейшем доводы, предположения, факты и прочие данные проверять на диагностичность (соответствие каждого довода каждой из сгенерированных версий). Чем большему количеству версий соответствует тот или иной довод, тем ниже его диагностичность и наоборот.

Пример: такие симптомы как кашель, насморк и головная боль имеют низкую диагностичность, поскольку относятся к большому числу разнообразных заболеваний, в то время как отваливающееся ухо имеет высокую диагностичность.

Необходимо стремиться искать не подтверждения, а опровержения гипотез. Часто достаточно одного убедительного довода "против" для опровержения гипотезы, тогда как сколь угодно большое количество доводов "за" не может являться достаточным основанием для выбора данной гипотезы как наиболее вероятной. Таким образом, относительно (и предварительно) вероятной версией следует считать не ту, у которой больше доводов "за", а ту, у которой меньше доводов "против". Анализ конкурирующих гипотез не является волшебной формулой по установлению объективной истины и создан для визуального прозрачного отображения хода аналитической мысли.

Предварительная гипотеза подвергается детальному анализу посредством аргументационной карты.

Всё так и есть. И многие вещи, кстати, на страничках этой днявочки мы уже разбирали. В догонку ещё много искажений навскидку (сорри за инглиш, просто читал в нём, а переводить неохота):

Completion error

Anchoring

Visual over audial это отчасти 4 из перепощеннога

Small groups trust relationships vs large groups no-trust (family relationships get extrapolated to market relationships in youth) это отчасти в) из перепощеннога

In-control risk perceived as less than non-controllable risk, even if the former is more serious (driving a car vs flying a jet)

A fear of uncertainty is more than a fear of certain threats

Tendency to rely on 'good enough' opportunities as opposed to spending resources on carefully weighing in all risks

Attribution error (tendency to explain by intent, conspirology, etc)

Affect heuristic (people tend to make decisions based on emotions after watching favorite actors/listening to favorite music)

Confirmation bias (people tend to perceive facts that support their views more than facts that disrupt them) это 1-2 из перепощеннога

Comments

Согласен.

[(Anonymous)]

Сам пришел к похожим выводам. Хотя до шестиконечной звезды, конечно, не додумался ... ЕВПОЧЯ ...

Кстати, осмелюсь рекомендовать к прочтению книгу нобелевского лауреата Даниеля Канемана "Думай медленно ... Решай быстро" на тему того, как организовано наше мышление. Начал читать, мне нравится.

С уважением.

RE: Согласен.

[thunder-potamus.livejournal.com]

Ужас Конемана заклеймил, и справедливо. Гигерензер наше всьо.

RE: Согласен.

[leo-sosnine.livejournal.com]

чукча не читатель, чукча писатель, да и то, мало и низкокачественно

[thunder-potamus.livejournal.com]

Неужто вы Хьюера не читали? Он даже на сайте ЦРУ выложен :). Простенькая, очень эффектная книга, хорший мостик к тяжеловесам.

[hordon.livejournal.com]

Хьюер не поджидает за каждым углом, на него нужно как-то наткнуться. Меня увлекло любопытство - читал в вики о каком-то когнитивном искажении или подобном, прошёл по ссылке из сносок, там по другой ссылке - и так наткнулся. А ведь любопытство могло не увести или увести не туда.

В рунете даже упоминания вскользь обо всём этом нет. Мужики, кроме шуток, не знают.

Кстати по поводу сайта ЦРУ. Книга там висящая - первая из упомянутых в памятке - это ещё 99 год, до 9/11 и до вторжения в Ирак. Во второй книге уже говорится, что его (и его коллег) рекомендации были утверждены на уровне начальства во многом благодаря 9/11 и вторжению в Ирак. До этого по большей части господствовал экспертно-интуитивный подход а-ля "Да я в Афгане воевал, щенок!!!11"

[hordon.livejournal.com]

Понятно, что оно лежало не на совсем уж дальней полке. Но всё же: вот сидит Джон Боб в своём кабинете. Эксперт по Намибии с 25-летним стажем. Если он говорит, что в Намибии всё спокойно, значит так оно и есть! А тут ему какие-то матрицы, анализ альтернативных гипотез - да срал он, ебал, хехе.

[cass1an.livejournal.com]

А тяжеловесы - это кто?

[cass1an.livejournal.com]

и все?

[thunder-potamus.livejournal.com]

Чалдини, но он попроще. Юдковски и Фестингер. Но тут есть нюанс. Хьюер - это что-то типа the best of greatest, решебник. Тут в топике верно приводят пример - сидит какой-то пень всю жизнь на Намибии, и забронзовел. Чтобы его сковырнуть, требуется простая выжимка из "Конемана", которого в оригинале полевым работникам читать некогда.

Так вот "выжимает" Хьюер из книг уровня как раз Чалдини, Юдковски, Фестингера и Каннемана. А Гигерензер находится к этим авторам примерно в той же позиции, в которой они сами находсятся по отношению к Хьюеру: он обрисовывает общую картину предмета, и показывает, где кто находится (хотя и не обязательно именно эти товарищи где находятся).

У него ведь не только собственные исследования и модели (probabilistic mental model и всё рядом), но и контекст - от Брунсвика до споров Фишера с Нейманом и Пирсоном.

Последнее мне особенно интересно, поскольку я вижу вблизи, как местные медики работают с этим материалом :), хи-хи.

[cass1an.livejournal.com]

спасибо.

О! Я как-то проходит многодневный тренниг по юзабилити

[aurfin76.livejournal.com]

Вот это конспект теоретической части треннинга.

[(Anonymous)]

оче хорошо

[hordon.livejournal.com]

Стоит добавить, что памятку делал для себя, выделяя то, то важно было лично мне.

Кстати, в книгах упоминается и про Anchoring, и про Attribution Error.

Что касается Tendency to rely on 'good enough' opportunities as opposed to spending resources on carefully weighing in all risks - это вообще красной нитью идёт у Хьюера, притом во всех возможных аспектах, не только про opportunities.

[hordon.livejournal.com]

У Хьюера тема - разведанализ. Подчёркивается, что всё это надо, когда ставки высоки, когда последствия могут быть аховые, что желательно работать в группе. К тому же инфа по большей части неполная, сомнительного происхождения, мнения аналитиков разнятся итд.

[john-doe.livejournal.com]

Спасибо за пост, прочитал с удовольствием.

Приоритеты доверия:
а) личный опыт, собственное наблюдение;
б) сведения от близких, друзей, любых людей, способных произвести впечатление;
в) абстрактная информация (теория, статистика)

Забавно, у меня теория и статистика находится на первом уровне.
Но я как бы и специально обученный системный аналитик.