Принятие решений в неопределенности стр.210

Если хорошая калибровка важна, как ее достичь? Кокс (Сох, 1958) считал, что можно внешне рекалибровать оценки людей, подгоняя модель к набору оценок для вопросов с известными ответами. Тогда модель используется, чтобы исправлять или регулировать ответы, данные экспертом. Технические трудности, возникающие перед внешней перекалибровкой существенны. При выявлении оценгк, которые будут смоделированы, нужно быть осторожными, чтобы не дать оценивающему больше обратной связи, чем они обычно получают, из страха того, что они изменят свою калибровку, когда она измеряется. Как указал Сэвадж (Savage, 1971), “Вы могли бы обнаружить на опыте, что ваш эксперт в некотором отношении оптимистичен или пессимистичен, и поэтому смягчать его суждения. Если он заподозрит Вас в этом, однако, и Вы, и он вполне можете приблизиться к гибели” (с. 796). Так как исследование показало, что тип наблюдаемого расбаланса калибровки зависит от уровня трудности задачи, возможно, пришлось бы также полагать, что будущее будет соответствовать трудности событий, используемых для перекалибровки.

Теоретические возражения внешней перекалибровке могут быть даже более серьезны, чем практические. Числа, произведенные процессом перекалибровки не будут следовать аксиомам теории вероятности (например, числа, связанные со взаимно исключающими и исчерпывающими событиями будут не всегда в сумме давать единицу, и при этом вообще не будет истинно что Р(А)*Р (В) = Р (А, В) для независимых событий); следовательно, эти новые числа не могут называться вероятностями.

Более плодотворный подход состоял бы в том, чтобы обучить экспертов самокалибровке. При каких условиях можно ожидать, что эксперты достигнут этой цели? Нельзя ожидать, что эксперты будут хорошо калиброваны, если явная или неявная награда для оценок не мотивирует их быть честными в их оценках. Как крайний пример можно рассмотреть оценивающего, нахо дящегося под угрозой казни, если произойдет событие, вероятность которого была оценена в < 0.25, который будет иметь серьезное основание не быть хорошо калиброванным с оценками 0.20. Хотя этот пример кажется абсурдным, более тонкие давления такие как “не выглядеть глупо” или “произвести впечатление на босса” могли бы также обеспечивать сильные стимулы для плохой калибровки. Любое вознаграждение либо за размышления, либо за опровержение могло бы также смещать оценки.

При получении обратной связи исхода после каждой оценки - лучшее условие для успешного обучения. Дейвид (Dawid) показал, что при таких условиях эксперты, которые являются честными и последовательными субъективистами, будут хорошо калиброваны независимо от взаимозависимости среди оцениваемых вопросов. Напротив, Кадан (Kadane, 1980) показал, что в отсутствии обратной связи исхода “испытание за испытанием”, честный, последовательный субъективист будет, как ожидается, хорошо калиброван, только тогда, когда все оцениваемые вопросы независимы. Эта теорема накладывает сильные ограничения на ситуации, при которых было бы разумно ожидать, что эксперты будут учиться быть хорошо калиброванными. Даже если процесс обучения мог проводиться с использованием только событий, которые, как считали эксперты, независимы, может иметься серьезное основание, чтобы сомневаться относительно независимости задач реальной жизни, к которым эксперты применили бы их обучение. Важные будущие события могут быть взаимозависимыми либо потому что они находятся под влиянием общей основной причины, либо потому что оценивающий рассматривает их как идущие из основного запаса знаний. В таких обстоятельствах, можно не хотеть или не ожидать хорошей калибровки.


⇐ назад к прежней странице | | перейти на следующую страницу ⇒