99 % точности полиграфа — это реклама. Что на самом деле написано в отчёте, на который все ссылаются

Если вам обещают, что полиграф точен на 99 %, — вам продают. Самый большой обзор исследований, который сделала сама Американская ассоциация полиграфологов (АПА), даёт 85–89 %. И даже у этой цифры есть оговорки, о которых редко говорят.

Я полиграфолог, работаю с 2012 года и провёл более 6000 проверок. Я прочитал все 113 страниц этого отчёта в оригинале и ниже показываю, что в нём написано, — с номерами страниц, чтобы вы могли проверить меня.

Нужна не теория, а проверка? Пройдите онлайн-тест VerifEye — от 2500 грн, без визита в офис, или рассчитайте стоимость теста на полиграфе.

Коротко

• Точность полиграфа — 85–89 %: 89 % при проверке одного события, 85 % при проверке нескольких тем сразу (метаанализ АПА, 2011, с. 203).
• Эта цифра не учитывает проверки без вывода. Примерно каждая восьмая-девятая проверка заканчивается результатом «неопределённо» (11–13 %, с. 203).
• Полиграф чаще ошибается в отношении правдивых людей, чем в отношении неискренних. Из 100 правдивых около 12 ошибочно признают неискренними; из 100 неискренних около 8 ошибочно признают правдивыми (расчёт по табл. 7, с. 246).
• 99 % точности — это результаты исследований самих разработчиков методик. АПА назвала их статистическими выбросами (с. 248–250).
• «Самой точной методики» не существует: между двенадцатью проверенными методиками разницы в точности не найдено (с. 257).

Откуда взялась цифра 85–89 %?

В 2011 году комитет АПА собрал 38 исследований, в которых было точно известно, кто говорил правду, а кто нет. 295 специалистов оценили записи этих проверок и поставили 11 737 оценок (с. 199, 203). Это самый большой обзор, сделанный самим профессиональным сообществом.

Источник: Polygraph, 2011, 40(4), с. 203 и табл. 7 на с. 246.

Что означает «89 %» на самом деле?

89 % — это доля правильных решений среди проверок, где решение принято. Проверки с результатом «неопределённо» в эту цифру не входят. Так прямо написано в отчёте (с. 203, прим. 1).

Если учесть всё, картина для 100 человек, которых проверяют по одному событию, такая.

Мой расчёт по табл. 7 отчёта АПА (с. 246). Как считал — в конце статьи.

То есть честный ответ звучит так: из десяти проверок примерно восемь дают правильный вывод, одна — ошибочный, одна — никакого.

Может ли полиграф «обвинить» честного человека?

Да. По данным отчёта, примерно 12 из 100 правдивых людей полиграф ошибочно признаёт неискренними. Неискренних он ошибочно «оправдывает» реже — примерно 8 из 100. То есть ошибка чаще бывает не в пользу честного человека.

Для нескольких традиционных систем оценки отчёт признаёт ещё больше: их способность распознать правдивого человека статистически не отличается от случайного угадывания (с. 242, 244, 251). Эти системы при этом остались в списке «валидированных».

Именно поэтому заключение полиграфолога — аргумент, а не приговор. И именно поэтому оно само по себе не является доказательством в суде.

Почему одни пишут 99 %, а другие 85 %?

В отчёте есть две авторские методики — IZCT и MQTZCT — с точностью 99,4 %. Комитет АПА назвал эти результаты статистическими выбросами и объяснил почему (с. 248–250):

• исследования проводили сами разработчики, у которых есть в методиках финансовый интерес;
• из одного исследования убрали участника, чей результат испортил бы идеальную точность;
• для другого комитету сначала передали оценки только тех проверок, где оценщик не ошибся.

А в примечании 59 (с. 259) авторы написали самое откровенное предложение всего отчёта. Пересказываю: каждый метод детекции лжи за последние сто лет, который исследовал его же разработчик, показывал точность около 99 % — и каждый раз независимые проверки либо не проводились, либо давали значительно меньше.

Какая методика полиграфа самая точная?

Никакая. Отчёт сравнил двенадцать методик и не нашёл между ними статистически значимой разницы. Авторы прямо советуют не составлять рейтингов и меньше обращать внимание на названия (с. 257).

Фраза «работаем по самой точной методике» — маркетинг. На результат влияет то, как полиграфолог сформулировал вопросы, как провёл беседу перед тестом и как оценил запись.

Можно ли доверять самому отчёту?

Частично. Слабые места авторы не скрывают, но пишут о них не на первой странице.

• Часть «проверок» — компьютерные симуляции. Восемь выборок — это по 100 смоделированных, а не реальных случаев (с. 214–221, Приложение A на с. 269).
• Авторы оценивали собственные работы. Главный исследователь метаанализа — соавтор 18 из 38 включённых исследований. Отчёт это признаёт и добавляет, что без этих работ некоторые методики в список не попали бы (с. 256–257).
• Реальные дела подтверждены в основном признаниями. Если человек не признался, случай часто не попадает в исследование. Авторы пишут, что это может завышать точность (с. 197, 253).
• Цифры относятся к здоровым взрослым без противодействия. Исследования с усталостью, опьянением или обученным противодействием в расчёт не брали; несовершеннолетних среди участников не было (с. 198, 254, 256).
• Качество исследований не взвешивали, а лабораторные и реальные дела считали вместе (с. 213, 255).
• В отчёте есть арифметические расхождения. Например, в аннотации — 3 723 проверки, а в таблице 2 — 4 367 (с. 203 и 237).

Поэтому я воспринимаю 85–89 % как оценку при хороших условиях, а не как гарантию. Отчёт АПА и сам отмечает: по выводу Национального исследовательского совета США (2003), ни одна новая технология не готова заменить полиграф, но и сам он далёк от совершенства (с. 259).

Что с этим делать вам?

Если заказываете проверку. Спросите полиграфолога о трёх вещах: какую точность он называет и откуда цифра; что он делает, когда результат неопределённый; напишет ли он «неопределённо» в заключении. Кто отвечает «у меня 99 % и неопределённых не бывает» — тот либо не читал исследований, либо рассчитывает, что не читали вы.

Если проверяют вас и вы говорите правду. Риск ошибки есть. Его уменьшают сон, спокойная беседа перед тестом и честный разговор о болезнях и лекарствах. Подробнее — в статье как пройти полиграф.

Что я делаю, когда результат неопределённый. Пишу об этом прямо и не «дотягиваю» вывод до удобного. Дальше предлагаю повторный тест или другой метод — например, EyeDetect, который работает по другому принципу. Два разных метода с одинаковым результатом убеждают больше, чем один.

Я называю клиентам 85–89 % и не буду называть больше, пока не появится независимое исследование с другими цифрами. Методы и цены — на странице цены.

Частые вопросы

Какая точность полиграфа в процентах?

85–89 % среди проверок, где принято решение: 89 % для одного события, 85 % для нескольких тем. Ещё 11–13 % проверок заканчиваются без вывода. Источник — метаанализ Американской ассоциации полиграфологов 2011 года.

Бывает ли 100 % точность детектора лжи?

Нет. Ни одно независимое исследование не показало ни 100 %, ни 99 %. Такие цифры есть только в работах разработчиков методик, и АПА назвала их статистическими выбросами.

Как часто полиграф ошибается?

Примерно в одном случае из десяти. Из 100 правдивых людей около 12 ошибочно признают неискренними, из 100 неискренних около 8 — правдивыми. Остальное — правильные выводы или «неопределённо».

Что такое неопределённый результат полиграфа?

Это когда реакции человека не дают оснований сказать ни «говорит правду», ни «говорит неправду». Так бывает примерно в каждой восьмой-девятой проверке. Честный полиграфолог так и пишет в заключении.

Как я считал

Таблица «из 100 человек» — мой пересчёт строк таблицы 7 отчёта (с. 246) для методик, которыми проверяют одно событие: чувствительность 0,833, специфичность 0,765, ложноотрицательные 0,078, ложноположительные 0,115, неопределённые 0,093 для неискренних и 0,127 для правдивых. Я умножил эти доли на 100 и округлил до целых, поэтому сумма в столбце правдивых даёт 101. Выбросы (IZCT и MQTZCT) в расчёт не входят.

Источник

American Polygraph Association. Meta-Analytic Survey of Criterion Accuracy of Validated Polygraph Techniques. Polygraph, 2011, 40(4), с. 194–305 — полный текст на сайте АПА (PDF, на английском).

Автор — Андрей Мариняк, полиграфолог, Львов. Работаю с 2012 года, более 6000 проверок. Статья — разбор первоисточника, а не юридическая консультация.