99 % точності поліграфа — це реклама. Що насправді написано у звіті, на який усі посилаються

Якщо вам обіцяють, що поліграф точний на 99 %, — вам продають. Найбільший огляд досліджень, який зробила сама Американська асоціація поліграфологів (АПА), дає 85–89 %. І навіть ця цифра має застереження, про які рідко говорять.

Я поліграфолог, працюю з 2012 року і провів понад 6000 перевірок. Я прочитав усі 113 сторінок цього звіту в оригіналі і нижче показую, що в ньому написано, — з номерами сторінок, щоб ви могли перевірити мене.

Потрібна не теорія, а перевірка? Пройдіть онлайн-тест VerifEye — від 2500 грн, без візиту в офіс, або порахуйте вартість тесту на поліграфі.

Коротко

• Точність поліграфа — 85–89 %: 89 % при перевірці однієї події, 85 % при перевірці кількох тем одразу (метааналіз АПА, 2011, с. 203).
• Ця цифра не враховує перевірки без висновку. Приблизно кожна восьма-дев’ята перевірка закінчується результатом «невизначено» (11–13 %, с. 203).
• Поліграф частіше помиляється щодо правдивих людей, ніж щодо нещирих. Зі 100 правдивих близько 12 помилково визнають нещирими; зі 100 нещирих близько 8 помилково визнають правдивими (розрахунок за табл. 7, с. 246).
• 99 % точності — це результати досліджень самих розробників методик. АПА назвала їх статистичними викидами (с. 248–250).
• «Найточнішої методики» не існує: між дванадцятьма перевіреними методиками різниці в точності не знайдено (с. 257).

Звідки взялася цифра 85–89 %?

У 2011 році комітет АПА зібрав 38 досліджень, у яких було точно відомо, хто казав правду, а хто ні. 295 фахівців оцінили записи цих перевірок і поставили 11 737 оцінок (с. 199, 203). Це найбільший огляд, зроблений самою професійною спільнотою.

Джерело: Polygraph, 2011, 40(4), с. 203 і табл. 7 на с. 246.

Що означає «89 %» насправді?

89 % — це частка правильних рішень серед перевірок, де рішення ухвалено. Перевірки з результатом «невизначено» в цю цифру не входять. Так прямо написано у звіті (с. 203, прим. 1).

Якщо врахувати все, картина для 100 людей, яких перевіряють щодо однієї події, така.

Мій розрахунок за табл. 7 звіту АПА (с. 246). Як рахував — у кінці статті.

Тобто чесна відповідь звучить так: із десяти перевірок приблизно вісім дають правильний висновок, одна — помилковий, одна — жодного.

Чи може поліграф «звинуватити» чесну людину?

Так. За даними звіту, приблизно 12 зі 100 правдивих людей поліграф помилково визнає нещирими. Нещирих він помилково «виправдовує» рідше — приблизно 8 зі 100. Тобто помилка частіше буває не на користь чесної людини.

Для кількох традиційних систем оцінки звіт визнає ще більше: їхня здатність розпізнати правдиву людину статистично не відрізняється від випадкового вгадування (с. 242, 244, 251). Ці системи при цьому залишилися у списку «валідованих».

Саме тому висновок поліграфолога — аргумент, а не вирок. І саме тому він сам по собі не є доказом у суді.

Чому одні пишуть 99 %, а інші 85 %?

У звіті є дві авторські методики — IZCT і MQTZCT — з точністю 99,4 %. Комітет АПА назвав ці результати статистичними викидами і пояснив чому (с. 248–250):

• дослідження проводили самі розробники, які мають у методиках фінансовий інтерес;
• з одного дослідження прибрали учасника, чий результат зіпсував би ідеальну точність;
• для іншого комітету спершу передали оцінки лише тих перевірок, де оцінювач не помилився.

А в примітці 59 (с. 259) автори написали найвідвертіше речення всього звіту. Переказую: кожен метод детекції брехні за останні сто років, який досліджував його ж розробник, показував точність близько 99 % — і щоразу незалежні перевірки або не проводилися, або давали значно менше.

Яка методика поліграфа найточніша?

Жодна. Звіт порівняв дванадцять методик і не знайшов між ними статистично значущої різниці. Автори прямо радять не складати рейтингів і менше зважати на назви (с. 257).

Фраза «працюємо за найточнішою методикою» — маркетинг. На результат впливає те, як поліграфолог сформулював питання, як провів бесіду перед тестом і як оцінив запис.

Чи можна довіряти самому звіту?

Частково. Слабкі місця автори не приховують, але пишуть про них не на першій сторінці.

• Частина «перевірок» — комп’ютерні симуляції. Вісім вибірок — це по 100 змодельованих, а не реальних випадків (с. 214–221, Додаток A на с. 269).
• Автори оцінювали власні роботи. Головний дослідник метааналізу є співавтором 18 із 38 включених досліджень. Звіт це визнає і додає, що без цих робіт деякі методики до списку не потрапили б (с. 256–257).
• Реальні справи підтверджено здебільшого зізнаннями. Якщо людина не зізналася, випадок часто не потрапляє в дослідження. Автори пишуть, що це може завищувати точність (с. 197, 253).
• Цифри стосуються здорових дорослих без протидії. Дослідження з утомою, сп’янінням чи навченою протидією до розрахунку не брали; неповнолітніх серед учасників не було (с. 198, 254, 256).
• Якість досліджень не зважували, а лабораторні й реальні справи рахували разом (с. 213, 255).
• У звіті є арифметичні розбіжності. Наприклад, в анотації — 3 723 перевірки, а в таблиці 2 — 4 367 (с. 203 і 237).

Через це я сприймаю 85–89 % як оцінку за добрих умов, а не як гарантію. Звіт АПА й сам зазначає: за висновком Національної дослідницької ради США (2003), жодна нова технологія не готова замінити поліграф, проте й сам він далекий від досконалості (с. 259).

Що з цим робити вам?

Якщо замовляєте перевірку. Питайте поліграфолога три речі: яку точність він називає і звідки цифра; що він робить, коли результат невизначений; чи напише він «невизначено» у висновку. Хто відповідає «у мене 99 % і невизначених не буває» — той або не читав досліджень, або розраховує, що не читали ви.

Якщо перевіряють вас і ви кажете правду. Ризик помилки є. Його зменшують сон, спокійна бесіда перед тестом і чесна розмова про хвороби та ліки. Докладніше — у статті як пройти поліграф.

Що я роблю, коли результат невизначений. Пишу про це прямо і не «дотягую» висновок до зручного. Далі пропоную повторний тест або інший метод — наприклад, EyeDetect, який працює за іншим принципом. Два різні методи з однаковим результатом переконують більше, ніж один.

Я називаю клієнтам 85–89 % і не називатиму більше, доки не з’явиться незалежне дослідження з іншими цифрами. Методи й ціни — на сторінці ціни.

Часті питання

Яка точність поліграфа у відсотках?

85–89 % серед перевірок, де ухвалено рішення: 89 % для однієї події, 85 % для кількох тем. Ще 11–13 % перевірок закінчуються без висновку. Джерело — метааналіз Американської асоціації поліграфологів 2011 року.

Чи буває 100 % точність детектора брехні?

Ні. Жодне незалежне дослідження не показало ні 100 %, ні 99 %. Такі цифри є лише в роботах розробників методик, і АПА назвала їх статистичними викидами.

Як часто поліграф помиляється?

Приблизно в одному випадку з десяти. Зі 100 правдивих людей близько 12 помилково визнають нещирими, зі 100 нещирих близько 8 — правдивими. Решта — правильні висновки або «невизначено».

Що таке невизначений результат поліграфа?

Це коли реакції людини не дають підстав сказати ні «каже правду», ні «каже неправду». Таке буває приблизно в кожній восьмій-дев’ятій перевірці. Чесний поліграфолог так і пише у висновку.

Як я рахував

Таблиця «зі 100 людей» — мій перерахунок рядків таблиці 7 звіту (с. 246) для методик, якими перевіряють одну подію: чутливість 0,833, специфічність 0,765, хибнонегативні 0,078, хибнопозитивні 0,115, невизначені 0,093 для нещирих і 0,127 для правдивих. Я помножив ці частки на 100 і округлив до цілих, тому сума у стовпці правдивих дає 101. Викиди (IZCT і MQTZCT) до розрахунку не входять.

Джерело

American Polygraph Association. Meta-Analytic Survey of Criterion Accuracy of Validated Polygraph Techniques. Polygraph, 2011, 40(4), с. 194–305 — повний текст на сайті АПА (PDF, англійською).

Автор — Андрій Мариняк, поліграфолог, Львів. Працюю з 2012 року, понад 6000 перевірок. Стаття — розбір першоджерела, а не юридична консультація.