Dlaczego eksperci najczęściej zawodzą?

człowiek kontra maszynaUśmiałem się obserwując, jak w ciągu kilku dni wytrawni watykaniści zmieniają się w fachowców od cypryjskiego systemu bankowego. Pytania „dlaczego”, „co się za tym kryje”, „jaki jest kontekst”, coraz częściej dziennikarze zastępują prośbami o przewidywanie przyszłości. Eksperci mówią więc dużo, ale  często to wata słowna, wypełniacz. – Czy to co dzieje się na Cyprze zaszkodzi strefie Euro? – pyta dziennikarz. – Na pewno zaszkodzi! Chociaż nie musi, a może wręcz pomóc – odpowiada ekspert. Tak  można streścić rozmowy dziennikarzy z psudoekspertami. Można zwalić wszystko na tabloidyzację, internet, portalozę, i twierdzić że skoro jest coraz więcej informacji, a coraz mniej wiedzy, to i pseudoekspertów przybywa. Ale jest i gorsza wiadomość: prawdziwi eksperci w wielu przypadkach mylą się równie często jak Ci od Watykanu i systemu bankowego Cypru.
Uściślijmy najpierw kim jest ekspert. Nie chodzi o osoby, które po prostu mają użyteczną w danym momencie informację. Internetowy vloger, który opowiada jak zrobić make-up, czy znajomy z Facebooka podpowiadający mi co mogę zwiedzić, gdy przyjadę do jego miasta, ekspertami nie są. Ekspert to ktoś doświadczony w danej dziedzinie, kto dysponuje informacjami specjalistycznymi, często zakulisowymi, z doświadczeniem, dzięki czemu uważany jest za zdolnego przewidzieć przyszłość ważnych społecznie kwestii: polityki, technologii, sportu, medycyny. Słuchanie ich daje poczucie zyskiwania kompetencji i wiedzy, kontroli nad rzeczywistością. Od ekspertów zależą jakie firmy zyskają na giełdzie lub jaka będzie polityka zagraniczna państwa.

 
Niestety, prognozy takich ekspertów są tyle samo warte co wyniki losowe. Udowodnił to w 1954 roku psycholog Paul Meehl, gdy przyjrzał się wynikom 20 badań, analizując czy prognozy kliniczne, czyli oparte na subiektywnym wrażeniu wykształconych i wyszkolonych specjalistów okażą się trafniejsze od prognoz statystycznych opartych na wskaźnikach przetworzonych za pomocą algorytmu. W jednym z badań doświadczeni nauczyciele akademiccy mieli przewidzieć oceny studentów na koniec pierwszego roku. Z każdym studentem przeprowadzili rozmowę trwającą 45 minut. Przeanalizowali też świadectwa ze szkoły średniej, wyniki testów zdolności, listy motywacyjne. Algorytm wykorzystał tylko wyniki z liceum i test zdolności. Mimo to maszyna okazała się lepsza od 11 z 14 doradców. Dzisiaj rola prognoz wzrosła, przewiduje się wyniki meczów, konklawe, rozwoju sytuacji w strefie Euro, ceny poszczególnych roczników wina –  zawsze eksperci mają podobną lub gorszą trafność niż algorytmy, które są znacznie tańsze.

 
A może eksperci wypadają lepiej prognozując bardziej długodystansowe i złożone kwestie? Też nie bardzo. Filip Tetlock przez 12 lat zbierał opinię uznanych ekspertów od polityki, gospodarki i wojskowości. Liczba badanych przez niego ekspertów przekroczyła 200, a liczba prognoz – 5000 przypadków. Wszyscy byli uznanymi profesorami, doktorantami, analitykami rządowymi, dziennikarzami specjalizującymi się w regionie, którego dotyczyło przewidywanie. Po pięciu czy dziesięciu latach od postawienia prognozy, ich przewidywania  czy dotyczące tego czy w 1993 roku upadnie ZSRR albo czy do 1996 roku przetrwa Unia Europejska były tylko nieznacznie lepsze od typów losowych. Co więcej, eksperci Ci przypisywali swoim prognozom dużo większą trafność niż faktycznie było. Najczęściej szacowali, że trafią w 80 proc., choć w rzeczywistości mieli tylko 45 proc. skuteczność. Sam pamiętam, że w 1993 roku eksperci CIA przewidywali, że do końca lat 90. Ukraina rozpadnie się na dwa państwa czyli prorosyjski wschód i proeuropejski zachód.

 
Oznacza to, że w stawianiu wielu prognoz lepsze są algorytmy, których nie lubimy przez silnie zakorzenioną obawę przez tym co sztuczne i syntetyczne. Zawsze wybierzemy rzeczy naturalne. Gdy Garri Kasparow grał  w szachy z komputerem Deep Blue, naturalnie nasza sympatia była po  stronie człowieka. Wolimy jedzenie naturalne od sztucznego, co z kolei wykorzystują producenci wędlin („Wędliny takie jak kiedyś” – a wiadomo, że kiedyś były naturalne) czy wody mineralnej („Czystość z pierwotnej natury”).

 

Dlaczego algorytm często wygrywa z ekspertem? Według Paula Meehla eksperci za bardzo kombinują, uwzględniając złożoną wiedzę, myślą całościowo rozpatrując wiele zmiennych, co czasem się sprawdza, ale najczęściej prowadzi do błędnych prognoz. A lepiej oceniać proste kombinacje elementów. Co więcej, ludzie często są niekonsekwentni, wyciągają inne wnioski z tych samych złożonych informacji. Aż 20 proc. doświadczonych radiologów, za drugim razem ocenia zdjęcie rentgenowskie klatki piersiowej inaczej niż kiedy widzą je po raz pierwszy.

Ten wpis został opublikowany w kategorii Media, Psychologia konsumenta i oznaczony tagami , , , , , . Dodaj zakładkę do bezpośredniego odnośnika.

4 odpowiedzi na „Dlaczego eksperci najczęściej zawodzą?

  1. Chris pisze:

    Kluczowe jest, że maszyny nie da się zaprosić do programu tv czy radiowego. Maszyna, być może, poda bardziej prawdopodobne (nacisk na to słowo) prognozy, ale nie będzie ich umiała ciekawie uzasadnić. Co więcej… nie sposób obwinić maszyny o złe prognozy, a człowieka, jeśli źle doradzi, można opluć a nawet powiesić…

    Sam widzisz, że człowiek, choć mylniejszy w wyborach, ocenach i podpowiedziach, znacznie atrakcyjniejszy społecznie jest.

    A tak zupełnie poważnie.
    Gdyby prognozowanie sukcesów było taką bułką z masłem, że byle komputer mógłby wyliczyć co wygramy i z kim…

    .. nie byłoby wojen, głodu, biedy, sekskandali, nieudanych małżeństw i paru innych drobiazgów, które są prostą konsekwencją niedoskonałości człowieka.

  2. Jakub Müller pisze:

    No tak, nie da się organizować walk kogutów w studiach telewizyjnych z udziałem maszyn, tak jak w przypadku polityków i ekspertów http://www.youtube.com/watch?v=lZtTOEa-Suk 😉

    Nie mówię o prognozowaniu, że stuprocentową trafnością, tylko o niedoskonałości ekspertów. Komputer nie sprawdzi się w prognozach, gdzie jest mnóstwo zmiennych i wynik też nie jest jednoznaczny. Nie odpowie np. jak zarządzać firmą, ale na pytanie o wynik meczu odpowie prawdopodobnie nie gorzej niż ekspert. Przecież w szacowaniu wyników w nauce studentów, o którym pisałem, też w grę wchodzi ludzka niedoskonałość, a jednak algorytmy były lepsze od uczelnianych ekspertów.

    Jeśli chodzi o szacowanie powodzenie małżeństwa to owszem, podobno próbowano. Opracowano wzór, który miał to wskazać powodzenie związku: liczba stosunków seksualnych – liczba kłótni. Nie znam rezultatów 🙂

  3. Widzę, że „eksperci” trochę Cię wkurzyli 😉 Cały czas się zastanawiam, czy winni są wspomniani „eksperci”, czy dziennikarze… I dochodzę do wniosku, że chyba dziennikarze i wydawcy, którzy takich ekspertów do programów zapraszają. Ja też po konklawe o ekspertach napisałem: http://trescjestnajwazniejsza.pl/index.php/konklawe-w-mediach-nagly-wysyp-ekspertow/

  4. Jakub Müller pisze:

    Jasne, dziennikarze chętnie zapraszają tych, którzy mówią wyraziście – w ostatnich „Nowych Mediach” pisał o tym wprost Tomasz Sekielski. Jeśli chodzi o prawdziwych ekspertów to nie rozpatrywałbym tego w kategoriach winy czy jej braku. Ich pomyłki wynikają po prostu z ułomności ludzkiej natury, gdy mamy do czynienia ze złożonymi informacjami. No bo jak wytłumaczyć rozbieżne wnioski doświadczonych radiologów?

Dodaj komentarz

Twój adres email nie zostanie opublikowany.