As such, [the research] was consistent with Facebook’s Data Use Policy, to which all users agree prior to creating an account on Facebook, constituting informed consent for this research."

“Experimental evidence of massive-scale emotional contagion through social networks”, Kramer et al., PNAS 2014

Autorzy badali propagację stanów emocjonalnych przez Facebooka. Ponieważ pierwszy autor (Kramer) pracuje w Core Data Science Team Facebooka, autorzy mieli bezpośredni dostęp “od kuchni”. Dlatego pewnie nie zadowolili się analizą, ale przeprowadzili na użytkownikach FB doświadczenie, manipulując ich newsfeedem. Artykuł bardzo mnie uradował, bo już dawno szukałem tak wyraźnego przykładu pewnego błędu w interpretacji statystycznych testów. A tu mam dwa w jednym.

Eksperyment na użytkownikach przeprowadzono w styczniu 2012. Newsfeed FB jak wiadomo zawiera tylko część wiadomości od użytkowników; które wiadomości (statusy) trafiają do newsfeeda danego użytkownika – o tym decyduje algorytm Facebooka. Eksperyment polegał na manipulowaniu newsfeedem tak, by u jednych użytkowników newsfeed zawierał więcej negatywnych treści, a u innych – mniej. O tym, jakie treści są negatywne, a jakie nie, decydował program zwany LIWC. Mniejsza o to, do jakiego stopnia prawidłowo.

Wybrano dwie grupy użytkowników i odpowiadające im grupy kontrolne. Zależnie od grupy, newsfeedy wybranych użytkowników albo były zubożane w treści emocjonalnie “negatywne”, albo “pozytywne” (tzn. treści, które LIWC ocenił jako takie). Grupa kontrolna również była zubożana, ale całkowicie losowo.

Pytanie, które postawili sobie uczeni, było proste: czy osoby, których newsfeed jest uboższy w treści pozytywne, będą produkowały wiadomości, które też są uboższe w treści pozytywne? I odwrotnie – czy ci, którzy dostają mniej negatywnych wiadomości, będą też pisali mniej negatywnych statusów? Znów, to LIWC oceniał które treści są pozytywne, a które negatywne.

Poniższy wykres ilustruje wyniki w pracy Kramera. Będę go w przyszłości używał w uczeniu statystyki: jak nie prezentować wyników naukowych.

Wygląda pięknie, prawda? W grupie ze zmniejszoną częstością treści negatywnych (lewy panel, jasny słupek) użytkownicy częściej niż w grupie kontrolnej (ciemny słupek) pisali statusy zawierające pozytywne słowa. W grupie ze zmniejszoną częstością treści pozytywnych w newsfeedzie (prawy panel, jasny słupek) użytkownicy rzadziej pisali statusy zawierające pozytywne słowa. Odwrotnie było w przypadku słów negatywnych (tej części rysunku nie widać powyżej).

Niestety, wykres ten grzeszy, i to po trzykroć.

1. Wykresy słupkowe kłamią, oszukują i manipulują. Samo użycie wykresu słupkowego to pierwszy grzech. Zacznijmy od tego, że na pewno nie mamy do czynienia z rozkładem normalnym. Najprawdopodobniej będzie niewielu użytkowników, którzy generują dużo treści, i całe mnóstwo takich, którzy generują mało[*]. Takiej informacji wykres słupkowy nie potrafi pokazać! Dlatego zaleca się stosowanie wykresów pudełkowych czy wiolinowych (Evanko 2014). Trzy diagramy poniżej przedstawiają te same dwie grupy danych (dane są “zmyślone”, tzn. wygenerowane losowo przeze mnie).

• Po lewej po prostu naniesione są poszczególne dane (“dot plot”). Widać, że obie grupy bardzo się różnią. Ta po prawej “ciąży” do dołu. To znakomity sposób ilustracji danych, ale można go stosować tylko jeśli ich nie jest zbyt wiele.

• Pośrodku wykres słupkowy (bar plot). Słupki są prawie identyczne, bo średnie i odchylenia standardowe są w obu grupach niemal takie same. Wąsy odpowiadają błędom standardowym.

• Po prawej wykres pudełkowy.

W wykresie pudełkowym gruba linia to tzw. mediana. Mediana to wartość, która dzieli pewien zbiór wartości na połowę. Np. w zbiorze 1, 2, 10, 100, 1000, mediana to 10, bo po obu stronach dziesiątki jest tyle samo liczb. Mediana bywa bardzo pożyteczna, jeśli nasze dane nie są normalne.

Przykład. W pewnej fabryce wszyscy pracownicy (a jest ich stu) zarabiają tysiąc złotych miesięcznie, z wyjątkiem CEO, który zarabia milion. Która wartość jest bardziej pożyteczna, by CEO zrozumiał, dlaczego go nienawidzą: średnia arytmetyczna, która wynosi ponad dziesięć tysięcy, czy mediana, która wynosi tysiąc?

2. Podobnie rzecz się ma z drugim parametrem, który opisują wąsy. Nie będę się tu dłużej rozwodził, bo to temat na osobną notkę, i nie chcę pokazywać palcem, ale niektórzy naukowcy używają błędu standardowego na wykresach po to, żeby lepiej wyglądały. Użycie błędu standardowego jest drugim grzechem tego wykresu. Błąd standardowy nie opisuje mianowicie prawdziwej zmienności danych, lecz precyzję, z jaką obliczyliśmy pewien określony parametr rozkładu (średnią). Im większą próbkę mamy, tym mniejsze będą wąsy, bo błąd standardowy to odchylenie standardowe podzielone przez pierwiastek z wielkości próby. Oczywiście, jak się bada miliony danych z Facebooka, to te wąsy zawsze będą małe – ale to nie oznacza, że zmienność samych danych jest mała. Gówno wiemy jaka jest ta zmienność, bo z błędu standardowego się nie dowiemy jeśli nie wiemy jakie było N (wielkość próby).

Poniżej wylosowałem dwie grupy wartości. Obie próbki pochodzą z tego samego rozkładu normalnego i mają podobne średnie i odchylenia standardowe. Jak widać na wykresie po lewej (w którym wykres pudełkowy połączony jest z wykresem punktowym), rozrzut jest mniej więcej taki sam – tyle, że w drugiej grupie jest więcej “pomiarów”. Natomiast obliczone błędy standardowe są różne. Przez zastosowanie innej skali i użycie błędu standardowego uzyskałem całkiem przekonywujący obrazek.

Dla odpowiednio dużej próby, błąd standardowy można zredukować praktycznie do zera. Co oznacza, że nawet najmniejszą, tycią, tyciusięńką różnicę można wykryć, jeśli tylko zbierzemy odpowiednią liczbę danych.

3. No właśnie. Skala. Widzicie różnicę między grupą kontrolną i eksperymentalną na pierwszym wykresie, prawda? Spójrzcie jeszcze raz. Popatrzcie na skalę: zaczyna się przy pięć procent słów o określonym ładunku emocjonalnym, a kończy na pięć, przecinek cztery. Różnica między grupą kontrolną i eksperymentalną po prawej stronie wynosi mniej niż 0.2 punkta procentowego.

To trzeci grzech wykresu. Wykresy słupkowe mają swoje zastosowania, i pokazywanie proporcji jest jednym z nich, ale nie wolno w nich manipulować skalą. Wykres pudełkowy będzie wyglądał podobnie niezależnie od skali; ale ponieważ względna wielkość słupków i pokolorowanej powierzchni słupka zmienia się w zależności od tego, jak obierzemy skalę, łatwo manipulować percepcją różnic między słupkami przez dobieranie skali. Dlatego też wykresy słupkowe powinno się stosować tylko wówczas, gdy mamy do czynienia z danymi takimi jak proporcje, i wtedy skala powinna zaczynać się przy zerze.

Widać więc, że jeśli nawet różnice są istotne statystycznie, to przecież są bardzo małe. To jest zasadniczy problem tego artykułu. “Istotny statystycznie” to nie to samo co “istotny”. Jasne, że przy olbrzymiej liczbie osób, które poddano eksperymentowi, nawet minimalny efekt zostanie wykryty – im większa wielkość próby, tym czulszym narzędziem jest test statystyczny. Ale czy takie różnice mają w ogóle jakieś znaczenie? Autorzy sądzą, że tak, piszą:

And after all, an effect size of d=0.001 at Facebook’s scale is not negligible: In early 2013, this would have corresponded to hundreds of thousands of emotion expressions in status updates per day.

Duh, łatwo jest imponować dużymi liczbami. Ale nie oszukujmy się, po to właśnie korzysta się z wielkości efektu, żeby dać odpór takim sytuacjom: w artykule przecież analizowano setki milionów słów. Nie przeczę, że odkryto różnicę między grupami, ale autorzy użyli bardzo czułych narzędzi statystycznych i olbrzymiej próby – nic dziwnego, że nawet malutkie różnice wyglądają istotnie.

[*] Są też bardziej matematyczne powody żeby tak sądzić. Jako że słowa rozpoznawane przez LIWC jako negatywne czy pozytywne trafiają się rzadko, ich liczba w postach danego użytkownika będzie miała rozkład Poissona mocno przesunięty w lewo. Potwierdzają to – nie wprost – autorzy artykułu, którzy w innym miejscu stosowali regresję Poissona.

Komentarze

Original post