Komentarz: Izabela, 2017-06-06 16:04:08:

Poczepiam się trochę współautorki, i to nie statystycznie. Statystycznie potem. it rubs me the wrong way, or it rubs me up the wrong way - synonimy: “aggravate, annoy, bug, disturb” rub off znaczy “be transferred by contact or association” e.g. when parents are having a hard time, their tension can easily rub off on the kids.

Chyba autorka miała na myśli pierwsze znaczenie.

Komentarz: Izabela, 2017-06-06 21:11:52:

Przepraszam za czepialstwo, teraz merytorycznie.

ślepe stosowanie wartości p uważa się za jedno ze źródeł kryzysu powtarzalności wyników

Zgadzam się, ale z naciskiem na “ślepe”. Ślepe stosowanie czegokolwiek będzie problemem, a czy to jest p-value czy przedziały ufności, to już rzecz drugorzędna. To trochę jak leczenie symptomów. Ale może przyniesie chwilową ulgę. A prawdziwym problemem jest nieznajomość (czy lepiej niezrozumienie) pojęć statystycznych.

Psychologia miała ostatnio wyjątkowo złą prasę, te kilka przykładów (z renomowanych magazynów), to jest po prosu naukowy nonsens, gibberish. Wpływ urody rodziców na płeć dziecka. Wpływ menstruacji na kolor ubrania, czy preferencje wyborcze. I tym podobne bzdety. Na swym blogu częstokroć pomstował na to Andrew Gelman. Powiedziałabym “it rubbed him the wrong way”. Nawiasem mówiąc to bardzo dobry statystyczny blog (światowej klasy bezjanisty i profesora socjologii w jednym), więc jak ktoś chce więcej szczegółów to najlepiej u niego.

Autorzy na wszelką krytykę mówią, ale przecież p-value jest 0.05, więc o co chodzi. Więc teraz im się ten argument odbierze, ale jeśli recenzenci nadal będą niekompetentni, to szybko znajdzie się inny wytrych.

A głowne argumenty krytyków to:

• Power testu jest za mały (czyli prawdopodobieństwo wykrycia efektu jeśli on tam jest), po prostu za mała próbka na tak mały efekt
• data fishing, p-hacking, multiple testing, inaczej “garden of forking paths”
• it’s all noise

To wszystko powinien zauważyć recenzent, bez uciekania się do zbanowania wartości p. Ale może teraz chociaż zauważą że parametry nie są “statistically significant”.

A czy p-value ma być 0.05? Czy może 0.01? To nie jest przecież jakaś stała fizyczna, tylko zwykłe prawdopodobieństwo popełnienie błędu typu I. Bo ten błąd (w naszej cywilizacji przynajmniej) staramy się kontrolować.

Komentarz: kwik, 2017-06-07 04:26:59:

Już po jednym z tagów widać, że potrzebujesz wsparcia moralnego. Na statystyce się co prawda nie znam, ale z grubsza rozumiem w czym problem. Colquhoun wrzucił niedawno na biorxiv The Reproducibility Of Research And The Misinterpretation Of P Values, jeśli nie widziałeś to może rzuć okiem.

Chodzenie na skróty czy po linii najmniejszego oporu niekoniecznie wynika z cynizmu/oportunizmu, wystarczy mieć inne priorytety. Np. można uważać że są dużo ciekawsze zajęcia niż użeranie się z niechętnymi czy niedouczonymi recenzentami. Współautorka delikatnie Ciebie ostrzega, że nie ma na to ochoty. Ale przecież niczego nie krytykuje, przynajmniej nie w cytowanym fragmencie. Masz wolną rękę. Oczywiście każdy chciałby, żeby inni ochoczo brali udział w jego krucjacie, ale nie wypada tego wymagać.

Komentarz: January, 2017-06-09 12:35:13:

Zgadzam się z wszystkim co piszesz, jednak mi chodziło o coś trochę innego – o odróżnianie estymacji od testowania; o zapobieżenie automatycznemu testowaniu hipotezy statystycznej za każdym razem, kiedy coś mierzę. Pewien rodzaj naukowców jak zmierzy pięć wartości, to zrobi pięć porównań każdej z nich z zerem, a potem jeszcze 5(5-1)/2, bo porówna każdy z każdym (i zrobi barplota z gwiazdkami).

Ale tak naprawdę to nawet nie o to chodzi; tylko o to, że ze strachu przed recenzentem jesteśmy gotowi do porzucenia drogi, którą uważamy za właściwszą. A najgorsze jest to, że oni (bo to nie jest tylko moja koleżanka) mają rację. Konformizm w nauce się opłaca.

Komentarz: January, 2017-06-09 12:43:44:

Nie czytałem jeszcze tego Colquhouna, ale sądząc z abstraktu, czy to nie jest to samo, co już napisał?

Gdyby chodziło o użeranie się, to można by wysłać pracę do PLoS ONE. Z tego, że zamierzamy ją wysłać do czasopisma z wyższej półki wynika, że jednak łatwość publikacji nie jest głównym priorytetem. Albo chcemy napisać artykuł wysokiej jakości; albo chcemy zrobić to minimalnym wysiłkiem.

Zresztą, to, co piszesz, pasuje do obrazu naukowca, dla którego proces recenzyjny to jedynie niepotrzebna upierdliwość.

Wolnej ręki nie mam, nikt z nas nie ma, nie przy takich projektach, niestety. Albo się dogadamy, wszyscy kluczowi naukowcy, albo nie będzie pracy.

Komentarz: kwik, 2017-06-09 17:12:58:

W zasadzie pewnie to samo, już na początku sam się cytuje (Colquhoun, 2014, An investigation of the false discovery rate and the misinterpretation of p-values) ale skoro odczuwał silną potrzebę napisania jeszcze raz, to może miał powody.

Nie wiem jak w czasopismach z najwyżej półki, może tam każdy recenzent też jest najwyższej jakości i zgłasza wyłącznie sensowne uwagi. Ale tym bardziej, przecież taki recenzent na pewno nie będzie się czepiał statystyki zrobionej porządniej niż zwykle, więc w czym problem.

Z peer review (wbrew nazwie) największy pożytek jest wtedy, gdy recenzenci są jednak mądrzejsi od autorów recenzowanej pracy. Niestety trudno na to liczyć, częściej zdarza się, że recenzenci nie siedzą w temacie albo nie są na bieżąco, więc wysilają się na oderwane od rzeczywistości uwagi “warto jeszcze zrobić cośtam”, z reguły w kierunku w którym sami czują się mocni. Zmorą każdego przeciętnego naukowca jest dorabianie doświadczeń na żądanie upierdliwego recenzenta.

Może szkoda że już na początku nie umówiliście się co do podziału kompetencji, że np. jeśli chodzi o statystykę to Ty będziesz decydować bo lubisz i masz w małym palcu. Przy dłuższej współpracy to samo wychodzi.

Komentarz: gszczepa, 2017-06-19 18:00:13:

Błagam, co znaczy słowo “bezjanista” ? (gugiel nie pokazuje innych trafień niż ten blog, szukałem!)

Komentarz: kwik, 2017-06-20 02:17:33:

@ bezjanista - z hasła w Wikipedii: “Gelman is a practitioner of Bayesian statistics”, więc intencja jest oczywista. Gelman to bayesjanista, a jak to się naprawdę powinno pisać po polsku to już nie na temat, zresztą sam piszesz gugiel.

Komentarz: gszczepa, 2017-06-20 06:26:30:

Dzięki!

Komentarz: January, 2017-06-20 06:59:47:

Właśnie miałem napisać “matematyk, który lubi bezy” ale zostałem wyprzedzony…

Komentarz: January, 2017-06-20 07:02:11:

W dużej mierze decyduję, ale to i tak nie o to chodzi, tylko o dość późne odkrycie kto robi karierę, a kto nie. Bo najgorsze w tym wszystkim jest to, że oni oczywiście mają rację; tak, uproszczenie przekazu, użycie błędnych (ale zwyczajowych) sformułowań oczywiście zwiększa nasze szanse na publikację w czasopiśmie z górnej półki.

Komentarz: kwik, 2017-06-20 18:22:59:

Jeśli nie ucierpi na tym meritum to rozsądny kompromis między precyzją i zasięgiem przekazu jest najprostszym rozwiązaniem. Użycie błędnych zwyczajowych sformułowań można załatwić wyjaśnieniami w odnośniku. Albo odesłać do materiałów dodatkowych i tam się popisać erudycją, naprawdę zainteresowani na pewno tam dotrą.