Szukanie i czytanie artykułów naukowych
- 12 minut czytania - 2476 słów [Nauka] , [Misc] , [tl;dr]…czasem spędzenie kilku miesięcy w laboratorium oszczędzi pójścia na pół godziny do biblioteki
Żyjemy w pięknych czasach: prawie cała literatura naukowa – przynajmniej w naukach przyrodniczych – dostępna jest online. A coraz więcej ważnych artykułów w ogóle jest za darmo dzięki czasopismom open access. Po co czytać artykuły naukowe?
- Artykuły naukowe zmuszają do większej staranności i precyzji niż artykuły popularnonaukowe czy prasówki. Każdy artykuł naukowy został przynajmniej raz, a najczęściej dwa razy zrecenzowany przez anonimowego recenzenta – często innego, zazdrosnego naukowca. Artykuł naukowy musi rozdzielać wyniki od ich interpretacji i od spekulacji, prezentować ze szczegółami wszystkie wyniki i metody itd.
- Wydobywają na światło dzienne rzeczy, z których autorzy nie zawsze są dumni, np. rzeczywistą wielkość obserwowanego efektu albo konkretną grupę, w której go zaobserwowano (np. “jedzenie X zmniejsza zachorowywalność na raka!” zamienia się w “jedzenie X zmniejszyło szansę zachorowania na raka tarczycy o 1% wśród pacjentów pracujących w rosyjskich elektrowniach jądrowych. Efekt nie był istotny statystycznie”).
Najczęściej spuszczają powietrze z nadętych tez stawianych przez wydział prasowy uczelni albo brukowce (zresztą czasem brukowce, a w każdym razie gazety bywają nawet rzetelniejsze).
Umożliwiają osadzenie artykułu w kontekście: kto już wcześniej co odkrył, co jest naprawdę nowego. Doniesienia prasowe o niedawnym odkryciu paleontologicznym w Birmie zdawały się sugerować przełom. Tymczasem przełom został dokonany już lata temu przez kogo innego (Chrisa Bearda), i to właśnie prace Bearda są warte większej uwagi.
Do szukania literatury najczęściej używa się PubMedu albo Google Scholar. Osobiście wolę Scholara, m.in. dlatego, że łatwo odnaleźć artykuły cytujące jakiś artykuł. Samo szukanie nie jest trudniejsze od googlania, ale warto wiedzieć o paru rzeczach.
Najszybsza metoda czytania pracy naukowej: przeczytać ostatnie zdanie streszczenia (abstraktu). Jeśli autorzy naprawdę coś ciekawego odkryli, mieli konkretną hipotezę, mogą wyciągnąć wyraźne wnioski, to najczęściej odnajdzie się to pod koniec abstraktu. Jeśli pod koniec abstraktu jest ogólnik (“our research furthers the knowledge of transcription in M. pneumoniae”), to zapewne nic konkretnego czy ciekawego nie wyszło. Metoda nie jest stuprocentowa (daleko od tego).
Przeglądówki (reviews) nie tylko są warte czytania same dla siebie, ale są też nieocenionym źródłem odnośników do oryginalnych publikacji.
Liczba cytowań publikacji (tzn. ile razy artykuł został cytowany przez inne artykuły) koreluje do pewnego stopnia z wagą i wartością artykułu.
Jest oczywiście cała masa wartościowych artykułów, które nie doczekały się licznych cytowań.
Wysoka liczba cytowań jest bardziej pewną informacją niż niska, tzn. wysoka liczba cytowań świadczy najczęściej o tym, że artykuł jest dobry lub ważny, ale odwrotnie słabiej to działa. Niska liczba cytowań nie musi świadczyć o tym, że artykuł jest do niczego. Niestety, artykuły naukowe też poddane są “power law”: kilka najczęściej cytowanych prac zbiera najwięcej odnośników, gdy tysiące innych prac – wcale nie aż o tyle gorszych – zbierają tylko po parę cytowań.
W różnych dziedzinach słowa “wiele cytowań” mogą oznaczać różne rzeczy; np. w medycynie liczba cytowań artykułu zazwyczaj jest bardzo wysoka, a na przykład w astrofizyce – dość niska
Impact factor czasopisma to średnia liczba cytowań, które uzyskuje praca opublikowana w tym czasopiśmie.
Nie wszystkie artykuły w Nature są znakomite. I odwrotnie, bywa że znakomite lub bardzo ważne publikacje ukazują się w niszowych czasopismach. Słynna praca Manfreda Eigena i Petera Schustera, “A principle of natural self-organization” ukazała się w “Naturwissenschaften” (impact factor 2.5), ale zebrała – wg. google scholar – prawie dwa i pół tysiąca cytowań. Ale to jeszcze nic: praca opisująca algorytm BLAST (basic local alignment and search tool) ma ponad czterdzieści tysięcy cytowań, a ukazała się w Journal of Molecular Biology (impact factor 4). Dzięki Open Access waga przesuwa się z impact factora czasopisma do liczby cytowań konkretnego artykułu.
Takie przypadki są jednak rzadkie; jeśli się widzi pracę o rewolucyjnych wnioskach opublikowaną w jakimś tajemniczym czasopiśmie o impact factor bliskim jedności, to nie ma niczego złego w byciu podejrzliwym.
Zwłaszcza, jeśli na liście autorów jest przynajmniej jedno znane nazwisko ze znaczną liczbą dobrze cytowanych pracy. Praca nikomu nieznanego naukowca nie będzie miała dużych szans dostać się od razu do Nature; trzeba przejść pośrednie etapy publikując w nieco bardziej specjalistycznych czasopismach. Ale jeśli “big shot” z doświadczeniem, bagażem dobrych publikacji i koneksjami publikuje przełomową pracę w jakimś niskoimpaktowym czasopiśmie, to coś tu nie gra.
- Nature i Science są bardzo znane i popularne, ale nawet nie są najwyżej impaktowanymi czasopismami. Poza tym w każdej, choćby bardzo małej dziedzinie istnieje jakieś czasopismo (albo kilka), które w obrębie tej dziedziny mają zasłużoną renomę. Stosunkowo niski impact factor “Bioinformatics” nie oddaje sprawiedliwości prestiżowi tego pisma. Niestety, po prostu trzeba to wiedzieć, albo sprawdzić w ISI (jeśli ma się dostęp).
Wyszukiwanie po odnośnikach w przód. Każdy artykuł opiera się na wielu wcześniejszych artykułach, i odwrotnie, jest cytowany przez inne. Jeśli interesują nas wnioski płynące z pewnego artykułu, to trzeba sprawdzić, co piszą (i w jakim kontekście) artykuły, które go cytują. Często po prostu będą się do niego odwoływały we wstępie, ale bywa, że będą z nim polemizowały czy wręcz obalały przedstawione tam wnioski. Czasami prace o błędnych wnioskach są bardzo wysoko cytowane; praca Fleischmanna i Ponsa o zimnej fuzji ma ponad tysiąc cytowań.
Żeby samemu cytować jakąś pracę, trzeba ją przeczytać. W trakcie szukania literatury często czytam prace po łebkach, może nawet same streszczenia. Ale jeśli się chce zacytować taką pracę (nawet w prywatnej rozmowie), to trzeba ją przeczytać: zdarza się, że abstrakt jest mylący, albo zbyt optymistyczny. Często bywa tak, że – nie znając języka konkretnej dziedziny – abstrakt się źle zrozumiało. Dla mnie to jest męka, bo mam tendencję do czytania byle jak byle dużo, ale nie ma przebacz. Bywa, że nie ma dostępu do pracy, którą się chce przeczytać; coraz częściej jednak się zdarza, że są wolno dostępne alternatywy (inne prace o podobnych wnioskach).
Najczęściej popełniany błąd to poprzestać na lekturze jednej pracy. Widzę to często u studentów, ale nie tylko. Ktoś robi prezentację na “journal club” (albo wpis na bloga), i referuje tylko jedną pracę, ze wszystkimi szczegółami, ale bez ogarnięcia kontekstu i bez skonfrontowania z innymi wynikami. A zazwyczaj jest przynajmniej jedna inna grupa naukowców zajmująca się dokładnie tą samą tematyką.
Drugi typowy błąd to traktowanie pracy jak objawienia albo dzieła geniusza. Mnóstwo prac – w tym bardzo dobrych – została napisana przez takich samych studentów i doktorantów jak czytelnik; zresztą, profesorzy nierzadko też publikują poza swoją dziedziną. Prace często są pisane na chybcika, “pod recenzentów” (zwłaszcza, jeśli trzeba było korygować manuskrypt zgodnie z zaleceniami recenzenta), bez ładu i składu bo termin grantu goni, każdy stara się też sprawić, żeby praca była możliwie “seksowna”. Sposoby manipulacji – świadomej i nieświadomej – wyników to temat na osobną notkę. W mojej dziedzinie, na ile moge to ocenić, błędy w planowaniu eksperymentów i statystycznej obróbce są nagminne, choć nie zawsze mają większe znaczenie. Niedawno w Nature Neuroscience ukazała się praca poświęcona pewnemu konkrentemu rodzajowi błędu statystycznego. Autorzy zbadali kilkaset publikacji z czasopism z górnej półki. Okazało się, że z tych, w których była szansa na popełnienie tego błędu, połowa go popełniła.
Nie brać niczego na wiarę. Największą przyjemność z czytania artykułów naukowych mam wtedy, gdy mnie artykuł najpierw wkurzy, a potem przekona. Wtedy, gdy podchodzę do czegoś uprzedzony, doszukując się co zdanie dziury w całym, i gdy artykuł zdoła pokonać moje uprzedzenia, pobić moje argumenty i przeciągnąc mnie na swoją stronę. Niestety, z krytykowaniem też nie należy przesadzać, bo można łatwo paść ofiarą efektu Dunninga-Krugera.
Wykrywanie bulszitu. Z czytaniem artykułów jest trochę jak z recenzowaniem ich: nie można ich tak po prostu odrzucić, jeśli się nie potrafi szczegółowo wypunktować dlaczego. Ale jak już zrobiłem sobie taką listę, i skonfrontowałem ją z artykułem (i ewentualnie artykułami, które są cytowane, i artykułami na ten sam temat), i dalej nie bangla, to może faktycznie jest to bulszit. Bulszitu jest więcej niżby się wydawało.
Komentarze
Komentarz: Ezechiel, 2012-07-09 06:06:36:
Problemem w materiałówce jest też bliskość patentów. Czasami publikacje są ogólnikowe co do metodologii, aby nie zablokować patentu. Cierpi na tym sama jakość badań, bo bez szczegółów ciężko porównać wyniki. Pod tym względem bio ma świetne standardy opisywania preparatyki.
Komentarz: January, 2012-07-09 07:46:07:
W bio też ten problem jest, niestety. I problem z upublicznianiem danych klinicznych; patrz afera z Tamiflu / oseltamivirem: http://summaries.cochrane.org/CD008965/a-review-of-unpublished-regulatory-information-from-trials-of-neuraminidase-inhibitors-tamiflu-oseltamivir-and-relenza-zanamivir-for-influenza
Komentarz: globalnysmietnik, 2012-07-09 09:22:44:
i referuje tylko jedną pracę, ze wszystkimi szczegółami, ale bez ogarnięcia kontekstu i bez skonfrontowania z innymi wynikami.
To poważny problem, można go nazwać “niepotwierdzone wnioski”. Może pamiętasz dyskusję o znaczeniu statystyki, poziomach istotności, przedziałach ufności, korelacji wyników prac naukowych z posiadaniem psa itd.
Istota wszechświata jest taka, że co jakiś czas praca naukowa opierająca się na statystycznym uogólnieniu zjawisk jednostkowych da wyniki “od czapy”, mimo poprawności jej przeprowadzenia. W nauce jest także postęp - badania wykonane “drzewiej” z różnych względów mogą się różnić od obecnych.
Dlaczego to piszę - często mam do czynienia z groźnie sformułowanymi mailami typu: Co ty wypisujesz, może nie wiesz, że w 1996 r opublikowano prace o leczeniu depresji hormonami tarczycy?
Czytając prace naukowe, zwłaszcza te z wnioskami różniącymi się od dotychczasowych ustaleń konieczne jest zadanie sobie pytania: W jaki sposób autor odniósł się do dotychczasowych prac prezentujących wnioski odmienne Jeżeli nijak się nie odniósł - praca może nie mieć istotnego znaczenia.
Komentarz: Ezechiel, 2012-07-09 09:55:58:
W materiałówce jest pewien paradoks. Pewne tematy stają się modne, ale nadal brakuje mocniejszych teorii tłumaczących całość. W efekcie ciężko nawet odnieść się do wcześniejszych prac, bo wiele materiałów jest stosunkowo nowych.
Komentarz: Zaciekawiony, 2012-07-09 17:05:44:
Bardzo ciekawy wpis. Na studiach nie miałem jeszcze sytuacji abym musiał przeglądać najnowsze prace bo to jest potrzebne do wykładu, coś do notki na bloga się zdarzało, no ale na magisterce chyba się będę musiał w grzebaniu wyspecjalizować. Nie masz aby czasem wrażenia, że pewne prace są często cytowane bo są znane? Na przykład mamy dwie prace - jedna z lat 70. która przyczyniła się do odkrycia czynnika X wpływającego na jakąś chorobę i sprawiła że jej autor stał się autorytetem w tej dziedzinie, i druga z lat 90 która udowodniła to samo ale nowszymi technikami i na większej grupie. I jakoś tak w nowych artykułach cytuje się głównie tą pierwszą, bo “jest klasyczna”.
Komentarz: January, 2012-07-09 17:08:59:
Może pamiętasz dyskusję o znaczeniu statystyki, poziomach istotności, przedziałach ufności, korelacji wyników prac naukowych z posiadaniem psa itd.
No właśnie pamiętam, że była, ale za nic nie moge sobie przypomnieć, gdzie.
Jeżeli nijak się nie odniósł – praca może nie mieć istotnego znaczenia.
No ale to też nie zawsze jest tak, prawda? Czasami autor jest leniwy, a wyniki na tyle ciekawe, że przyjmują publikację prawie bez rozsądnego wstępu i dyskusji; radź sobie sam, czytelniku.
Komentarz: January, 2012-07-09 17:14:21:
Bardzo ciekawy wpis. Na studiach nie miałem jeszcze sytuacji abym musiał przeglądać najnowsze prace bo to jest potrzebne do wykładu
Zmuszałem już studentów drugiego roku do czytania prac naukowych i pisania pracek o strukturze pracy naukowej. Dopiero drugiego, bo studentów pierwszego nie uczyłem :-)
Nie masz aby czasem wrażenia, że pewne prace są często cytowane bo są znane?
To jest bardzo ogólne zjawisko, nazywa się “preferential attachment” i uważa się, że w ten sposób powstają sieci typu “scale free”, takie właśnie w których “zwycięzca bierze wszystko”, tzn. górne 1% prac bierze 99% cytowań (czy jakoś tak). I oczywiście mechanizm może być całkiem prosty: lenistwo (bo nową pracę to trzeba byłoby dopiero znaleźć, a starą przejmuje się z odnośników do starszych prac).
Komentarz: January, 2012-07-09 17:16:11:
P.S. Bardzo fajne: http://curioza.blogspot.de/2012/06/nieukowcy.html
Komentarz: globalnysmietnik, 2012-07-10 10:14:09:
No jak to - pod Twoim artykułem o urozmaiconej żywności chroniącej przed rakiem.
Komentarz: January, 2012-07-10 10:31:47:
Jejku, przeczytałem tamtą dyskusję – jaka fajna. I przypomniał mi się prof. Henryk Szarski, którego jeszcze miałem szansę poznać. Szarski do końca życia pisał artykuły naukowe, ale skarżył się, że często przychodzi mu do głowy pomysł, zaczyna szukać literatury, i proszę, znajduje napisany dawno temu artykuł dokładnie na ten sam temat – i sam jest jego autorem. Trochę mam tak z notkami na biokompost, co jest kolejnym dowodem na to, że wszystko, co miałem do powiedzenia, już powiedziałem.
Komentarz: pp, 2013-04-14 15:47:02:
A ja własnie dostaje szewskiej pasji… jestem w trakcie pisania pracy magisterskiej i niestety dostęp do sporej cześci artykłów w pełnej wersji jest ciężki a czasami wręcz nie możliwy dla przeciętnego człowieka!
Komentarz: KW, 2013-04-14 21:05:22:
Dlaczego warto czytać i chodzić do biblioteki? Odpowiedź na http://www.lustrobiblioteki.pl/2013/04/dlaczego-warto-chodzic-do-biblioteki.html
Komentarz: pismak, 2013-04-14 22:08:31:
Inspirujący tekst. “Gnijąc w sieci” zazwyczaj skupiamy się na mainstreamie i blogach. Oldschoolowcy mają jeszcze grupy ale zapominamy - przynajmniej ja to tak widzę po sobie o pierwotnych źródłach. A prace naukowe powinny być cytowane w artykułach popularnonaukowych które czytamy. To jednak rzadkość, ale gdyby było inaczej to może ich popularność znacznie by wzrosła. Co innego bowiem odkrycie a co innego jego interpretacja czy streszczenie. No i oczywiście bariera językowa. Pisma naukowe są najczęściej sztucznie podbijane naukowym językiem by podkreślić ich jakość - tym samym ich przeczytanie jest dość sporym wyzwaniem.
Komentarz: Aleksandra, 2017-10-15 18:36:08:
Witam.
Troche zbaczajac z tematu zapytam: czy masz jakies narzedzia produktywnosci, ktore stosujesz do przerzucania lub filtrowania ton informacji w literaturze naukowej? Zauwazam: czesto wiem, ze powinnam robic jakas rzecz (np.czytac publikacje naukowe), ale czas uplywa i nic sie nie zmienia w tym zakresie. A czesto wystarczy obnizyc koszt w walucie wysilku tylko troche, aby przekroczyc prog. W przypadku czytania publikacji wydaje mi sie, ze pomoglby np. zakup tableta.
I na przyklad artykul ‘A principle of natural self-organization’ bardzo mnie zaciekawil, ale - bedac w domu - nie moge dostac sie do pelnej wersji. Proxy / ssh? Niewygodne. W pracy z reguly jestem zajeta innymi rzeczami. A z przyjemnoscia wzielabym herbate i poczytala ten artykul. I w taki banalny sposob czesto wyrzucam perelki z powrotem w odmety Internetu.
Ponadto mozna argumentowac, ze ograniczony dostep do publikacji naukowych jest w pewnym sensie moralnie nieuzasadniony, jesli zrodlem pieniedzy jest ‘kieszen podatnika’.
Oj, dopiero zauwazylam ze post dosyc stary juz. No nic. Nieczesto sie wypowiadam w sieci, ale Twoj blog mnie zaciekawil i ciesze sie, ze tutaj trafilam.
Komentarz: January, 2017-10-16 13:28:34:
Narzędzia produktywności: po pierwsze, google alerts, wyniki przeszukiwania przysyłane do skrzynki. Po drugie, koleżanki, koledzy, a zwłaszcza doktoranci. Mam od nich więcej artykułów, niż jestem w stanie przeczytać.
Tutaj przechodzimy od narzędzi, które obniżają koszt podjęcia wysiłku, do narzędzi, które Cię kopią w tyłek, żeby ten wysiłek wykonać. A więc, po trzecie, prace, które przysyłają mi do recenzji. Nie chodzi nawet o same prace, ale po pierwsze, zawsze to jest kontakt z innym punktem widzenia czy kręgiem znajomości, w którym często dominują inni autorzy, i jeśli się porządnie podchodzi do tematu, to trzeba te inne prace przeczytać. A największym narzędziem produktywności jest, po czwarte, przyjęcie zlecenia na przeglądówkę :-) chociaż nawet pisanie zwykłego artykułu nieźle może zmotywować. A po piąte, najlepiej to się z kimś na jakiś temat pokłócić, człowiek robi wtedy taki literature research, że proszę siadać.
“ograniczony dostep do publikacji naukowych jest w pewnym sensie moralnie nieuzasadniony, jesli zrodlem pieniedzy jest ‚kieszen podatnika’.” Ba! I dlatego zawsze trzeba kupić open access, bo zazwyczaj koszty za licencję są pomijalne w stosunku do kosztów uzyskania wyników (chyba, że wyniki robi się doktorantami za darmo siedzącymi przy komputerze).