W piątkowej GW na pierwszej stronie tytuł: jest szczepionka na HIV! Cytowane są nawet konkretne dane: 16,000 testowanych, 51 osób HIV+ w grupie zaszczepionych, 74 HIV+ w grupie kontrolnej; redukcja zakażenia o 31%! Um, pomyślałem. Huh, pomyślałem. Czy to jest istotne statystycznie?

Na obrazku: Sensacyjny tytuł z gazety wyborczej. Czy ktoś mógłby mi przesłać skan papierowej pierwszej strony z tym doniesieniem?

Zanim przejdę do statystyki, jedna rzecz: o co w tych badaniach chodziło. Oficjalnie badania określone były mianem “testów fazy III”, ale tak naprawdę nie chodziło o to, żeby przetestować klinicznie konkretną szczepionkę na HIV, aby potem ją stosować w praktyce. Chodziło głównie o to, żeby sprawdzić, czy są jakiekolwiek przesłanki ku temu, że szczepionka na HIV może w ogóle istnieć. Innymi słowy, jakikolwiek pozytywny wynik, nawet bardzo słaby, byłby już dużym osiągnięciem, a określenie “faza III” oznacza wyłącznie, że testowano ją na dużej grupie ludzi.

Żeby policzyć istotność statystyczną wyników badań, trzeba wiedzieć, ile pacjentów było w każdej grupie (bo jeśli np. w grupie kontrolnej było tylko tysiąc osób, to wyniki rzeczywiście byłyby sensacyjne). Okazuje się, że grupa kontrolna stanowiła mniej więcej połowę z 16395 badanych: 8198 w grupie zaszczepionych, 8197 w grupie placebo. Stosując prosty test na proporcje (chi kwadrat) otrzymujemy wynik *p=*0.048. Innymi słowy, prawdopodobieństwo, że zaobserowane różnice wynikają z przypadku wynosi prawie 0.05.

To jest na granicy istotności statystycznej. Próg 0.05 coraz rzadziej jest stosowany w pracach naukowych – bo jest dość liberalny, i można oczekiwać że średnio jeden na dwadzieścia testów przeprowadzonych na tym progu będzie obarczony błędem pierwszego rodzaju – czyli wykryje istotność tam, gdzie jej nie ma. Wynik jest, rzekłbym, zachęcający w kontekście pytania “czy szczepionka na HIV w ogóle może powstać”, ale nie zasługuje na przesadne doniesienia prasowe.

Druga sprawa: prasa doniosła, że szczepionka redukuje prawdopodobieństwo transmisji wirusa HIV o jedną trzecią. Czy to prawda? Jasne, różnica w proporcjach 74/8198 - 51/8197 w stosunku do 74/8198 to 31 %. Ale jaki jest błąd standardowy tego oszacowania? Błąd standardowy i przedział ufności także łatwo policzyć. Okazuje się, że przedział ufności oszacowania w przeliczeniu wynosi od 1% do 61%. Innymi słowy, na 95% redukcja transmisji leży gdzieś między 1% a 61%… ale jakby to wyglądało, gdyby napisano: 31+-30 procent!

Moim zdaniem, od tych danych ciekawsza będzie inna kwestia – czy istnieją istotne różnice między poziomami wirusa u osób zaszczepionych i osób z grupy kontrolnej. Jeśli tak, to będę skłonny uwierzyć, że to naprawdę sensacja. Jeśli nie, to przedwczesne i wyolbrzymione doniesienia zaszkodzą wszystkim, którzy nad szczepionką pracują.

Jest jeszcze jeden aspekt całej historii. Otóż badania nie należały do tanich, kosztowały jakieś 120 milionów dolarów, bynajmniej nie z kieszeni firm produkujących szczepionkę. W styczniu 2004 roku ukazał się w Science tekst poddający krytyce sensowność tych badań, podpisany przez dwudziestu dwóch wybitnych specjalistów. Napisali oni m.in.:

We have recently seen two large phase III trials of immunogens that, all too predictably, failed to generate protective immunity (1, 2). We seriously question whether it is sensible now to conduct a third trial that, in our opinion, is no more likely to generate a meaningful level of protection against infection or disease. One price for repetitive failure could be crucial erosion of confidence by the public and politicians in our capability of developing an effective AIDS vaccine collectively. This seems to us to be another readily predictable scenario that is best prevented.

Rzecz jasna, opinie naukowców były podzielone, jeśli ktoś ma dostęp do Science, to może całą debatę przeczytać tutaj. Tym niemniej jednak warto pamiętać o tych zastrzeżeniach – przesadzone informacje w prasie są zapewne dyktowane obawą przed opisanym wyżej scenariuszem.

EDIT1: nie stwierdzono różnicy w poziomie wirusa w obu grupach. Jednak nie jest to jeszcze katastrofa – teraz nadchodzi czas szczegółowych analiz zgromadzonych próbek.

EDIT2: W ostatnim Science jest notka na temat tej szczepionki i zwiazanych z eksperymentem kontrowersji. Trochę bardziej stonowany niż tekst powyżej:

Even skeptics are careful not to rain on the parade. “Looking at the numbers, it’s underwhelming to me,” says Ronald Desrosiers, head of the New England Primate Research Center in Southborough, Massachusetts. “But I want to sit tight and get a bunch of people to do analyses and see whether the protective effect holds up.” Desrosiers was one of 22 researchers who argued in a Science Policy Forum that the study never should have been launched (Science, 16 January 2004, p. 316).

Komentarze

Original post