Co jest dowodem dla związków badanych pod kątem poznawczym

Cząsteczka może wykazywać aktywność w teście bezkomórkowym, dawać czysty wynik u myszy i nie wykazywać niczego mierzalnego w randomizowanym badaniu. Żaden z tych trzech wyników nie przeczy pozostałym. Są to odpowiedzi na różne pytania postawione w różnych warunkach, a powtarzającym się błędem w tej literaturze jest traktowanie ich jako jednego kumulującego się zbioru dowodów. To, co stanowi dowód w przypadku związku badanego pod kątem funkcji poznawczych, zależy całkowicie od tego, jakie pytanie dany eksperyment był w stanie zadać oraz od tego, ile miejsca schemat badania pozostawił na to, aby wynik mógł pojawić się przypadkowo.

Ta strona jest mapą kategorii badań nad funkcjami poznawczymi. Przedstawia hierarchię dowodów, typowy sposób zawodzenia na każdym poziomie oraz powód, dla którego większość opublikowanych mechanizmów pozostaje hipotezami, a nie ustalonymi faktami. Dotyczy tego, jak budowane są twierdzenia badawcze i jak się załamują, a nie stosowania u ludzi; zakres dostaw opisano w naszych warunkach dostawy.

Dowód w sprawie związku a funkcje poznawcze - Nonsensia

Dowód nie jest ilością, która kumuluje się w pewność. Jest to zbiór odrębnych twierdzeń, każde o zakresie ustalonym przez eksperyment, który je wygenerował, a twierdzenie nie może być podniesione do szerszego zakresu poprzez częstsze lub bardziej pewne powtarzanie.

Sześć twierdzeń jest rutynowo łączonych w jedno zdanie. To, że cząsteczka wiąże się z izolowanym celem. Że zmienia coś w hodowanych komórkach. Że modyfikuje mierzone zachowanie u gryzoni. Że powoduje zmianę fizjologiczną u ludzi. Że zmienia wynik testu poznawczego u ludzi. I że niezależna grupa odtworzyła którykolwiek z powyższych punktów. Są one uporządkowane według tego, jak bardzo ograniczają to, co dzieje się w nienaruszonym organizmie, a odległość między pierwszym a ostatnim to miejsce, w którym kryje się większość przesadnych twierdzeń.

Słowo, które maskuje to scalenie, jest zazwyczaj czasownikiem. Dla związku hamującego enzym w oczyszczonym preparacie nie wykazano, że hamuje ten enzym w tkance. Dla związku zmieniającego latencję ucieczki w labiryncie nie wykazano wpływu na ludzki konstrukt poznawczy. Eksperyment wyznacza zakres czasownika, a każde podsumowanie, które go poszerza, formułuje twierdzenie, którego dane nie uzasadniają.

Hierarchia dowodów od testu bezkomórkowego do niezależnej replikacji

Każdy szczebel odpowiada na węższe pytanie niż to, które zwykle ma na myśli czytelnik. Zestawienie ich obok siebie uwidacznia te podmiany.

Poziom dowodów	Co eksperyment może ustalić	Czego nie może ustalić	Typowy sposób zawodzenia
Test bezkomórkowy lub wiązania	Że cząsteczka oddziałuje z izolowanym celem w wybranych warunkach	Że interakcja zachodzi w żywej tkance przy osiągalnych stężeniach	Działanie odnotowane przy stężeniach, których żaden organizm by nie osiągnął
Hodowla komórkowa	Że reakcja występuje w jednym typie komórek w określonym podłożu	Znaczenie dla nienaruszonego układu nerwowego z barierami i metabolizmem	Dryf linii komórkowej; brak wchłaniania, dystrybucji i klirensu
Badanie in vivo na gryzoniach	Że grupa otrzymująca związek różniła się od grupy kontrolnej w konkretnym zadaniu	Że zadanie odpowiada jakiemukolwiek ludzkiemu konstruktowi poznawczemu	Małe grupy, nieopisana randomizacja, ocena bez zaślepienia
Małe badanie z udziałem ludzi	Czy efekt wykryto w jednej próbie według jednego protokołu	Stabilna wielkość efektu lub uogólnienie poza tę próbę	Niska moc statystyczna, wiele miar wyniku, wybiórcze raportowanie
Niezależne powtórzenie	Że wynik utrzymuje się w innym zespole i w innych rękach	Mechanizm stojący za wynikiem	Rzadko podejmowana, a wyniki zerowe rzadko są publikowane

Dwie właściwości tej drabiny są ważniejsze niż jej kolejność. Każdy szczebel można osiągnąć tylko poprzez wykonanie nowej pracy, nigdy przez wnioskowanie z niższego szczebla. A liczba opublikowanych prac gwałtownie maleje w kierunku dołu, więc najgłośniejsze twierdzenia zwykle opierają się na najsłabszych szczeblach.

Dlaczego aktywność in vitro jest najsłabszym i jednocześnie najgłośniejszym szczeblem

Oznaczenie wiązania mierzy interakcję między oczyszczonymi składnikami w buforze wybranym przez eksperymentatora. Jest to rzeczywisty pomiar, który nakłada rzeczywiste ograniczenia na chemię. Nie obejmuje jednak tego wszystkiego, co stoi między cząsteczką a celem w żywym zwierzęciu: wchłaniania, dystrybucji, metabolizmu, klirensu, wiązania z białkami oraz pytania, czy związek w ogóle dociera do odpowiedniej tkanki.

Różnica między dowodami in vitro a in vivo nie jest zatem różnicą jakości, lecz tego, co zawiera układ. System in vitro jest definiowany przez to, co eksperymentator do niego wprowadził. System in vivo zawiera wszystko, czego eksperymentator nie kontrolował, i to właśnie tam większość związków zawodzi.

Dlatego test wiązania z receptorem nie przewiduje efektu behawioralnego. Powinowactwo do celu jest warunkiem koniecznym, ale niewystarczającym dla efektu mediowanego przez cel, a implikacja działa tylko w jedną stronę. Podawaną siłę działania trzeba również odczytywać w stosunku do stężeń, które organizm mógłby realistycznie osiągnąć; aktywność wykazana znacznie powyżej tego zakresu opisuje chemię, a nie farmakologię.

Co badania na gryzoniach mogą, a czego nie mogą przenieść na ludzi

Kwestia tego, dlaczego badania na zwierzętach nie dają się powtórzyć u ludzi, została bezpośrednio zbadana, a nie jedynie stwierdzona. Systematyczny przegląd w BMJ porównał efekty leczenia w badaniach na zwierzętach z wynikami badań klinicznych dla interwencji, gdzie dowody u ludzi były jednoznaczne, i stwierdził niejednolitą zgodność w obu kierunkach. Kortykosteroidy nie przyniosły korzyści w badaniach klinicznych urazów głowy, podczas gdy połączone dane z badań na zwierzętach wskazywały na korzyść, z ilorazem szans dla niekorzystnego wyniku funkcjonalnego równym 0,58 i przedziałem ufności od 0,41 do 0,83. Tirilazad był związany z gorszym wynikiem u pacjentów z udarem niedokrwiennym, podczas gdy w modelach zwierzęcych zmniejszał objętość zawału o 29% i poprawiał wyniki neurobehawioralne o 48%.

Rozbieżności tej wielkości nie tłumaczą same różnice gatunkowe. Duża jej część to problem raportowania i publikowania i ta część została zmierzona. Analiza literatury dotyczącej badań na zwierzętach dotyczącej ostrego udaru niedokrwiennego, oparta na szesnastu przeglądach systematycznych obejmujących 525 unikalnych publikacji, wykazała, że tylko dziesięć z tych publikacji, około 2 procent, nie podało istotnego wpływu na objętość zawału, a tylko sześć, około 1,2 procent, nie podało przynajmniej jednego istotnego wyniku. Literatura, w której niemal nic nie jest negatywne, nie jest literaturą raportującą wszystko, co znalazła. Analiza trim-and-fill w tym samym badaniu wskazała, że stronniczość publikacyjna może odpowiadać za mniej więcej jedną trzecią skuteczności raportowanej w przeglądach systematycznych, przy czym raportowana skuteczność spadła po korekcie z 31,3 procent do 23,8 procent, i oszacowała kolejne 214 nieopublikowanych eksperymentów obok 1359 zidentyfikowanych.

Odpowiedź metodologiczna polegała na standardach raportowania, a nie na nowych metodach statystycznych. Warsztat zorganizowany przez amerykański National Institute of Neurological Disorders and Stroke w czerwcu 2012 roku ustalił minimum: badania powinny raportować sposób wyznaczenia liczebności próby, czy i jak zwierzęta były randomizowane, czy badacze byli zaślepieni co do przydziału do grup oraz jak dane były przetwarzane. Wytyczne ARRIVE, po raz pierwszy wydane w 2010 roku i zaktualizowane jako ARRIVE 2,0 w 2020 roku, przekształcają te same zasady w listę kontrolną, z priorytetowym rdzeniem znanym jako ARRIVE Essential 10. Aktualizacja z 2020 roku stwierdza jasno, że przestrzeganie oryginalnych wytycznych było niespójne i że oczekiwana poprawa jakości raportowania nie została osiągnięta.

Z tego wynika praktyczny wniosek dotyczący badań na gryzoniach. Badanie na zwierzętach, które nie określa liczby użytych zwierząt, sposobu ich przydziału oraz tego, czy osoba oceniająca wynik znała przypisanie do grupy, nie dostarcza wystarczających informacji, aby można było ocenić wagę jego wyniku.

Dlaczego małe badania z udziałem ludzi dają niestabilne liczby

Niska moc statystyczna jest zazwyczaj opisywana jako zmniejszona szansa na wykrycie rzeczywistego efektu. Mniej znaną połową problemu jest to, że niska moc także zmniejsza prawdopodobieństwo, że istotny statystycznie wynik odzwierciedla rzeczywisty efekt w ogóle. Analiza opublikowana w Nature Reviews Neuroscience przedstawiła ten argument i zgłosiła, że średnia moc statystyczna badań w naukach neurobiologicznych jest bardzo niska, co skutkuje przeszacowaniami wielkości efektu i słabą replikowalnością.

Opublikowana wartość mediany mocy w tej analizie nie jest tutaj powtórzona, ponieważ pojawia się w treści artykułu za paywallem, a nie w żadnym otwartym rekordzie potwierdzonym podczas pisania. Wynik jakościowy, stwierdzony w abstrakcie, jest taki, że średnia moc w tej dziedzinie jest bardzo niska.

Strukturalna wersja argumentu jest starsza i szersza. Esej z 2005 roku opublikowany w PLoS Medicine przedstawił warunki, w których opublikowany wynik z mniejszym prawdopodobieństwem jest prawdziwy: gdy badania w danej dziedzinie są mniejsze, gdy efekty są mniejsze, gdy testuje się więcej relacji z mniejszą selekcją wstępną, gdy istnieje większa elastyczność w schematach badań, definicjach, wynikach i trybach analizy, gdy interesy finansowe lub inne są silniejsze oraz gdy więcej zespołów dąży do osiągnięcia istotności statystycznej w tej samej dziedzinie. Symulacje wykazały, że dla większości schematów badań i warunków twierdzenie badawcze jest częściej fałszywe niż prawdziwe. Badania nad funkcjami poznawczymi spełniają kilka z tych warunków jednocześnie, ponieważ baterie testów poznawczych generują wiele miar wyników, a niewiele z nich jest ustalonych z góry.

Jak dotkliwe może to być, zmierzono w psychologii. Duży wspólny wysiłek powtórzył 100 eksperymentalnych i korelacyjnych badań z trzech czasopism, wykorzystując schematy o dużej mocy statystycznej oraz, gdy były dostępne, oryginalne materiały. Dziewięćdziesiąt siedem procent pierwotnych badań zgłosiło statystycznie istotne wyniki; 36% powtórzeń osiągnęło istotność statystyczną. Efekty replikacji były o połowę mniejsze niż oryginały, 47% pierwotnych wielkości efektów mieściło się w przedziale ufności 95% dla efektu powtórzenia, a 39% efektów zostało subiektywnie ocenionych jako zreplikowane.

Schemat badania wnosi własną niestabilność. Badania krzyżowe, częste w tej dziedzinie, ponieważ każdy uczestnik służy jako własna kontrola, są podatne na efekty kolejności i wprawy, gdy wynikiem jest test poznawczy, który poprawia się wraz z ekspozycją; bez równoważenia kolejności i odpowiedniego okresu wypłukiwania sama sekwencja staje się zmienną. Systematyczny przegląd i metaanaliza kontrolowanych badań nad dwoma lekami pobudzającymi na receptę, często omawianymi w tym kontekście, wykazały, że oczekiwania dotyczące ich skuteczności przewyższają ich rzeczywiste zmierzone efekty, a tylko badania z wystarczającą ilością danych do analizy statystycznej mogły zostać w ogóle uwzględnione.

Dlaczego większość proponowanych mechanizmów to nadal hipotezy

Mechanizm to ciąg przyczynowy: związek dociera do miejsca, angażuje tam cel, to oddziaływanie zmienia proces, a ta zmiana procesu daje mierzony wynik. Opublikowane dowody zwykle obejmują pierwsze lub drugie ogniwo a resztę wywnioskowują.

Proponowany mechanizm pozostaje hipotezą do czasu eksperymentalnego zamknięcia łańcucha dowodowego. Zamknięcie go wymaga specyficznego rodzaju pracy: wykazania zaangażowania celu w żywym systemie, a nie w homogenacie, zależności stężenie-odpowiedź zachowującej się zgodnie z przewidywaniami modelu, utraty efektu po zablokowaniu lub usunięciu proponowanego celu oraz niezależnego odtworzenia całego wzorca. W przeglądach często opisuje się mechanizm jako ustalony, gdy wykazano tylko pierwszy krok, a sformułowanie to jest następnie powielane, aż jego pochodzenie zniknie.

Pułapką jest to, że coś brzmi wiarygodnie. W historię pasującą do znanej biologii łatwiej uwierzyć, ale nie jest przez to bardziej prawdopodobnie prawdziwa, a mechanizm wyjaśniający efekt, który sam się nie powtórzył, niczego nie tłumaczy. Gdy dowody są skąpe, uczciwe jest stwierdzenie tego faktu: dla dużej części związków omawianych w badaniach nad funkcjami poznawczymi, szczera konkluzja brzmi, że zaobserwowano in vitro oddziaływanie z celem, istnieją pewne dane behawioralne u gryzoni, a literatura dotycząca ludzi jest niewielka, zróżnicowana i w dużej mierze niepowtórzona.

Jak czytać twierdzenie dotyczące związku badanego w kontekście badań poznawczych

Pięć pytań oddziela uzasadnione twierdzenie od powtórzonego.

Który to szczebel? Wynik bezkomórkowy i randomizowane badanie to różne twierdzenia, niezależnie od tego, jak sformułowane jest podsumowanie.
Czy porównanie było randomizowane i zaślepione? Jeśli artykuł nie podaje tej informacji, zakładaj, że nie było, ponieważ standardy raportowania istnieją właśnie z tego powodu.
Czy miarę wyniku ustalono z góry? Istotny statystycznie wynik w jednej z wielu miar, wybranej po otrzymaniu danych, jest raczej hipotezą niż ustaleniem.
Czy niezależna grupa to powtórzyła? Replikacja przez pierwotne laboratorium odpowiada na słabsze pytanie niż replikacja przez niezależnych badaczy.
Czy streszczenie poszerza czasownik? Porównaj twierdzenie z abstraktu z twierdzeniem, które schemat badania mógłby uzasadnić; różnica między nimi to przesada.

Często zadawane pytania

Jaka jest różnica między dowodami in vitro a in vivo?

Dowody in vitro pochodzą z izolowanych składników w systemie stworzonym przez eksperymentatora, takich jak oczyszczone białko lub hodowane komórki. Dowody in vivo pochodzą z nienaruszonego organizmu, gdzie mają zastosowanie absorpcja, dystrybucja, metabolizm i klirens. Różnica nie dotyczy rygorystyczności, ale zawartości: system in vivo zawiera zmienne, które najczęściej uniemożliwiają uogólnienie wyniku in vitro.

Czy test wiązania z receptorem przewiduje efekt behawioralny?

Nie. Powinowactwo wiązania jest koniecznym warunkiem efektu zależnego od celu, ale nie wystarczającym. Związek może wiązać się z izolowanym celem i nigdy nie dotrzeć do tego celu w żywym zwierzęciu, może być zbyt szybko usuwany lub angażować inne cele o przeciwnych konsekwencjach. Dane dotyczące wiązania ograniczają możliwe mechanizmy; nie ustalają one, że występuje jakikolwiek efekt behawioralny.

Dlaczego badania na zwierzętach nie udaje się powtórzyć w przypadku ludzi?

Częściowo różnice gatunkowe, a w znacznej mierze praktyka raportowania i publikacji. Przegląd systematyczny BMJ porównujący eksperymenty na zwierzętach z badaniami klinicznymi wykazał rozbieżności w obu kierunkach, w tym interwencje korzystne w modelach zwierzęcych i szkodliwe lub nieskuteczne u pacjentów. Gdy badania na zwierzętach pomijają randomizację, zaślepienie i raportowanie wielkości próby, ich wielkości efektu nie mogą być wiarygodnie ocenione.

Jak stronniczość publikacyjna wpływa na badania na zwierzętach?

Zawyża pozorną skuteczność poprzez usuwanie negatywnych wyników z rejestru. W literaturze dotyczącej badań na zwierzętach nad ostrym udarem niedokrwiennego mózgu, wśród 525 publikacji zidentyfikowanych poprzez szesnaście przeglądów systematycznych, tylko około 2% raportowało brak istotnego efektu na objętość zawału. Analiza trim-and-fill wskazała, że stronniczość publikacyjna mogłaby odpowiadać za około jedną trzecią skuteczności zgłoszonej w przeglądach tej dziedziny.

Dlaczego moc statystyczna jest niska w badaniach neurobiologicznych?

Małe rozmiary prób połączone z umiarkowanymi rzeczywistymi efektami. Analiza opublikowana w Nature Reviews Neuroscience wykazała, że średnia moc statystyczna w neurobiologii jest bardzo niska i wyjaśniła, że niska moc zarówno zmniejsza szansę na wykrycie rzeczywistego efektu, jak i obniża prawdopodobieństwo, że istotny wynik jest prawdziwy. Ocalałe istotne wyniki są zatem systematycznie zawyżone pod względem wielkości.

Ile replikacji osiągnęło istotność statystyczną w dużym psychologicznym badaniu replikacyjnym?

Trzydzieści sześć procent. We wspólnej replikacji 100 badań eksperymentalnych i korelacyjnych z trzech czasopism psychologicznych 97 procent oryginalnych badań podało wyniki istotne statystycznie, podczas gdy replikacje — 36 procent. Wielkości efektów w replikacjach były średnio o połowę mniejsze niż w oryginałach, a 39 procent efektów subiektywnie oceniono jako powtórzone.

Dlaczego proponowany mechanizm nadal nazywany jest hipotezą?

Ponieważ mechanizm to ciąg powiązań przyczynowych, a większość opublikowanych prac demonstruje tylko pierwsze z nich. Ustalenie go wymaga zaangażowania celu pokazanego w żywym systemie, zależności stężenie-odpowiedź zgodnej z modelem, utraty efektu, gdy cel jest zablokowany, oraz niezależnego powtórzenia. Dopóki te elementy nie istnieją razem, mechanizm jest propozycją pasującą do danych.

Bibliografia

Tylko do celów badawczych. Nonsensia dostarcza wzorce analityczne do zastosowań laboratoryjnych i badawczych. Niniejszy artykuł jest publikowany w celach naukowych i edukacyjnych. Nie stanowi on porady medycznej, nie opisuje żadnego zastosowania u ludzi, a nic w nim zawartego nie powinno być odczytywane jako zalecenie podania jakiejkolwiek substancji osobie lub zwierzęciu.

Kategorie: Badania nad nootropami

Nonsensia dostarcza omawiane w tym przewodniku związki jako wzorce analityczne do użytku laboratoryjnego i badawczego.

Baza dowodowa substancji badawczych w badaniach funkcji poznawczych: przewodnik krytyczny