Trustpilot4,1/5 · 28 Bewertungen
Zum Hauptinhalt springen

Nonsensia

Ein Molekül kann in einem zellfreien Assay aktiv sein, in Mäusen ein sauberes Ergebnis liefern und in einer randomisierten Studie nichts Messbares zeigen. Keines dieser drei Ergebnisse widerspricht den anderen beiden. Sie sind Antworten auf verschiedene Fragen, die unter verschiedenen Bedingungen gestellt wurden, und der wiederkehrende Fehler in dieser Literatur besteht darin, sie als einen sich anhäufenden Gesamtbestand an Beweisen zu behandeln. Was als Evidenz für eine Kognitionsverbindung gilt, hängt vollständig davon ab, welche Frage ein gegebenes Experiment stellen konnte, und davon, wie viel Spielraum das Design ließ, damit ein Ergebnis durch Zufall erscheinen konnte.

Diese Seite ist die Übersicht für die Kategorie Kognitionsforschung. Sie legt die Evidenzhierarchie dar, den charakteristischen Fehlermodus auf jeder Ebene und den Grund, warum die meisten veröffentlichten Mechanismen Hypothesen statt gesicherte Fakten bleiben. Es geht darum, wie Forschungsaussagen aufgebaut werden und wie sie scheitern, nicht um die Anwendung beim Menschen; den Lieferumfang regeln unsere Lieferbedingungen.

Was als Evidenz für eine Kognitionsverbindung gilt

Evidenz ist keine Größe, die sich zu Gewissheit anhäuft. Sie ist eine Menge getrennter Aussagen, jede mit einem Geltungsbereich, der durch das Experiment festgelegt ist, das sie hervorgebracht hat, und eine Aussage kann nicht in einen breiteren Geltungsbereich erhoben werden, indem sie häufiger oder überzeugter wiederholt wird.

Sechs Aussagen werden routinemäßig zu einem Satz zusammengezogen. Dass ein Molekül an ein isoliertes Target bindet. Dass es in kultivierten Zellen etwas verändert. Dass es ein gemessenes Verhalten bei Nagetieren verändert. Dass es beim Menschen eine physiologische Veränderung bewirkt. Dass es beim Menschen einen kognitiven Testwert verändert. Und dass eine unabhängige Gruppe irgendeines der oben Genannten reproduziert hat. Diese sind danach geordnet, wie stark sie einschränken, was in einem intakten Organismus geschieht, und die Distanz zwischen der ersten und der letzten ist der Bereich, in dem die meisten Überzeichnungen angesiedelt sind.

Das Wort, das dieses Zusammenziehen verbirgt, ist meist ein Verb. Bei einer Verbindung, die ein Enzym in einer gereinigten Präparation hemmt, ist nicht gezeigt worden, dass sie dieses Enzym im Gewebe hemmt. Bei einer Verbindung, die die Escape-Latenz in einem Labyrinth verändert, ist nicht gezeigt worden, dass sie ein menschliches kognitives Konstrukt beeinflusst. Das Experiment legt den Geltungsbereich des Verbs fest, und jede Zusammenfassung, die ihn erweitert, erhebt eine Aussage, die die Daten nicht tragen.

Die Evidenzhierarchie vom zellfreien Assay bis zur unabhängigen Replikation

Jede Sprosse beantwortet eine engere Frage als die, die der Leser üblicherweise im Sinn hat. Sie nebeneinanderzustellen macht die Vertauschungen sichtbar.

Evidenzebene Was das Experiment belegen kann Was es nicht belegen kann Charakteristischer Fehlermodus
Zellfreier Assay oder Bindungsassay Dass das Molekül unter gewählten Bedingungen mit einem isolierten Target interagiert Dass die Interaktion in lebendem Gewebe bei erreichbaren Konzentrationen stattfindet Aktivität bei Konzentrationen berichtet, die kein Organismus erreichen würde
Zellkultur Dass eine Reaktion in einem Zelltyp in einem definierten Medium auftritt Relevanz für ein intaktes Nervensystem mit Barrieren und Metabolismus Zelllinien-Drift; keine Absorption, Verteilung oder Clearance
In-vivo-Studie an Nagetieren Dass sich eine behandelte Gruppe in einer bestimmten Aufgabe von einer Kontrollgruppe unterschied Dass die Aufgabe auf irgendein menschliches kognitives Konstrukt abgebildet werden kann Kleine Gruppen, nicht berichtete Randomisierung, unverblindete Auswertung
Kleine Humanstudie Ob ein Effekt in einer Stichprobe unter einem Protokoll nachgewiesen wurde Eine stabile Effektstärke oder eine Verallgemeinerung über diese Stichprobe hinaus Geringe Power, viele Zielgrößen, selektive Berichterstattung
Unabhängige Replikation Dass der Befund ein anderes Team und andere Hände übersteht Der Mechanismus hinter dem Befund Selten versucht, und Nullergebnisse werden selten veröffentlicht

Zwei Eigenschaften dieser Leiter sind wichtiger als ihre Reihenfolge. Jede Sprosse kann nur durch neue Arbeit erklommen werden, niemals durch Argumentieren von der Sprosse darunter. Und der Umfang des veröffentlichten Materials schrumpft stark nach unten hin, sodass die lautesten Aussagen tendenziell auf den schwächsten Sprossen ruhen.

Warum In-vitro-Aktivität die schwächste Sprosse und die lauteste ist

Ein Bindungsassay misst eine Wechselwirkung zwischen gereinigten Komponenten in einem vom Experimentator gewählten Puffer. Das ist eine echte Messung, und sie schränkt die tatsächliche Chemie ein. Was er nicht umfasst, ist alles, was zwischen einem Molekül und einem Ziel in einem lebenden Tier steht: Absorption, Verteilung, Metabolismus, Clearance, Proteinbindung und die Frage, ob die Verbindung das relevante Gewebe überhaupt erreicht.

Der Unterschied zwischen In-vitro- und In-vivo-Evidenz ist daher kein Unterschied in der Qualität, sondern darin, was das System enthält. Ein In-vitro-System ist dadurch definiert, was der Experimentator hineingegeben hat. Ein In-vivo-System enthält alles, was der Experimentator nicht kontrolliert hat, und genau dort scheitern die meisten Verbindungen.

Deshalb sagt ein Rezeptorbindungsassay keine Verhaltenseffekte voraus. Affinität zu einem Ziel ist eine notwendige Bedingung für einen zielvermittelten Effekt, keine hinreichende, und die Implikation gilt nur in einer Richtung. Die berichtete Potenz muss zudem gegen Konzentrationen gelesen werden, die ein Organismus plausibel erreichen könnte; eine weit über diesem Bereich nachgewiesene Aktivität beschreibt Chemie und nicht Pharmakologie.

Was Nagetierstudien auf den Menschen übertragen können und was nicht

Die Frage, warum Tierstudien am Menschen nicht repliziert werden können, wurde direkt untersucht und nicht bloß behauptet. Eine systematische Übersichtsarbeit im BMJ verglich Behandlungseffekte in Tierexperimenten mit den Ergebnissen klinischer Studien für Interventionen, bei denen die humane Evidenz eindeutig war, und fand eine uneinheitliche Übereinstimmung in beide Richtungen. Corticosteroide zeigten in klinischen Studien zu Schädel-Hirn-Trauma keinen Nutzen, doch die gepoolten Tierdaten deuteten auf einen Nutzen hin, mit einer Odds Ratio für ein ungünstiges funktionelles Ergebnis von 0,58 und einem Konfidenzintervall von 0,41 bis 0,83. Tirilazad war bei Patienten mit ischämischem Schlaganfall mit einem schlechteren Ergebnis verbunden, während es in Tiermodellen das Infarktvolumen um 29 Prozent verringerte und die neurobehavioralen Scores um 48 Prozent verbesserte.

Eine Diskrepanz dieser Größe lässt sich nicht allein durch Artunterschiede erklären. Ein großer Teil davon ist ein Berichts- und Publikationsproblem, und dieser Teil wurde quantifiziert. Eine Analyse der Tierliteratur zum akuten ischämischen Schlaganfall, gestützt auf sechzehn systematische Übersichtsarbeiten mit 525 unterschiedlichen Publikationen, ergab, dass nur zehn dieser Publikationen, etwa 2 Prozent, keinen signifikanten Effekt auf das Infarktvolumen berichteten und nur sechs, etwa 1,2 Prozent, es versäumten, mindestens einen signifikanten Befund zu berichten. Eine Literatur, in der fast nichts negativ ist, ist keine Literatur, die alles berichtet, was sie gefunden hat. Eine Trim-and-fill-Analyse in derselben Studie deutete darauf hin, dass Publikationsbias etwa ein Drittel der in systematischen Übersichtsarbeiten berichteten Wirksamkeit erklären könnte, wobei die berichtete Wirksamkeit nach der Adjustierung von 31,3 Prozent auf 23,8 Prozent sank, und schätzte weitere 214 nicht berichtete Experimente neben den 1.359 identifizierten.

Die methodische Antwort bestand in Berichtsstandards und nicht in neuen Statistiken. Ein vom US National Institute of Neurological Disorders and Stroke im Juni 2012 einberufener Workshop legte ein Minimum fest: Studien sollten die Stichprobengrößenschätzung berichten, ob und wie Tiere randomisiert wurden, ob die Untersucher gegenüber der Behandlung verblindet waren und wie mit den Daten umgegangen wurde. Die ARRIVE-Leitlinien, erstmals 2010 veröffentlicht und 2020 als ARRIVE 2,0 aktualisiert, fassen dieselben Prinzipien in eine Checkliste, mit einem priorisierten Kern, den ARRIVE Essential 10. Das Update von 2020 stellt klar fest, dass die Einhaltung der ursprünglichen Leitlinien uneinheitlich gewesen sei und die erwartete Verbesserung der Berichtsqualität nicht erreicht worden sei.

Die praktische Lesart einer Nagetierarbeit folgt daraus. Eine Tierstudie, die nicht angibt, wie viele Tiere verwendet wurden, wie sie zugeteilt wurden und ob die Person, die das Ergebnis bewertete, die Gruppenzuordnung kannte, hat nicht genug berichtet, als dass ihr Ergebnis gewichtet werden könnte.

Warum kleine Humanstudien instabile Zahlen liefern

Geringe statistische Power wird üblicherweise als verringerte Chance beschrieben, einen wahren Effekt zu entdecken. Die weniger vertraute Hälfte des Problems ist, dass geringe Power auch die Wahrscheinlichkeit verringert, dass ein statistisch signifikantes Ergebnis überhaupt einen wahren Effekt widerspiegelt. Eine Analyse in Nature Reviews Neuroscience führte dieses Argument an und berichtete, dass die durchschnittliche statistische Power von Studien in den Neurowissenschaften sehr gering sei, mit Überschätzungen der Effektgröße und schlechter Reproduzierbarkeit als direkten Folgen.

Die veröffentlichte Zahl für die mediane Power in dieser Analyse wird hier nicht wiedergegeben, da sie im Hauptteil eines Artikels hinter einer Bezahlschranke erscheint und nicht in einem offenen Datensatz, der beim Verfassen bestätigt wurde. Der qualitative Befund, der im Abstract genannt wird, ist, dass die durchschnittliche Power in diesem Feld sehr niedrig ist.

Die strukturelle Version des Arguments ist älter und breiter. Ein Essay aus dem Jahr 2005 in PLoS Medicine legte die Bedingungen dar, unter denen ein veröffentlichter Befund weniger wahrscheinlich wahr ist: wenn Studien in einem Feld kleiner sind, wenn Effektgrößen kleiner sind, wenn mehr Zusammenhänge mit weniger Vorauswahl geprüft werden, wenn größere Flexibilität bei Designs, Definitionen, Endpunkten und Analysemethoden besteht, wenn finanzielle oder andere Interessen stärker sind und wenn mehr Teams in demselben Bereich nach statistischer Signifikanz streben. Seine Simulationen kamen zu dem Schluss, dass für die meisten Studiendesigns und -settings eine Forschungsbehauptung eher falsch als wahr ist. Die Kognitionsforschung erfüllt mehrere dieser Bedingungen gleichzeitig, weil kognitive Testbatterien viele Endpunkte liefern und nur wenige davon im Voraus festgelegt sind.

Wie stark sich das auswirken kann, wurde in der Psychologie gemessen. Ein großes kollaboratives Vorhaben replizierte 100 experimentelle und korrelative Studien aus drei Fachzeitschriften mit Designs hoher statistischer Power und, wo verfügbar, mit den Originalmaterialien. Siebenundneunzig Prozent der Originalstudien hatten statistisch signifikante Ergebnisse berichtet; 36 Prozent der Replikationen erreichten statistische Signifikanz. Die Replikationseffekte betrugen die Hälfte der Größe der Originale, 47 Prozent der ursprünglichen Effektstärken fielen in das 95-Prozent-Konfidenzintervall des Replikationseffekts, und 39 Prozent der Effekte wurden subjektiv als repliziert bewertet.

Das Design bringt seine eigene Instabilität mit sich. Crossover-Studien, in diesem Bereich häufig, weil jeder Teilnehmer als seine eigene Kontrolle dient, sind anfällig für Reihenfolge- und Übungseffekte, wenn der Endpunkt ein kognitiver Test ist, der sich mit der Exposition verbessert; ohne Gegenbalancierung und eine ausreichende Washout-Phase wird die Sequenz selbst zu einer Variable. Eine systematische Übersicht und Metaanalyse kontrollierter Studien zu zwei verschreibungspflichtigen Stimulanzien-Wirkstoffen, die in diesem Zusammenhang häufig diskutiert werden, kam zu dem Schluss, dass die Erwartungen hinsichtlich ihrer Wirksamkeit ihre tatsächlich gemessenen Effekte übersteigen und dass überhaupt nur Studien mit ausreichend extrahierbaren Daten in die statistische Analyse einbezogen werden konnten.

Warum die meisten vorgeschlagenen Mechanismen noch Hypothesen sind

Ein Mechanismus ist eine Kausalkette: Die Verbindung erreicht einen Ort, bindet dort an ein Target, diese Bindung verändert einen Prozess, und diese Prozessveränderung erzeugt den gemessenen Endpunkt. Die veröffentlichte Evidenz deckt üblicherweise das erste oder zweite Glied ab und schließt auf den Rest.

Ein vorgeschlagener Mechanismus bleibt eine Hypothese, bis die Kette experimentell geschlossen ist. Das Schließen erfordert eine bestimmte Art von Arbeit: nachgewiesene Target-Bindung im lebenden System statt in einem Homogenat, eine Konzentrations-Wirkungs-Beziehung, die sich wie vom Modell vorhergesagt verhält, Verlust des Effekts, wenn das vorgeschlagene Target blockiert oder entfernt wird, und unabhängige Reproduktion des gesamten Musters. Übersichtsarbeiten beschreiben einen Mechanismus häufig als etabliert, wenn nur der erste Schritt gezeigt wurde, und die Formulierung wird dann weiterkopiert, bis ihr Ursprung verschwindet.

Plausibilität ist die Falle. Eine Geschichte, die zur bekannten Biologie passt, ist leichter zu glauben und nicht wahrscheinlicher wahr, und ein Mechanismus, der einen Effekt erklärt, der selbst nicht repliziert werden konnte, erklärt nichts. Wo die Evidenz dünn ist, ist es der zutreffende Bericht, genau das zu sagen: Für einen großen Anteil der in der Kognitionsforschung diskutierten Verbindungen lautet die ehrliche Zusammenfassung, dass eine Target-Interaktion in vitro beobachtet wurde, einige Verhaltensdaten aus Nagetieren vorliegen und die Humanliteratur klein, heterogen und weitgehend nicht repliziert ist.

Wie man eine Behauptung über eine Verbindung aus der Kognitionsforschung liest

Fünf Fragen trennen eine gestützte Behauptung von einer wiederholten.

  • Welche Stufe ist dies? Ein zellfreies Ergebnis und eine randomisierte Studie sind unterschiedliche Behauptungen, unabhängig davon, wie die Zusammenfassung formuliert ist.
  • War der Vergleich randomisiert und verblindet? Wenn eine Arbeit dies nicht angibt, ist davon auszugehen, dass es nicht der Fall war, denn Berichtsstandards existieren genau aus diesem Grund.
  • War der Endpunkt im Voraus festgelegt? Ein signifikantes Ergebnis bei einem von vielen Maßen, ausgewählt nachdem die Daten vorlagen, ist eine Hypothese und kein Befund.
  • Hat eine unabhängige Gruppe sie reproduziert? Eine Replikation durch das Ursprungslabor beantwortet eine schwächere Frage als eine Replikation durch Fremde.
  • Erweitert die Zusammenfassung das Verb? Vergleichen Sie die Behauptung im Abstract mit der Behauptung, die das Design stützen könnte; die Lücke zwischen beiden ist die Überzeichnung.

Häufig gestellte Fragen

Was ist der Unterschied zwischen In-vitro- und In-vivo-Evidenz?

In-vitro-Evidenz stammt aus isolierten Komponenten in einem vom Experimentator zusammengestellten System, etwa gereinigtem Protein oder kultivierten Zellen. In-vivo-Evidenz stammt aus einem intakten Organismus, in dem Resorption, Verteilung, Metabolismus und Clearance alle wirksam sind. Der Unterschied liegt nicht in der Strenge, sondern im Inhalt: Ein In-vivo-System enthält die Variablen, die am häufigsten verhindern, dass ein In-vitro-Ergebnis verallgemeinert werden kann.

Sagt ein Rezeptorbindungsassay eine Verhaltenswirkung voraus?

Nein. Die Bindungsaffinität ist eine notwendige Bedingung für eine zielvermittelte Wirkung, keine hinreichende. Eine Verbindung kann an ein isoliertes Target binden und dieses Target in einem lebenden Tier nie erreichen, zu schnell eliminiert werden oder an andere Targets mit entgegengesetzten Folgen binden. Bindungsdaten schränken ein, welche Mechanismen möglich sind; sie belegen nicht, dass irgendeine Verhaltenswirkung auftritt.

Warum lassen sich Tierstudien nicht am Menschen reproduzieren?

Teils wegen Artunterschieden, und wesentlich wegen Berichts- und Publikationspraxis. Eine systematische Übersichtsarbeit im BMJ, die Tierexperimente mit klinischen Studien verglich, fand Diskordanzen in beide Richtungen, einschließlich Interventionen, die in Tiermodellen vorteilhaft und bei Patienten schädlich oder unwirksam waren. Wo Tierstudien Randomisierung, Verblindung und die Angabe der Stichprobengröße auslassen, lassen sich ihre Effektstärken nicht zuverlässig gewichten.

Wie beeinflusst der Publikationsbias die Tierforschung?

Er bläht die scheinbare Wirksamkeit auf, indem er negative Ergebnisse aus der Evidenzbasis entfernt. In der Tierliteratur zum akuten ischämischen Schlaganfall berichteten von 525 Publikationen, die durch sechzehn systematische Übersichtsarbeiten identifiziert wurden, nur etwa 2 Prozent keinen signifikanten Effekt auf das Infarktvolumen. Eine Trim-and-fill-Analyse deutete darauf hin, dass der Bias etwa ein Drittel der in Übersichtsarbeiten dieses Feldes berichteten Wirksamkeit erklären könnte.

Warum ist die statistische Power in neurowissenschaftlichen Studien gering?

Kleine Stichprobengrößen in Kombination mit bescheidenen wahren Effektstärken. Eine Analyse in Nature Reviews Neuroscience berichtete, dass die durchschnittliche Power in den Neurowissenschaften sehr gering ist, und erklärte, dass geringe Power sowohl die Chance verringert, einen realen Effekt zu entdecken, als auch die Wahrscheinlichkeit senkt, dass ein signifikantes Ergebnis real ist. Überlebende signifikante Ergebnisse sind daher systematisch in ihrer Größe überzeichnet.

Wie viele Replikationen erreichten in der großen Psychologie-Replikationsstudie statistische Signifikanz?

Sechsunddreißig Prozent. In einer kollaborativen Replikation von 100 experimentellen und korrelativen Studien aus drei Psychologiezeitschriften hatten 97 Prozent der Originalstudien statistisch signifikante Ergebnisse berichtet, während es bei 36 Prozent der Replikationen der Fall war. Die Effektstärken der Replikationen betrugen im Durchschnitt die Hälfte der Größe der Originale, und 39 Prozent der Effekte wurden subjektiv als repliziert bewertet.

Warum wird ein vorgeschlagener Mechanismus noch als Hypothese bezeichnet?

Weil ein Mechanismus eine Kette kausaler Glieder ist und die meisten publizierten Arbeiten nur das erste zeigen. Um ihn zu belegen, sind eine im lebenden System nachgewiesene Target-Bindung, eine mit dem Modell konsistente Konzentrations-Wirkungs-Beziehung, der Verlust des Effekts bei Blockade des Targets und eine unabhängige Reproduktion erforderlich. Solange diese nicht gemeinsam vorliegen, ist der Mechanismus ein Vorschlag, der zu den Daten passt.

Literatur

  1. Ioannidis JPA, Why Most Published Research Findings Are False, PLoS Medicine, 2005
  2. Button KS et al., Power failure: why small sample size undermines the reliability of neuroscience, Nature Reviews Neuroscience, 2013
  3. Estimating the reproducibility of psychological science, Science, 2015
  4. Perel P et al., Comparison of treatment effects between animal experiments and clinical trials: systematic review, BMJ, 2006
  5. Sena ES et al., Publication Bias in Reports of Animal Stroke Studies Leads to Major Overstatement of Efficacy, PLoS Biology, 2010
  6. Landis SC et al., A call for transparent reporting to optimize the predictive value of preclinical research, Nature, 2012
  7. Percie du Sert N et al., The ARRIVE guidelines 2,0: Updated guidelines for reporting animal research, PLOS Biology, 2020
  8. Repantis D et al., Modafinil and methylphenidate for neuroenhancement in healthy individuals: A systematic review, Pharmacological Research, 2010

Nur für Forschungszwecke. Nonsensia liefert analytische Referenzstandards für Labor- und Forschungsanwendungen. Dieser Artikel wird zu wissenschaftlichen und Bildungszwecken veröffentlicht. Er ist keine medizinische Beratung, er beschreibt keine Anwendung am Menschen, und nichts darin darf als Empfehlung verstanden werden, einem Menschen oder Tier eine Substanz zu verabreichen.

Abgelegt unter: Nootropika-Forschung

Nonsensia liefert die in diesem Leitfaden besprochenen Verbindungen als analytische Referenzstandards für Labor- und Forschungszwecke.