Ce qui constitue une preuve pour un composé de la cognition

Une molécule peut être active dans un essai acellulaire, produire un résultat net chez la souris et ne montrer rien de mesurable dans un essai randomisé. Aucun de ces trois résultats ne contredit les deux autres. Ce sont des réponses à des questions différentes, posées dans des conditions différentes, et l’erreur récurrente de cette littérature consiste à les traiter comme un seul corpus de preuves qui s’accumule. Ce qui constitue une preuve pour un composé de la cognition dépend entièrement de la question qu’une expérience donnée a pu poser, et de la place que le protocole laissait à l’apparition d’un résultat par hasard.

Cette page sert de carte pour la catégorie de recherche sur la cognition. Elle expose la hiérarchie des preuves, le mode de défaillance caractéristique à chaque niveau et la raison pour laquelle la plupart des mécanismes publiés restent des hypothèses plutôt que des faits établis. Elle porte sur la manière dont les affirmations de recherche se construisent et se défont, et non sur l’usage chez l’être humain ; le périmètre de la fourniture est défini dans nos conditions de fourniture.

Ce qui constitue une preuve pour un composé nootropique

Les preuves ne sont pas une quantité qui s’accumule jusqu’à la certitude. Elles forment un ensemble d’affirmations distinctes, chacune d’une portée fixée par l’expérience qui l’a produite, et une affirmation ne peut pas être promue à une portée plus large du seul fait d’être répétée plus souvent ou avec plus d’assurance.

Six affirmations sont couramment ramassées en une seule phrase. Qu’une molécule se lie à une cible isolée. Qu’elle modifie quelque chose dans des cellules en culture. Qu’elle modifie un comportement mesuré chez le rongeur. Qu’elle produit une modification physiologique chez l’être humain. Qu’elle modifie un score à un test cognitif chez l’être humain. Et qu’un groupe indépendant a reproduit l’un quelconque de ces résultats. Elles sont classées selon la mesure dans laquelle elles contraignent ce qui se passe dans un organisme intact, et c’est dans la distance entre la première et la dernière que se loge l’essentiel des exagérations.

Le mot qui masque cet amalgame est généralement un verbe. Un composé qui inhibe une enzyme dans une préparation purifiée n’a pas été démontré comme inhibant cette enzyme dans un tissu. Un composé qui modifie la latence d’échappement dans un labyrinthe n’a pas été démontré comme agissant sur une construction cognitive humaine. L’expérience fixe la portée du verbe, et tout résumé qui l’élargit avance une affirmation que les données ne portent pas.

La hiérarchie des preuves, de l’essai acellulaire à la réplication indépendante

Chaque échelon répond à une question plus étroite que celle que le lecteur a généralement en tête. Les placer côte à côte rend les substitutions visibles.

Niveau de preuve	Ce que l’expérience peut établir	Ce qu’elle ne peut pas établir	Mode de défaillance caractéristique
Essai acellulaire ou essai de liaison	Que la molécule interagit avec une cible isolée dans des conditions choisies	Que l’interaction se produit dans un tissu vivant à des concentrations atteignables	Activité rapportée à des concentrations qu’aucun organisme n’atteindrait
Culture cellulaire	Qu’une réponse se produit dans un type cellulaire, dans un milieu défini	La pertinence pour un système nerveux intact, avec ses barrières et son métabolisme	Dérive des lignées cellulaires ; ni absorption, ni distribution, ni élimination
Étude in vivo chez le rongeur	Qu’un groupe traité différait d’un groupe témoin sur une tâche précise	Que la tâche correspond à une quelconque construction cognitive humaine	Petits groupes, randomisation non rapportée, cotation sans insu
Petit essai chez l’être humain	Si un effet a été détecté dans un échantillon, selon un protocole	Une taille d’effet stable, ou une généralisation au-delà de cet échantillon	Faible puissance, nombreux critères de jugement, communication sélective des résultats
Réplication indépendante	Que le résultat résiste à une autre équipe et à d’autres mains	Le mécanisme qui sous-tend le résultat	Rarement tentée, et les résultats nuls sont rarement publiés

Deux propriétés de cette échelle comptent davantage que son ordre. Chaque échelon ne peut être franchi qu’en réalisant de nouveaux travaux, jamais en argumentant à partir de l’échelon inférieur. Et le volume de publications diminue fortement vers le bas, si bien que les affirmations les plus bruyantes reposent souvent sur les échelons les plus faibles.

Pourquoi l’activité in vitro est l’échelon le plus faible et le plus bruyant

Un essai de liaison mesure une interaction entre des composants purifiés dans un tampon choisi par l’expérimentateur. C’est une mesure réelle, et elle contraint une chimie réelle. Ce qu’elle n’inclut pas, c’est tout ce qui s’interpose entre une molécule et une cible chez un animal vivant : absorption, distribution, métabolisme, élimination, liaison aux protéines, et la question de savoir si le composé atteint même le tissu concerné.

La différence entre les preuves in vitro et in vivo n’est donc pas une différence de qualité, mais de contenu du système. Un système in vitro est défini par ce que l’expérimentateur y a mis. Un système in vivo contient tout ce que l’expérimentateur n’a pas maîtrisé, et c’est précisément là que la plupart des composés échouent.

C’est pourquoi un essai de liaison à un récepteur ne prédit pas un effet comportemental. L’affinité pour une cible est une condition nécessaire à un effet médié par cette cible, et non une condition suffisante, et l’implication ne fonctionne que dans un sens. La puissance rapportée doit aussi être rapprochée des concentrations qu’un organisme pourrait plausiblement atteindre ; une activité démontrée bien au-delà de cette plage décrit de la chimie plutôt que de la pharmacologie.

Ce que les études chez le rongeur peuvent et ne peuvent pas transposer à l’être humain

La question de savoir pourquoi les études animales ne se répliquent pas chez l’être humain a été étudiée directement plutôt que simplement affirmée. Une revue systématique publiée dans le BMJ a comparé les effets thérapeutiques observés dans les expérimentations animales aux résultats des essais cliniques pour des interventions dont les preuves chez l’être humain étaient sans ambiguïté, et a constaté une concordance inégale dans les deux sens. Les corticostéroïdes n’ont montré aucun bénéfice dans les essais cliniques sur les traumatismes crâniens, alors que les données animales regroupées indiquaient un bénéfice, avec un odds ratio de résultat fonctionnel défavorable de 0,58 et un intervalle de confiance de 0,41 à 0,83. Le tirilazad a été associé à une évolution plus défavorable chez les patients atteints d’accident vasculaire cérébral ischémique, alors que, dans les modèles animaux, il réduisait le volume de l’infarctus de 29 pour cent et améliorait les scores neurocomportementaux de 48 pour cent.

Une discordance de cette ampleur ne s’explique pas par les seules différences entre espèces. Une grande partie relève d’un problème de communication et de publication des résultats, et cette partie a été quantifiée. Une analyse de la littérature animale sur l’accident vasculaire cérébral ischémique aigu, fondée sur seize revues systématiques couvrant 525 publications uniques, a constaté que seules dix de ces publications, soit environ 2 pour cent, ne rapportaient aucun effet significatif sur le volume de l’infarctus, et que seules six, soit environ 1,2 pour cent, ne rapportaient pas au moins un résultat significatif. Une littérature dans laquelle presque rien n’est négatif n’est pas une littérature qui rapporte tout ce qu’elle a trouvé. L’analyse trim-and-fill de la même étude a indiqué que le biais de publication pourrait expliquer environ un tiers de l’efficacité rapportée dans les revues systématiques, l’efficacité rapportée passant de 31,3 pour cent à 23,8 pour cent après ajustement, et a estimé à 214 le nombre d’expériences supplémentaires non publiées, en plus des 1 359 identifiées.

La réponse méthodologique a consisté en des normes de communication des résultats plutôt qu’en de nouvelles statistiques. Un atelier réuni par le National Institute of Neurological Disorders and Stroke des États-Unis en juin 2012 a fixé un minimum : les études doivent indiquer l’estimation de la taille de l’échantillon, si et comment les animaux ont été randomisés, si les investigateurs ignoraient le traitement attribué, et comment les données ont été traitées. Les lignes directrices ARRIVE, publiées pour la première fois en 2010 et mises à jour sous le nom d’ARRIVE 2.0 en 2020, traduisent les mêmes principes en une liste de contrôle, avec un noyau prioritaire appelé ARRIVE Essential 10. La mise à jour de 2020 indique clairement que le respect des lignes directrices initiales avait été inégal et que l’amélioration attendue de la qualité des comptes rendus n’avait pas été obtenue.

La lecture pratique d’un article sur le rongeur en découle. Une étude animale qui n’indique pas combien d’animaux ont été utilisés, comment ils ont été répartis et si la personne qui cotait le critère de jugement connaissait l’affectation des groupes n’a pas rapporté suffisamment d’éléments pour que son résultat puisse être pondéré.

Pourquoi les petits essais chez l’être humain produisent des chiffres instables

Une faible puissance statistique est généralement décrite comme une chance réduite de détecter un effet réel. La moitié moins connue du problème est qu’une faible puissance réduit aussi la probabilité qu’un résultat statistiquement significatif reflète réellement un effet véritable. Une analyse parue dans Nature Reviews Neuroscience a développé cet argument et a rapporté que la puissance statistique moyenne des études en neurosciences est très faible, avec pour conséquences directes une surestimation des tailles d’effet et une faible reproductibilité.

Le chiffre publié pour la puissance médiane dans cette analyse n’est pas reproduit ici, car il figure dans le corps d’un article payant et non dans une source ouverte vérifiée lors de la rédaction. Le résultat qualitatif, énoncé dans le résumé, est que la puissance moyenne dans ce domaine est très faible.

La version structurelle de l’argument est plus ancienne et plus large. Un essai paru en 2005 dans PLoS Medicine a exposé les conditions dans lesquelles un résultat publié a moins de chances d’être vrai : lorsque les études d’un domaine sont plus petites, lorsque les tailles d’effet sont plus faibles, lorsque davantage de relations sont testées avec moins de présélection, lorsque la flexibilité des protocoles, des définitions, des critères de jugement et des modes d’analyse est plus grande, lorsque les intérêts financiers ou autres sont plus forts, et lorsque davantage d’équipes recherchent la significativité statistique dans le même domaine. Ses simulations ont conclu que, pour la plupart des protocoles et des contextes d’étude, une affirmation de recherche a plus de chances d’être fausse que vraie. La recherche sur la cognition réunit plusieurs de ces conditions à la fois, car les batteries de tests cognitifs produisent de nombreux critères de jugement, dont peu sont fixés à l’avance.

L’ampleur possible des dégâts a été mesurée en psychologie. Un vaste effort collaboratif a répliqué 100 études expérimentales et corrélationnelles issues de trois revues, au moyen de protocoles de forte puissance et, lorsqu’ils étaient disponibles, des matériels d’origine. Quatre-vingt-dix-sept pour cent des études originales avaient rapporté des résultats statistiquement significatifs ; 36 pour cent des réplications ont atteint la significativité statistique. Les effets des réplications étaient deux fois plus faibles que ceux des originaux, 47 pour cent des tailles d’effet originales se situaient dans l’intervalle de confiance à 95 pour cent de l’effet de réplication, et 39 pour cent des effets ont été jugés subjectivement comme répliqués.

Le protocole ajoute sa propre instabilité. Les essais croisés, fréquents dans ce domaine parce que chaque participant sert de son propre témoin, sont sensibles aux effets d’ordre et d’apprentissage lorsque le critère de jugement est un test cognitif qui s’améliore avec l’exposition ; sans contrebalancement ni période d’élimination suffisante, la séquence elle-même devient une variable. Une revue systématique avec méta-analyse d’essais contrôlés portant sur deux médicaments de type stimulant soumis à prescription, souvent évoqués dans ce contexte, a conclu que les attentes quant à leur efficacité dépassent leurs effets réellement mesurés, et que seules les études comportant suffisamment de données exploitables pouvaient tout simplement être incluses dans l’analyse statistique.

Pourquoi la plupart des mécanismes proposés restent des hypothèses

Un mécanisme est une chaîne causale : le composé atteint un site, y engage une cible, cet engagement modifie un processus, et cette modification du processus produit le résultat mesuré. Les preuves publiées couvrent généralement le premier ou le deuxième maillon et infèrent le reste.

Un mécanisme proposé reste une hypothèse tant que la chaîne n’a pas été bouclée expérimentalement. La boucler exige un type de travail précis : un engagement de la cible démontré dans le système vivant plutôt que dans un homogénat, une relation concentration-réponse qui se comporte comme le prévoit le modèle, la disparition de l’effet lorsque la cible proposée est bloquée ou supprimée, et la reproduction indépendante de l’ensemble du schéma. Les revues décrivent souvent un mécanisme comme établi alors que seule la première étape a été démontrée, et la formule est ensuite recopiée jusqu’à ce que son origine disparaisse.

La plausibilité est le piège. Un récit compatible avec la biologie connue est plus facile à croire, sans être plus probablement vrai, et un mécanisme qui explique un effet lui-même non répliqué n’explique rien. Lorsque les preuves sont minces, le dire constitue le compte rendu exact : pour une grande partie des composés évoqués dans la recherche sur la cognition, le résumé honnête est qu’une interaction avec une cible a été observée in vitro, que quelques données comportementales chez le rongeur existent, et que la littérature chez l’être humain est restreinte, hétérogène et largement non répliquée.

Comment lire une affirmation sur un composé de recherche en cognition

Cinq questions distinguent une affirmation étayée d’une affirmation répétée.

De quel échelon s’agit-il ? Un résultat acellulaire et un essai randomisé sont des affirmations différentes, quelle que soit la formulation du résumé.
La comparaison était-elle randomisée et en insu ? Si un article ne le précise pas, supposez qu’elle ne l’était pas, car les normes de communication des résultats existent précisément pour cette raison.
Le critère de jugement était-il fixé à l’avance ? Un résultat significatif sur un critère parmi beaucoup d’autres, choisi après l’arrivée des données, est une hypothèse plutôt qu’un résultat.
Un groupe indépendant l’a-t-il reproduit ? Une réplication par le laboratoire d’origine répond à une question plus faible qu’une réplication par des inconnus.
Le résumé élargit-il le verbe ? Comparez l’affirmation du résumé à celle que le protocole pouvait étayer ; l’écart entre les deux constitue l’exagération.

Questions fréquentes

Quelle est la différence entre les preuves in vitro et in vivo ?

Les preuves in vitro proviennent de composants isolés dans un système assemblé par l’expérimentateur, comme une protéine purifiée ou des cellules en culture. Les preuves in vivo proviennent d’un organisme intact, dans lequel interviennent l’absorption, la distribution, le métabolisme et l’élimination. La différence ne tient pas à la rigueur mais au contenu : un système in vivo contient les variables qui empêchent le plus souvent un résultat in vitro de se généraliser.

Un essai de liaison à un récepteur prédit-il un effet comportemental ?

Non. L’affinité de liaison est une condition nécessaire à un effet médié par une cible, et non une condition suffisante. Un composé peut se lier à une cible isolée et ne jamais atteindre cette cible chez un animal vivant, être éliminé trop rapidement ou engager d’autres cibles aux conséquences opposées. Les données de liaison restreignent les mécanismes possibles ; elles n’établissent pas qu’un quelconque effet comportemental se produit.

Pourquoi les études animales ne se répliquent-elles pas chez l’être humain ?

En partie en raison des différences entre espèces, et dans une large mesure en raison des pratiques de communication et de publication des résultats. Une revue systématique du BMJ comparant les expérimentations animales aux essais cliniques a constaté des discordances dans les deux sens, notamment des interventions bénéfiques dans les modèles animaux et nocives ou inefficaces chez les patients. Lorsque les études animales omettent de rapporter la randomisation, l’insu et la taille de l’échantillon, leurs tailles d’effet ne peuvent pas être pondérées de manière fiable.

Comment le biais de publication affecte-t-il la recherche animale ?

Il gonfle l’efficacité apparente en retirant les résultats négatifs du corpus publié. Dans la littérature animale sur l’accident vasculaire cérébral ischémique aigu, sur 525 publications identifiées au moyen de seize revues systématiques, seules environ 2 pour cent ne rapportaient aucun effet significatif sur le volume de l’infarctus. L’analyse trim-and-fill a indiqué que le biais pourrait expliquer environ un tiers de l’efficacité rapportée dans les revues de ce domaine.

Pourquoi la puissance statistique est-elle faible dans les études en neurosciences ?

En raison de la petite taille des échantillons, combinée à des tailles d’effet réelles modestes. Une analyse parue dans Nature Reviews Neuroscience a rapporté que la puissance moyenne dans l’ensemble des neurosciences est très faible, et a expliqué qu’une faible puissance réduit à la fois la chance de détecter un effet réel et la probabilité qu’un résultat significatif soit réel. Les résultats significatifs qui subsistent sont donc systématiquement surestimés en ampleur.

Combien de réplications ont atteint la significativité statistique dans la grande étude de réplication en psychologie ?

Trente-six pour cent. Dans une réplication collaborative de 100 études expérimentales et corrélationnelles issues de trois revues de psychologie, 97 pour cent des études originales avaient rapporté des résultats statistiquement significatifs, contre 36 pour cent des réplications. Les tailles d’effet des réplications étaient en moyenne deux fois plus faibles que celles des originaux, et 39 pour cent des effets ont été jugés subjectivement comme répliqués.

Pourquoi un mécanisme proposé est-il encore qualifié d’hypothèse ?

Parce qu’un mécanisme est une chaîne de liens causaux, et que la plupart des travaux publiés n’en démontrent que le premier. L’établir exige un engagement de la cible démontré dans le système vivant, une relation concentration-réponse cohérente avec le modèle, la disparition de l’effet lorsque la cible est bloquée, et une reproduction indépendante. Tant que ces éléments ne sont pas réunis, le mécanisme reste une proposition compatible avec les données.

Références

Réservé à la recherche. Nonsensia fournit des étalons de référence analytiques destinés au laboratoire et à la recherche. Cet article est publié à des fins scientifiques et pédagogiques. Il ne constitue pas un avis médical, il ne décrit aucune utilisation chez l’être humain et rien de son contenu ne doit être interprété comme une recommandation d’administrer une quelconque substance à une personne ou à un animal.

Classé dans : Recherche sur les nootropiques

Nonsensia fournit les composés traités dans ce guide comme étalons de référence analytiques à usage de laboratoire et de recherche.

Les données probantes sur les composés de recherche en cognition : guide critique