Je tiens à signaler que j'ai suggérer cette anecdote il y a pas mal de temps, avant l'affaire du Lancet (mais après le début de l'affaire Raoult), mais ce problème est (malheureusement) connu depuis longtemps et est un vrai cancer en science, auquel il est difficile de trouver une solution. Retenez donc qu'un article publié après avoir été revu par les pairs est effectivement un gage de qualité, mais qu'il n'est malheureusement pas synonyme de vérité (c'est quand même toujours mieux que des préprint ou même des anecdotes personnelles qui n'ont aucune valeur en science).

D'expérience, il n'est pas impossible que pour certaines expériences de Psycho de la fac (je dis bien certaines), certain sujet qui vont te plomber ta moyenne soit joyeusement "écarté", les données ne sont pas bidonnées, juste légérement arrangées ;-) En même temps, en pyscho si je me souviens, la plupart des sujets restent les étudiants eux même...

Il y a aussi l'hypothèse que les résultats sont bidonnés, qui paraît évidente mais qui n'est pas mentionnée dans l'anecdote. Ou c'est ce que veut dire "manipulations légères" ? Cette expression serait alors un euphémisme car il est arrivé que, pour étayer leur publication, les auteurs inventent carrément des résultats d'expériences qui n'ont jamais eu lieu ou qui donnaient des résultats différents, ce qu'ils ont reconnu par la suite. Dans ce cas on pourrait même parler de manipulations vraiment très très légères !

La reproductibilité en sciences humaines poserait la question de l'influence de l'observateur... Et de l'éthique par conséquent. Peu d'études peuvent s'exercer sur des grands échantillons et produire des résultats statistiques reproductibles. Elles décrivent et analysent des phénomènes réels mais ne le peuvent faire qu'en sélectionnant l'échantillon selon le phénomène observé : Par analogie, c'est comme le (vieux) slogan FDJ : "50% des gagnants ont tenté leur chance"... Si vous voulez décrire les trajectoires biographiques des gagnants, vous n'observez pas tous les joueurs mais tous les gagnants. Et l'étude produite sera sur un échantillon trop petit pour être reproductible et rendre prévisible (même statistiquement) la biographie du prochain gagnant. Et si le prochain gagnant correspondait à l'observation précédente, il faudrait envisager que l'étude a pu influencer sur son agir. En sciences dures, il serait inversement inquiétant que la statistique soit changée sensiblement et on soupçonnerait rapidement soit un biais d'observation de l'étude soit une intervention extérieure postérieure

Petite réponse globale : @raean : oui le cas de la mémoire de l'eau est fameux et assez triste. J'avais entendu dire que les résultats n'étaient reproduit que quand un des assistants était présent. En tout cas, comme suggéré ailleurs, si c'est effectivement un problème, il reste minoritaire par rapport à l'ensemble des articles non reproduits. Et merci pour cette reconnaissance de grand chelem ^^ @Agathe, oui, socio et psycho sont clairement des sciences. Et si c'est plus discutable pour les maths, c'est clairement un outil merveilleux. Parfois j'aimerai en avoir fait un peu plus, mais en général l'utilisation "à la physicienne" me suffit (hein, est ce que j'ai vérifié si j'avais le droit d'appliquer ça ? Bah je l'ai appliqué et ca marche, ça va non ?"). @Viwk : Oui tu as raison, ça, ça touche pour moi à un problème lié à la pression de publication et au fonctionnement de la recherche dans son ensemble (même si ça dépend pas mal des domaines, il y en a d'autre où cacher des infos n'est pas très utile). Ceci étant dit, une fois que l'article est publié et que tu as pu exploité ce que tu voulais, normalement, tu devrais avoir gardé tout tes paramètres de coté et être en mesure de les fournir si on te le demandait plus tard. C'est à ce moment la qu'on pourra voir si l'article est réplicable ou non.

Bravo à Khanos qui remporte le grand chelem en étant l'auteur de l'anecdote et des 3 commentaires les mieux notés ! Ça ne doit pas être facile à reproduire, ça non plus !

Oui, j'étais un étudiant de la psychologie et je le connais déjà. Beaucoup des experiment qui ont l'air très cool dans la presse ou journal sont en réalité des résultat des processus très stupides "scientifiques" qui n'ont pas la capacité de reproductibilité en fin de compte.

Mais il y en a qui pensent sincèrement que "psycho" c'est une science ??? https://xkcd.com/435/

D'expérience, il n'est pas impossible que pour certaines expériences de Psycho de la fac (je dis bien certaines), certain sujet qui vont te plomber ta moyenne soit joyeusement "écarté", les données ne sont pas bidonnées, juste légérement arrangées ;-) En même temps, en pyscho si je me souviens, la plupart des sujets restent les étudiants eux même...

Il y a aussi l'hypothèse que les résultats sont bidonnés, qui paraît évidente mais qui n'est pas mentionnée dans l'anecdote. Ou c'est ce que veut dire "manipulations légères" ? Cette expression serait alors un euphémisme car il est arrivé que, pour étayer leur publication, les auteurs inventent carrément des résultats d'expériences qui n'ont jamais eu lieu ou qui donnaient des résultats différents, ce qu'ils ont reconnu par la suite. Dans ce cas on pourrait même parler de manipulations vraiment très très légères !

Je tiens à signaler que j'ai suggérer cette anecdote il y a pas mal de temps, avant l'affaire du Lancet (mais après le début de l'affaire Raoult), mais ce problème est (malheureusement) connu depuis longtemps et est un vrai cancer en science, auquel il est difficile de trouver une solution. Retenez donc qu'un article publié après avoir été revu par les pairs est effectivement un gage de qualité, mais qu'il n'est malheureusement pas synonyme de vérité (c'est quand même toujours mieux que des préprint ou même des anecdotes personnelles qui n'ont aucune valeur en science).