Många vetenskapliga studier inte så vetenskapliga

Ett allt mer uppmärksammat fenomen är att det blir svårare att replikera resultat som utförts i tidigare vetenskapliga studier. Detta gäller bl a inom psykologi och medicin. En rimlig förklaring till detta är att de inte inte var så vetenskapliga till att börja med. Det borde t ex kunna bero på att:

• Man subjektivt felbedömt uppmätta data
• Att man bestämt vad som är signifikant (mindre än 5% sannolikhet att det är slumpen) efter studien har börjat, t ex att man letat efter hårlängds korrelation med födelsevikt, men istället "upptäcker" ett samband mellan hårlängd och längd vid födseln, dvs man shoppar runt bland variabler tills man hittar de som slumpmässigt är signifikanta. Signifikanskriteriet kan ju nämligen bara gälla om man satt vad det är man letar efter i förväg (a priori)
• Att man upprepar med olika experiment tills man når en signifikans

En diskussion om den svinnande signifikansen vid upprepade experiment finns i The New Yorker:

This suggests that the decline effect is actually a decline of illusion. While Karl Popper imagined falsification occurring with a single, definitive experiment—Galileo refuted Aristotelian mechanics in an afternoon—the process turns out to be much messier than that. Many scientific theories continue to be considered true even after failing numerous experimental tests. Verbal overshadowing might exhibit the decline effect, but it remains extensively relied upon within the field. The same holds for any number of phenomena, from the disappearing benefits of second-generation antipsychotics to the weak coupling ratio exhibited by decaying neutrons, which appears to have fallen by more than ten standard deviations between 1969 and 2001.

Det finns ju också en möjlighet att världen tröttnar på signifikansen och justerar sig, men det är vad man skulle kalla ett "Extraordinary claim"