小さなサンプルサイズと小さな数の偏り

科学者として、私たちは皆、統計学の訓練を受け 基本的な概念は、特定の人口について推論しようとしているが、その人口に属する人々、犬、アメーバなどのサンプルにしかアクセスできないということです。 例えば、アメーバをランダムにサンプリングすることで、データを収集し、統計的なテストを行い、テストしたアメーバだけでなく、人口全体について何かを学

すべてのアメーバからデータを収集することができないため、私たちの結論には不確実性があります。 私たちの結論が人口全体にどれだけ適用されるか、それらがどれほど一般化可能であるかは、私たちのサンプルが人口を代表するものであるかに 私たちがサンプリングしたアメーバの数が少ないことは、特に積極的だったかもしれません。 この特性は、人口のアメーバの大部分では共有されていませんが、現在の研究では侵略の尺度を含めていないため、サンプルが代表的ではないことを知

しかし、私たちの統計分析は興味深い発見を明らかにするので、私たちは原稿を起草し、トップアメーバジャーナルに提出します。 重要なのは、私たちのサンプルが実際には全体の人口を代表しているという観点から原稿を起草することです。 私達の結果が非常に重要だったので、私達は私達が重要な何かを発見したことを確信する。 しかし、これは実際には本当ですか？

平均して、本当に無作為に選択された大きなサンプルは、小さいサンプルよりも母集団全体の代表的なものになります。 しかし、科学は、ほとんどの場合、全体の人口を表すものではない小さなサンプルで行われた研究でいっぱいです。 なぜそんなに多くの小さな研究があるのですか？ 40年以上前にノーベル賞受賞者のダニエル-カーネマンが指摘したように、問題の一部は、人間がショーを実行しているということです…

小数の法則に対する信念

1971年にPsychological Bulletinで発表された論文で、小数の法則に対する信念と題され、トヴェルスキー&カーネマンは、人間である科学者は、偶然の法則についての直感が悪いため（すなわち、チャンスの法則についての直感が悪いため）、と主張している。 確率）、無作為に選択されたサンプルが研究された集団の非常に代表的であるという圧倒的な（そして誤った）信念があります。 著者らは、科学者に関する一連の調査を実施することによって、この仮説をテスト（および確認）した。

著者らは、主な調査結果を次のように要約しました:

• 科学者たちは、それらに対するオッズが不当に高いことに気付かずに、小さなサンプルについて研究仮説を賭ける。 科学者は力を過大評価する。
• 科学者たちは、初期の傾向と観測されたパターンの安定性に不合理な自信を持っています。 科学者は重要性を過大評価する。
• 複製を評価する際に、科学者は有意な結果の複製可能性について不当に高い期待を持っています。 科学者は信頼区間の大きさを過小評価しています。
• 科学者たちは、あらゆる不一致の因果的な”説明”を見つけるため、期待からの結果の偏差をサンプリング変動に帰することはめったにありません。 したがって、彼らは行動のサンプリング変動を認識する機会はほとんどありません。 科学者は少数の信念を自己永続させる。

Nothing new

現在、再現可能な科学の文脈で議論されているトピックの多くは、30年以上前にも議論されていたことに注意することは興味深いことでした。 例えば、”途方もなく力不足の研究”の存在、重要な発見を再現することの重要性、複製研究で使用するサンプルサイズ、p値の限界、科学的結果の解釈と報告

そのような明確な思想家が実権を握っていると、なぜこれらの問題は解決されず、その解決策は数十年前に実施されたのでしょうか？

要約

小さなサンプルからの結果が集団全体を代表するという信念は、認知バイアスである。 このように、それは私たちもそれについて知らずにアクティブです。 努力は自分自身でそれを認識するために発揮されなければならず、その影響を制限するための予防措置が講じられなければならない。 そのような予防措置の例には、観察された効果の大きさと確実性、研究プロトコルと分析計画の事前登録、および盲目のデータ分析に焦点を当てることが