과학자로서,우리는 모두 통계 교육의 일정 수준을 받았다. 기본 개념은 우리가 특정 인구에 대한 추론을하려고하지만,우리는 그 인구에 속하는 사람,개,아메바 등의 샘플에 액세스 할 수 있다는 것입니다. 예를 들어 아메바를 무작위로 샘플링함으로써 우리는 데이터를 수집하고 통계 테스트를 수행하여 우리가 테스트 한 아메바뿐만 아니라 전체 인구에 대해 뭔가를 배웁니다.
우리는 모든 아메바에서 데이터를 수집 할 수 없기 때문에,우리의 결론은 불확실성과 함께 제공됩니다. 우리의 결론이 전체 인구에 얼마나 잘 적용되는지,얼마나 일반화 가능한지는 우리의 표본이 인구를 얼마나 잘 대표하는지에 달려 있습니다. 우리가 채취 한 소수의 아메바는 특히 공격적 일 수 있습니다. 이 특성은 인구의 대부분의 아메바에 의해 공유되지 않지만,현재 연구에 침략 척도를 포함하지 않았기 때문에 우리의 표본이 대표적이지 않다는 것을 알 방법이 없습니다.
그러나,우리의 통계 분석은 흥미로운 발견을 공개하기 때문에,우리는 원고를 초안하고 최고 아메바 저널에 제출. 중요한 것은,우리는 우리의 샘플이 전체 인구의 사실 대표 관점에서 원고 초안. 우리의 결과가 매우 중요했기 때문에 우리는 중요한 것을 발견했다고 확신합니다. 그러나 이것은 사실 사실인가?
평균적으로,진정으로 무작위로 선택된 큰 표본은 작은 표본보다 전체 인구를 더 대표 할 것입니다. 그러나 과학은 작은 샘플에 대해 수행 된 연구로 가득 차 있으며,대부분의 경우 전체 인구를 대표하지는 않습니다. 왜 그렇게 많은 작은 연구가 있습니까? 40 여 년 전 노벨상 수상자 다니엘 카너먼이 지적한 바와 같이,문제의 일부는 인간이 쇼를 운영하고 있다는 것입니다…
소수의 법칙에 대한 믿음
1971 년 심리학 게시판에 발표 된 논문에서 소수의 법칙에 대한 믿음,트 베르 스키&카너먼은 인간인 과학자들이 우연의 법칙에 대한 직관이 좋지 않기 때문에(즉,우연의 법칙에 대한 직관이 좋지 않다고 주장한다.) 확률),무작위로 선택된 표본이 연구 된 인구를 매우 대표한다는 압도적 인(그리고 잘못된)믿음이 있습니다. 저자는 과학자에 대한 일련의 설문 조사를 수행하여이 가설을 테스트(및 확인)했습니다.
신뢰 구간.
“신뢰 구간은,그러나,표본 추출 가변성의 유용한 색인을 제공하고,정확하게 우리가 과소평가해 경향이 있는 이 가변성입니다.”
저자는 주요 연구 결과를 다음과 같이 요약했습니다:
- 과학자들은 그들에 대한 확률이 부당하게 높다는 것을 깨닫지 않고 작은 샘플에 대한 연구 가설을 도박. 과학자들은 힘을 과대 평가합니다.
- 과학자들은 초기 추세와 관찰 된 패턴의 안정성에 대해 불합리한 확신을 가지고 있습니다. 과학자들은 중요성을 과대 평가합니다.
- 복제를 평가할 때 과학자들은 중요한 결과의 복제 가능성에 대해 부당하게 높은 기대를 가지고 있습니다. 과학자들은 신뢰 구간의 크기를 과소 평가합니다.
- 과학자들은 불일치에 대한 인과 적”설명”을 찾기 때문에 기대에서 샘플링 변동성에 대한 결과의 편차를 거의 기인하지 않습니다. 따라서,그들은 행동의 샘플링 변화를 인식 할 기회가 거의 없습니다. 과학자들은 작은 숫자에 대한 믿음을 스스로 영속시킵니다.
통계 전력 및 샘플 크기.
“심각한 조사자가 유효한 연구 가설을 확인하지 못할 50%의 위험을 의도적으로 받아 들일 것이라고 믿지 마십시오.”
새로운 것은 없다
현재 재현 가능한 과학의 맥락에서 논의되고있는 많은 주제들도 30 년 전에 논의되고 있다는 점은 흥미로웠다. 예를 들어,”엄청나게 힘이 부족한 연구”의 존재,핵심 발견 재현의 중요성,복제 연구에 사용할 샘플 크기,피 값의 한계,과학적 결과를 해석하고 보고하는 데 존재하는 편향.
그러한 분명한 사상가들이 주도권을 쥐고 있는데,왜 이러한 문제들이 해결되지 않았고 그 해결책들이 수십 년 전에 실행되었는가?
피 값에 의존.
“통계적 유의성 수준에 대한 강조는 효과의 크기와 통계적 유의성 사이의 근본적인 차이를 모호하게하는 경향이있다. 표본 크기에 관계없이 한 연구에서 효과의 크기는 복제에서 효과의 크기에 대한 합리적인 추정치입니다. 대조적으로,추정 유의 수준은 복제가 표본 크기에 매우 의존한다.”
요약
작은 샘플의 결과가 전체 인구를 대표한다는 믿음은인지 적 편견입니다. 따라서,그것은 우리가 심지어 그것에 대해 알지 못하고 활동적입니다. 노력은 우리자신에서 그것을 인식하기 위하여 발휘되어야 하고,그것의 충격을 제한하기 위하여 예방책은 그 자리에 뒀다. 이러한 예방 조치의 예로는 관찰 된 효과의 크기와 확실성,연구 프로토콜 및 분석 계획의 사전 등록 및 맹검 데이터 분석에 중점을 두는 것이 있습니다.