سیمونز، نلسون و سیمونسون: «درجاتِ آزادیِ پژوهشگر» و p-hacking
جلسهٔ ۲۸ از ۵۰ · فلسفه‌یِ علمِ روان‌شناسی
جوزف سیمونز، لیف نلسون و اوری سیمونسون در ۲۰۱۱ نشان دادند چطور مجموعه‌ای از تصمیم‌هایِ کوچک و به‌ظاهر بی‌گناهِ تحلیلِ داده — که هرکدام به‌تنهایی رایج و قابلِ‌دفاع است — می‌تواند تقریباً هر داده‌ای را به یک نتیجه‌ی «معنادار» تبدیل کند. مقاله‌شان، با نمایشی که ادعا می‌کرد گوش‌دادن به یک ترانه‌ی کودکانه سنِ شنونده را کم می‌کند، این خطر را ملموس ساخت.
رویکردِ درمانی: فلسفه‌یِ علم؛ روش‌شناسیِ پژوهش
این جلسه برایِ چه کسی است
برایِ کسی که فکر می‌کند p-hacking فقط تقلبِ آگاهانه‌ی چند پژوهشگرِ بدذات است، و می‌خواهد بداند چطور ده‌ها تصمیمِ کوچک و کاملاً رایج در تحلیلِ داده — که هرکدام به‌تنهایی بی‌گناه است — می‌تواند تقریباً هر ادعایِ بی‌معنایی را «معنادار» جلوه دهد.
در این جلسه چه می‌گذرد
جلسه‌ی قبل دید که وقتی سرنوشتِ یک یافته به عبورکردن از آستانه‌ی p کمتر از ۰٫۰۵ گره می‌خورد، انگیزه‌ای قوی برایِ رسیدن به آن آستانه شکل می‌گیرد. جوزف سیمونز، لیف نلسون و اوری سیمونسون، در **False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant** (۲۰۱۱، Psychological Science)، دقیقاً همین مکانیسم را با ریاضیات و یک نمایشِ تجربی روشن کردند. مفهومِ کلیدی‌شان «درجاتِ آزادیِ پژوهشگر» (researcher degrees of freedom) است: در طراحی و تحلیلِ هر مطالعه، ده‌ها تصمیمِ کوچک وجود دارد — کدام متغیرِ وابسته را گزارش کنیم، چه زمانی جمع‌آوریِ…
چرا این جلسه اینجایِ مسیر است
سومین جلسه‌ی خوشه‌ی چهارم است و مکانیسمِ پنهانِ پشتِ دوگانه‌سازیِ جلسه‌ی ۲۷ را نشان می‌دهد؛ فرمولِ ریاضیِ اینکه این مکانیسم چطور اکثریتِ یافته‌ها را نادرست می‌کند، موضوعِ دقیقِ جلسه‌ی بعد است.
تمرین‌هایِ این جلسه — و اینکه چه چیزی به شما می‌دهند
فهرست‌کردنِ درجاتِ آزادی، پیش از دیدنِ داده
زمان: ۲۵ دقیقه
این تمرین مفهومِ انتزاعیِ درجاتِ آزادیِ پژوهشگر را با تجربه‌ی مستقیمِ شمردنِ آن‌ها در یک پرسشِ واقعی ملموس می‌کند و پلی به پیش‌ثبتِ جلسه‌ی بعد می‌سازد.
مراحلِ اجرایِ هر تمرین، قدم‌به‌قدم، درونِ اپ است.
ادامه‌یِ این جلسه در اپ ←