پویش آینده‌نگری

نحوه امتیازدهی

ما برای سنجش دقت پیش‌بینی شما و مقایسه آن با سایر کاربران در این وب‌سایت، از سه معیار عددی مختلف استفاده می‌کنیم: امتیاز بریر (Brier Score)، امتیاز میانه (Median Score) و امتیاز نسبی بریر (Relative Brier Score). همانند ورزش گلف، امتیاز پایین‌تر همیشه به معنای دقت بالاتر است. معیار اصلی ما برای سنجش دقت، «امتیاز نسبی بریر» (که قبلاً «امتیاز دقت» نامیده می‌شد) است که امتیاز شما را با جمع کاربران (crowd) مقایسه می‌کند. امتیازدهی به یک سوال تنها پس از مشخص شدن نتیجه نهایی و بسته شدن آن سوال انجام می‌شود.

در صفحه پروفایل شما، در کنار هر سوال چندین ستون مشاهده می‌کنید. در ادامه توضیحات دقیق‌تری درباره هر یک ارائه می‌شود:

امتیاز بریر (Brier Score)

امتیاز بریر در ابتدا برای سنجش دقت پیش‌بینی‌های هواشناسی پیشنهاد شد، اما می‌توان از آن برای توصیف دقت هر نوع پیش‌بینی احتمالی استفاده کرد. به طور خلاصه، امتیاز بریر نشان می‌دهد که پیش‌بینی شما چقدر از واقعیت فاصله داشته است.

امتیاز بریر، در واقع «مربع خطای» (squared error) یک پیش‌بینی احتمالی است. برای محاسبه آن، ما پیش‌بینی شما را بر ۱۰۰ تقسیم می‌کنیم تا احتمالات شما در بازه بین ۰ (۰٪) تا ۱ (۱۰۰٪) قرار گیرند. سپس، واقعیت را به صورت ۰ (اگر رویداد رخ نداده باشد) یا ۱ (اگر رویداد رخ داده باشد) کدگذاری می‌کنیم. برای هر گزینه پاسخ، ما اختلاف بین پیش‌بینی شما و پاسخ صحیح را محاسبه کرده، آن را به توان دو می‌رسانیم و سپس همه نتایج را با هم جمع می‌کنیم. برای مثال، در یک سوال بله/خیر که شما ۷۰٪ پیش‌بینی کرده‌اید و رویداد اتفاق افتاده است، امتیاز شما به این صورت محاسبه می‌شود:

برای یک سوال با سه نتیجه ممکن (الف، ب، ج) که شما الف = ۶۰٪، ب = ۱۰٪، ج = ۳۰٪ پیش‌بینی کرده‌اید و نتیجه واقعی الف بوده است، امتیاز شما این‌گونه خواهد بود:

بهترین (پایین‌ترین) امتیاز بریر ممکن ۰ و بدترین (بالاترین) امتیاز ممکن ۲ است.

برای تعیین دقت شما در طول عمر یک سوال، ما برای هر روزی که شما یک پیش‌بینی فعال داشته‌اید، یک امتیاز بریر محاسبه کرده، سپس میانگین آن امتیازهای بریر روزانه را گرفته و در صفحه پروفایل شما گزارش می‌دهیم. در روزهایی که شما هنوز اولین پیش‌بینی خود را روی یک سوال ثبت نکرده‌اید، هیچ امتیاز بریری دریافت نمی‌کنید. پس از ثبت اولین پیش‌بینی، ما آن پیش‌بینی را هر روز به روز بعد منتقل می‌کنیم تا زمانی که شما با ثبت یک پیش‌بینی جدید، آن را به‌روز کنید.

امتیاز بریری که با فونت بزرگ در بالای صفحه پروفایل شما نمایش داده می‌شود، میانگین امتیازهای بریر شما در تمام سوالات است.

امتیاز میانه (Median Score)

امتیاز میانه، به سادگی میانه (median) امتیازهای بریر تمام کاربرانی است که در یک سوال پیش‌بینی فعال داشته‌اند (به عبارت دیگر، پیش‌بینی‌هایی که در آن روز یا قبل از آن ثبت شده‌اند). همانند امتیاز بریر شما، ما برای هر روزی که یک سوال باز است، یک امتیاز میانه محاسبه می‌کنیم و امتیاز میانه‌ای که در صفحه پروفایل گزارش می‌شود، میانگین امتیازهای میانه روزانه در طی روزهایی است که شما پیش‌بینی فعال داشته‌اید. ما همچنین میانگین کل در تمام سوالاتی که شما در آن‌ها پیش‌بینی کرده‌اید را گزارش می‌دهیم (در داخل پرانتز زیر امتیاز بریر کلی شما).

امتیاز نسبی بریر (Relative Brier Score)

امتیاز نسبی بریر (که قبلاً «امتیاز دقت» نامیده می‌شد) روشی است که با آن دقت شما را در مقایسه با جمع کاربران می‌سنجیم. این همان معیاری است که ما برای تعیین جایگاه شما در جدول رده‌بندی چالش‌ها و سوالات فردی استفاده می‌کنیم.

برای محاسبه امتیاز نسبی بریر شما در یک سوال، ما میانگین امتیاز بریر روزانه شما را گرفته و میانگین امتیاز بریر میانه روزانه جمع کاربران را از آن کم می‌کنیم. سپس، این اختلاف را در «نرخ مشارکت» شما (Participation Rate) ضرب می‌کنیم که عبارت است از درصد روزهای ممکنی که شما در آن یک پیش‌بینی فعال داشته‌اید. این بدان معناست که امتیازهای منفی نشان می‌دهند شما دقیق‌تر از جمع کاربران بوده‌اید و امتیازهای مثبت نشان می‌دهają که شما (به طور متوسط) کم‌دقت‌تر از جمع کاربران بوده‌اید.

برای چالش‌ها، ما امتیاز نسبی بریر شما را برای هر سوال محاسبه کرده و آن‌ها را با هم جمع می‌کنیم تا امتیاز نسبی بریر تجمعی شما به دست آید. در سوالاتی که شما پیش‌بینی ثبت نمی‌کنید، امتیاز نسبی بریر شما ۰ خواهد بود، بنابراین شما برای شرکت نکردن در یک سوال جریمه نمی‌شوید.