יופי היי – זכיתי בתחרות כדור הבדולח!

בראש השנה האחרון הכריז הסטטיסטיקאי יוסי לוי בבלוג המצויין שלו על תחרות – תחרות כדור הבדולח (כדאי לכם לקרוא על התחרות בבלוג של יוסי. למשל כאן וכאן). המטרה היתה לחזות ארועים אזוטריים כמו תוצאת גמר היורוליג, מפלס הכנרת ביום מסויים, ערכה של מניית גוגל ביום מסויים וכו’. כל משתתף שלח תחזית לגבי 10 ארועים ולכל תחזית הצמיד המשתתף מספר – “סטיית תקן”, שמייצג את רמת הבטחון שלו בתחזית שנתן. עברה כמעט חצי שנה. הארועים המדוברים קרו, המעטפות נפתחו, והתחזיות נבדקו. קצת נוסחאות אקסל – והופ, התברר שזכיתי בתחרות. זכיתי כי חזיתי? לא בדיוק. בואו אגלה לכם את הסוד.

כפי שקורה בתחרויות רבות, ובחיים בכלל, מה שחשוב לא פחות מלדעת לעשות דברים היטב, זה לדעת איך הצלחה נמדדת (לא תמיד הקורלציה ביניהם גבוהה). לפיכך קראתי היטב ולמדתי את הנוסחה לפיה מחשב יוסי את הניקוד בתחרות. הנוסחה מכילה מרכיב של דיוק בתחזית, ומרכיב שמשקלל את “סטיית התקן” או טווח הבטחון שכל משתתף נותן לתחזיות. אם משתתף טעה בתחזית, אך נשאר בטווח הבטחון שלו, הוא מרוויח קצת ניקוד (מה שעשוי לעודד לתת טווח בטחון גדול). באותו זמן, המשתתף משלם “קנס” שהוא גדול יותר ככל שטווח הבטחון גדול יותר, מה שעשוי לעודד לתת טווח בטחון מצומצם ככל האפשר. קוראים לזה בעברית מדוברת “טריידאוף”.

עכשיו, אין לי מושג איך לחזות את העתיד, וידעתי שעל החלק הזה אין לי שום אפשרות לשלוט (ובאמת, אם מסתכלים אך ורק על מידת הדיוק, אינני זוכה במקום הראשון בתחרות). אבל למצוא נקודה מוצלחת בטריידאוף בנוגע לטווח הבטחון – שם אולי אוכל לעשות משהו חכם. בדיקה קצרה של הנוסחה, שאומתה אחר כך באמצעות סימולציה ממוחשבת, העלתה שטווח הבטחון האופטימלי צריך להיות בערך 20% מתוחלת השגיאה הצפויה (הדבר נכון אך ורק לנוסחא עליה הצהיר יוסי. עבור נוסחאות אחרות, ייתכן שצריך היה לבחור אסטרטגיה אחרת). כמובן שאין לי מושג א-פריורי מה תהיה השגיאה, אבל אני יכול לדעת פחות או יותר מה הטווח הסביר של התוצאות (מאד לא סביר, למשל, שהשכר הממוצע יעלה מעל 10000 ש”ח בטווח הזמן הנתון), ולכן גם את הטווח הסביר של השגיאות (בהינתן ה”התחזית” שלי). אבל מה שחשוב זה העקרון: טווח הבטחון שלי צריך להיות קטן בהרבה (בערך פי 5) ממה שנראה לי סביר. במלים אחרות, אני צריך לשדר הרבה בטחון עצמי בהערכות שלי, גם אם אין לי שום ביסוס לכך. כך עשיתי. וזכיתי. (להגנתי אומר שעוד בפוסט שהכריז על התחרות הגבתי וקראתי למשתתפים לשים לב היטב לשיטת הניקוד כיוון שהיא עשויה להשפיע על אסטרטגיית ההשתתפות שלהם.)

לקח כללי חשוב מאד מהסיפור הוא “דעו את כללי המשחק, ופעלו ביחס אליהם”. אבל לא על זה רציתי לכתוב. אני חושב שגישת “שדרו ופעלו בבטחון מעבר למה שיש לכם” הוא לקח חשוב לא פחות. הוא נכון, כמובן, לנוסחה של יוסי, אבל החיים מזמנים לנו לא מעט מקרים בהם אנחנו צריכים לקבל החלטות בנוגע למצב לא ודאי (בין אם זה העתיד, או אפילו ההווה והעבר כאשר אין לנו אינפורמציה שלמה ומהימנה לגביהם). בהרבה מקרים ההצלחה או הרווח שלנו תלויים ביכולת להיות מדוייקים, ואנחנו נזהרים מטעויות. אבל לפעמים דווקא הזהירות, או טווח הבטחון שאנחנו לוקחים, מזיק לנו. “טווח הבטחון” בהקשר הכללי יותר לא חייב להיות ה”פלוס-מינוס”, הוא יכול, למשל, להתבטא בהססנות – מה שעשוי לגרום לפספוס הזדמנויות או פעולה בתזמון לא נכון. לפעמים טווח הבטחון מתבטא בנקיטת פעולת “פרווה”, רק כדי לבדוק את השטח. אם נטעה לא נפסיד, אבל גם לא נפיק את מה שאפשר היה להשיג בסיטואציה. בחיים אין נוסחאות, וקשה לחשב הנקודה האופטימלית בטריידאוף בין נקיטת משנה זהירות או הליכה בכל הכח בבטחון קדימה. כאמור, אני חושב שלפעול כאילו אתם בטוחים בעצמכם מעבר למה שאתם באמת, זו אסטרטגיה טובה לחיים. לקח מתחרות כדור הבדולח שגם יש לו ביסוס מחקרי: מחקרים מראים שחוללות עצמית – הבטחון של אדם ביכולתו לבצע משימה מסויימת – אכן מנבאים היטב הצלחה בביצוע המשימה.

אבל הקוראים חדי העין שביניכם, מיד שמים לב לסתירה לכאורה בין המסקנה שלעיל לבין ההמלצה שלי בפוסט הקודם על למידה בייזיאנית. שם המלצתי להסתכל על העולם כאילו אתם בטוחים פחות ממה שאתם באמת. המלצתי לכם לתת לכם הזדמנות לגלות שאתם טועים. איך שתי ההמלצות מתיישבות זו עם זו?

בלי שום בעיה, באמת. כשאתם פועלים (או בוחרים בין כיווני פעולה אפשריים) לכו על גישת בטחון היתר, כלומר שדרו בטחון מעבר למה שיש לכם. כשאתם מנסים להבין את העולם שמסביבכם, דמו לעצמכם שההסתברות שאתם טועים גדולה יותר ממה שאתם חושבים. כך תוכלו ללמוד יותר מכל דבר שקורה סביבכם. בהקצנה אפשר לומר: לימדו כאילו אינכם יודעים דבר, פעלו כאילו אתם יודעים הכל. ומיד להוסיף: אל תגזימו. אפילו בנוסחה של יוסי, רמת הבטחון היתה צריכה להיות כ20% מתוחלת השגיאה. לא אפס.

תודה ליוסי לוי על ארגון התחרות. נהניתי ממנה מאד.



תגובות

  1. זורקין כותב:

    מענין לדעת האם לאחר שהקדשת זמן ללימוד הנוסחה, הקדשת גם זמן לקביעת הנתון הנדרש? למשל ע”י בדיקת ההיסיטוריה של הפרמטרים הנבדקים כמו: מפלס הכנרת ביום מסויים, ערכה של מניית גוגל ?

    וביטחון עצמי, אכן לרוב עוזר בחיים.המנהלים לא יכולים להבין בכל דבר, ולכן עם “בעל הבטחון” העצמי הם רגועים.

  2. amit כותב:

    הקדשתי בדיוק 5 דקות לקביעת התחזית עצמה. הסתכלתי בלינקים שיוסי סיפק עם נתוני עבר, ראיתי פחות או יותר מה הטווח (בעין. שום ניתוח סטטיסטי), ובחרתי מספר שנראה לי פחות או יותר סביר בטווח הזה, בלי לחשוב יותר מדי.

    לגבי מפלס הכנרת המצב היה שונה. הערתי על כך גם בבלוג של יוסי עוד לפני התחרות. תאריך היעד למדידת מפלס הכנרת חל רק 3 ימים לאחר המועד האחרון להגשת התחזיות. כיוון שמפלס הכנרת זז לאט (במיוחד כשאין גשם), ותחזיות גשמים ליומיים שלושה קדימה הן די מדוייקות, אפשר היה ממש לחשב את מפלס הכנרת – ואכן התחזית שלי למפלס הכנרת היתה מדוייקת לגמרי, ללא שגיאה בכלל. הופתעתי שלא כל המתחרים עשו כך.

    ועדיין, אפילו בהינתן ה”מתנה” הזו, במבחן התחזיות נטו, לא הייתי הטוב ביותר. אלא רק “הבטוח בעצמו במידה המתאימה ביותר”.

  3. גלעד כותב:

    מעניין ביותר, וחומר למחשבה

הוספת תגובה