הסתברות/חזאים

חזאי אופטימלי

הגדרה: חזאי אופטימלי החזאי האופטימלי של Y בהינתן X במובן מינימום שגיאה ריבועית הוא פונקציה כלשהי h, כך שלכל פונקציה אחרת g מתקיים: $\ \mathbb {E} (Y-h(x))^{2}\leq \mathbb {E} (Y-g(X))^{2}$.

חזאי (נקרא גם: משערך) הוא פונקציה אשר נותנת הערכה למשתנה מקרי כלשהו, בהינתן תוצאת דגימה של משתנה מקרי אחר. במילים אחרות: אם X הוא המצוי ו-Y הוא הרצוי אז:

משפט: חזאי אופטימלי החזאי האופטימלי של Y בהינתן X מסומן על ידי $\ h(X)={\hat {Y}}$ והוא שווה לתוחלת המותנה של Y בהינתן X: $\ h(X)={\hat {Y}}=\mathbb {E} (Y|X)$. כללית: אם X הוא ו"א n מימדי, ואנו רוצים למצוא על פיו את הערך הטוב ביותר עבור Y, אז $\ {\hat {Y}}=h({\vec {X}})$.

כלומר אנו רוצים למצוא פונציה h כזו, כך שיתקיים: $\ \mathbb {E} (Y-h(X)|X)=0$.

תכונות

• אם X,Y בלתי תלויים, אז $\ {\hat {Y}}=\mathbb {E} Y$.

דוגמאות

• יהי X מ"מ חיובי, ו-Y מפולג באחידות בין 0 ל-X. כאן $\ {\hat {Y}}={X \over 2}$ כי התוחלת של Y בהינתן X היא הניחוש הטוב ביותר (הקרוב ביותר) עבור ערכו של Y.

חזאי לינארי אופטימלי

כשמו כן הוא: החזאי הלינארי הוא פונקציה של קו ישר כזה, שיתן את הערך הטוב ביותר עבור מ"מ כלשהו, בהינתן מ"מ אחר. ברוב המקרים החזאי האופטימלי טוב יותר מהחזאי הלינארי האופטימלי, אך הוא גם קשה יותר לחישוב. נוח במיוחד להשתמש בחזאי הלינארי כאשר לא יודעים את חוק ההסתברות אלא רק את שני המומנטים הראשונים.

הגדרה: חזאי לינארי אופטימלי החזאי הלינארי האופטימלי של Y בהינתן X הוא פונקציה לינארית כלשהי $\ {\hat {Y}}_{L}=h(X)=aX+b$, כך שלכל פונקציה לינארית אחרת g מתקיים: $\ \mathbb {E} (Y-h(x))^{2}\leq \mathbb {E} (Y-g(X))^{2}$.

משפט: חזאי לינארי אופטימלי החזאי הלינארי האופטימלי של Y בהינתן X הוא: $\ {\hat {Y}}_{L}={\sigma _{X,Y} \over \sigma _{X}^{2}}(X-\mu _{X})+\mu _{Y}$, או בצורה הסימטרית: $\ {{\hat {Y}}_{L}-\mu _{Y} \over \sigma _{Y}}=\rho _{X,Y}{X-\mu _{X} \over \sigma _{X}}$.

הוכחה

אנו מחפשים את ערכו של הביטוי $\ \min _{a,b}\mathbb {E} (Y-aX-b)^{2}$. לכן נשווה את הנגזרת שלו לפי a ולפי b לאפס:

$\ \mathbb {E} (Y-aX-b)^{2}=\mathbb {E} Y^{2}+a^{2}\mathbb {E} X^{2}+b^{2}-2a\mathbb {E} XY-2b\mathbb {E} Y+2ab\mathbb {E} X$

$\ \Rightarrow \quad {\begin{cases}{\partial \over \partial a}=2a\mathbb {E} X^{2}-2\mathbb {E} XY+2b\mathbb {E} X=0\\{\partial \over \partial b}=2b-2\mathbb {E} Y+2a\mathbb {E} X=0\end{cases}}\quad \Rightarrow \quad a={\sigma _{X,Y} \over \sigma _{X}^{2}}\ ,\ b=\mu _{Y}-{\sigma _{X,Y} \over \sigma _{X}^{2}}\mu _{X}$

דוגמאות

פרק זה לוקה בחסר. אתם מוזמנים לתרום לוויקיספר ולהשלים אותו. ראו פירוט בדף השיחה.

הפרק הקודם: וקטורים גאוסיים

חזאים

הפרק הבא: דף נוסחאות