הסתברות/תוחלת ומומנטים/שונות

השונות (Variance) היא מדד לפיזור התוצאות של מ"מ סביב התוחלת שלו. ככל שהשונות יותר קטנה, כך התוצאות מרוכזות יותר סביב התוחלת.

הגדרה: שונות יהי X מ"מ. השונות של X מוגדרת על ידי: $\ VarX=\sigma _{x}^{2}=\mathbb {E} (X-\mathbb {E} X)^{2}=\mathbb {E} (X-\mu _{x})^{2}$, והיא קיימת כאשר המומנט השני קיים וסופי.

הגדרה זו מעניקה חשיבות רבה יותר עבור סטיות גדולות, מכיוון שהקשר ריבועי. למעשה, ניתן לכנות את השונות כ"סטייה ריבועית מינימלית ממרכז הכובד".

על מנת שהשונות תקבל משמעות מעשית, מגדירים את סטיית התקן (SD - Standard Deviation):

הגדרה: סטיית תקן יהי X מ"מ. סטיית התקן שלו מוגדרת על ידי: $\ stddevX=\sigma _{x}={\sqrt {VarX}}$.

כך, סטיית התקן היא באותן יחידות של X.

תכונות

• $\ \mathbb {E} (X-a)^{2}=\mathbb {E} (X-\mu )^{2}+(\mu -a)^{2}$
• $\ VarX=\mathbb {E} X^{2}-(\mathbb {E} X)^{2}=m_{2}-m_{1}^{2}$
• אם X מ"מ מנוון המקבל את הערך x₀ בהסתברות 1, אז $\ VarX=0$.
• הזזה לא משפיעה על השונות: $\ Var(X+x_{0})=Var(X)$
• עבור קבוע a כלשהו: $\ Var(aX)=a^{2}VarX$. בדומה, $\ \sigma _{aX}=|a|\sigma _{X}$.
• עבור סכום מ"מ כלשהם: $\ Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)$

דוגמאות

הערה: בכל הדוגמאות להלן q = 1-p.

שונות של משתנה גאומטרי

• יהי $\ X\sim Geom(p)\ ,\ \mathbb {E} X={1 \over p}$ אז:

$\ VarX=\mathbb {E} X^{2}-(\mathbb {E} X)^{2}=\mathbb {E} X(X-1)+\mathbb {E} X-(\mathbb {E} X)^{2}$

נחשב בנפרד את $\ \mathbb {E} X(X-1)$:

$\ \mathbb {E} X(X-1)=\sum \limits _{k=1}^{\infty }k(k-1)pq^{k-1}=pq\sum \limits _{k=2}^{\infty }k(k-1)q^{k-2}=pq\left(\sum \limits _{k=0}^{\infty }q^{k}\right)''=$

$\ =pq\left({1 \over 1-q}\right)''=pq\left({2 \over (1-q)^{3}}\right)={2q \over p^{2}}$

כעת נחבר ונקבל:

$\ VarX={2q \over p^{2}}+{1 \over p}-{1 \over p^{2}}={q \over p^{2}}$

שונות של משתנה בינומי

• יהי $\ X\sim Bin(n,p)\ ,\ \mathbb {E} X=np$ אז:

$\ \mathbb {E} X^{2}=\sum \limits _{k=0}^{n}k^{2}{n \choose k}p^{k}q^{n-k}=p^{2}\sum \limits _{k=0}^{n}k(k-1){n \choose k}p^{k-2}q^{n-k}+p\sum \limits _{k=0}^{n}k{n \choose k}p^{k-1}q^{n-k}=$

$\ =p^{2}\left(\sum \limits _{k=0}^{n}{n \choose k}p^{k}q^{n-k}\right)''+p\left(\sum \limits _{k=0}^{n}{n \choose k}p^{k}q^{n-k}\right)'=$

$\ =\quad p^{2}[(p+q)^{n}]''\qquad +\qquad p[(p+q)^{n}]'\quad =$

$\ =p^{2}n(n-1)+pn=p^{2}n^{2}-p^{2}n+pn=p^{2}n^{2}+npq$

שימו לב כי ניתן להציב p+q=1 רק לאחר שביצענו את הגזירה. השונות, אם כן, היא:

$\ VarX=\mathbb {E} X^{2}-(\mathbb {E} X)^{2}=p^{2}n^{2}+npq-(np)^{2}=npq$

שונות של משתנה פואסוני

• יהי $\ x\sim Pois(\lambda )\ ,\ \mathbb {E} X=\lambda$ אז:

$\ VarX=\mathbb {E} X^{2}-(\mathbb {E} X)^{2}=\lambda ^{2}+\lambda -\lambda ^{2}=\lambda$

שונות של משתנה אחיד

• יהי $\ X\sim U[0,1]\ ,\ \mathbb {E} X={1 \over 2}$ אז:

$\ VarX=\mathbb {E} X^{2}-(\mathbb {E} X)^{2}=\int \limits _{0}^{1}x^{2}dx-\left({1 \over 2}\right)^{2}={1 \over 3}-{1 \over 4}={1 \over 12}$

הרחבה

• יהי $\ X\sim U[a,b]\ ,\ \mathbb {E} X={a+b \over 2}$ אז:

$\ VarX=\mathbb {E} X^{2}-(\mathbb {E} X)^{2}=\int \limits _{a}^{b}x^{2}{x-a \over b-a}dx-\left({a+b \over 2}\right)^{2}=...={(b-a)^{2} \over 12}$

דרך אחרת: נגדיר מ"מ חדש: $\ Z={X-a \over b-a}\sim U[0,1]$. ונשתמש בתכונת ההזזה של השונות:

$\ Var(Z)={1 \over 12}=Var\left({X-a \over b-a}\right)={1 \over (b-a)^{2}}Var(X-a)={1 \over (b-a)^{2}}Var(X)$

ולכן: $\ VarX={(b-a)^{2} \over 12}$.

שונות של משתנה מעריכי

• יהי $\ X\sim Exp(\lambda )\ ,\ \mathbb {E} X={1 \over \lambda }$ אז:

מחדו"א ידוע: $\ \mathbb {E} X^{2}=\int \limits _{0}^{\infty }x^{2}\lambda e^{-\lambda x}dx={2 \over \lambda ^{2}}$,

ולכן: $\ VarX=\mathbb {E} X^{2}-(\mathbb {E} X)^{2}={2 \over \lambda ^{2}}-{1 \over \lambda ^{2}}={1 \over \lambda ^{2}}$

שונות של משתנה נורמלי

• יהי $\ X\sim N(0,1)\ ,\ \mathbb {E} X=0$ אז:

$\ VarX=\mathbb {E} X^{2}-(\mathbb {E} X)^{2}=m_{2}-0^{2}=1$

שימו לב כי הצפיפות הגאוסית מוגדרת כך שהפרמטר הראשון הוא התוחלת, והשני הוא השונות, ולכן ברור רק מהסתכלות ש- $\ VarX=1$.

שונות של משתנה גאוסי כללי

• יהי $\ X\sim N(\mu ,\sigma ^{2})$ אז:

נגדיר מ"מ חדש: $\ Z={X-\mu \over \sigma }\sim N(0,1)$. אז:

$\ Var(X)=Var(\sigma Z+\mu )=\sigma ^{2}Var(Z)=\sigma ^{2}$

שימו לב כי הצפיפות הגאוסית מוגדרת כך שהפרמטר הראשון הוא התוחלת, והשני הוא השונות, ולכן ברור רק מהסתכלות ש- $\ VarX=\sigma ^{2}$.

הפרק הקודם: מומנטים

שונות

הפרק הבא: אי שוויון מרקוב