Теоретическая часть

1.Основные непрерывные распределения

1). Равномерное распределение

СВ Х распределена равномерно на отрезке [a; b] (X~R(a; b)) , если плотность вероятности имеет вид:

m_x= (a+b)/2

D_x = (b-a)²/12 =σ_x²

σ_x=(b-a)/2· √3

2) Экспоненциальное распределение

            λe^-λe, x ≥ 0

f_x(x)= 

            0, x < 0

              1-e^-λx , x ≥ 0

F_x (x)=

                      0, x < 0

M[X]= ∫x f_x(x) dx = ∫x λe^-λxdx = 1/x∫te^-tdt = 1/x

m_x =1/λ

D[X]= M[X²] – (m_x)² = ∫x² λe^-λxdx- (1/x)²

D_x= 1/λ²

σ _x= √D_x= 1/x

Этим распределением описываются многие важные величины: время безотказной работы изделия, длина промежутка времени между звонками на телефонной станции, время обслуживания клиента в системе массового обслуживания. При этом параметр λ имеет следующий смысл: если х- время обслуживания клиента (x ≥ 0), то m_x=M[X] среднее время обслуживания клиента

m_x=1/λ; λ=1/m_x – ожидаемое количество обслуживания клиентов в единицу времени.

T~E(λ)

P(T₁ ≤ T ≤ T₂)  = F_T(T₂) – F_T(T₁) = (1-exp{-λ ·T₂}) – (1-exp{-λ ·T₁}) =

= exp{-λ ·T₁} – exp{-λ ·T₂}

0 ≤ T₁ < T₂

3).Нормальное (гауссовское) распределение.

CВ Х имеет нормальное распределение с параметрами а и D>0, если ее плотность вероятности имеет следующий вид

f_x(x)=(1/√2π·D) exp{-(x-a)²/ D}

X~N(a; D)

M[X]= m_x= a

D[X]= D_x= σ_x²= D

X~N(m_x; σ_x²)         σ₁        σ₂

σ₂> σ₁

m₂> m₁

Функция распределения нормальной СВ имеет следующий вид:

F_x(x)= Ф((x- m_x)/ σ_x), где

Ф(z)= (1/√2π)∫exp{-x²/2}dx – интеграл вероятности или функция Лапласа

Замечание: часто вместо функции Ф(z) используется функция

Ф₀(z)= (1/√2π)∫exp{-x²/2}dx

Связь между функциями следующая:

           0,5+ Ф₀(z), если z > 0

Ф(z)=

           0,5– Ф₀(z), если z < 0

Функция Лапласа обладает следующими свойствами:

1)     0 ≤ Ф(z) ≤ 1

2)     Ф(z) возрастает

3)     Ф(z)=1, если z > 5

4)     Ф(z)=0, если z < -5

Вычисление вероятности попадания гауссовской величины в отрезок

X~N(m_x; σ_x²)

F_x(x) = Ф((x- m_x)/ σ_x) = F_x(x)= Ф((x- m_x)/ √D_x)

P(α ≤ X ≤ β) = F_x(β) – F_x(α) = Ф((β - m_x)/ σ_x) – Ф((α - m_x)/ σ_x)

Замечание: пусть  m_x=0, σ_x²=1, тогда Х имеет распределение

X~N(0; 1) – стандартное нормальное распределение

F_x(x) = Ф(x)

Следовательно функция Лапласа есть распределение стандартной нормальной СВ

P(α ≤ X ≤ β) = Ф(β) – Ф(α) – для X~N(0; 1)

2. Распределений хи-квадрат.

Пусть U_k, k= 1,n, - набор из n  независимых нормально распределенных СВ, U_k~N(0; 1). Тогда СВ

Х_n=∑U_k² имеет распределение хи-квадрат с n степенями свободы, что обозначается как Х_n~χ²(n).

Число χ²(n) находится по таблице распределения χ². Это число зависит от степеней свободы n и от уровней значимости α.

Стандартный α=0,05

3.Выборка

Х₁, Х₂, …, Х_n независимые одинаково распределенные СВ.

Такая последовательность называется выборкой объема n.

Пусть в результате конкретного опыта СВ Х приняла какое-то значение

Х₁→х₁, Х₂→х₂, …, Х_n→х_n

Х_k – реализация СВ  Х_k в k-м опыте k=1+n

{ x₁, x₂, …, x_n} – реализация выборки объема n

По условию СВ Х₁, Х₂, …, Х_n, которые называются элементами выборки одинаково распределены, т.е. функция распределения F_x (x) = F_x (x) для всех k, i = 1,…,n

F_x (x) = F₁ (x) = F(x)  – функция распределения любого элемента выборки

Выборка соответствует закону распределения F(x)

f(x)= dF(x)/dx – плотность вероятности, которой соответствует выборка.

M[X_k] = M[X₁] =∫x f(x)dx = a =const

D[X_k] = D[X₁] =∫x² f(x)dx - a² = σ² = const

(a; σ² ) – параметры выборки

Оценивание математического ожидания и дисперсии по выборке

{ x₁, x₂, …, x_n} – реализация выборки.

Оценкой мат. ожидания а по этой выборке называется величина:

X_n = 1/n ∑x_k – выборочное среднее

Реализацией выборки называется неслучайный вектор z_n = col(x₁,…, x_n), компоненты которого являются реализации соответствующих элементов выборки X_i, i=1,n.

Реализацию выборки можно так же рассматривать как последовательность

x₁,…, x_n из n реализаций одной и той же СВ Х, полученных в серии из n независимых одинаковых опытов, проводимых в одинаковых условиях.

Оценкой параметра называется его приближенное значение, построенное по выборке наблюдений.

Т.о. Х_n= а_n – оценка для а

Замечание: можно показать, что оценка Х_n обладает следующим свойством:

1)     Х_n→a при n → ∞ (состоятельность оценки Х_n)

2)     M[X_n]=a (несмещенность оценки)

Выборочной дисперсией называется величина

S_n²= (1/(n-1)) ∑(x_k – X_n)²

Выборочная дисперсия является оценкой для дисперсии

S_n²=σ²

σ_n = √ S_n² = S_n – оценка среднего квадратичного отклонения.

Выборочная (эмпирическая) функция распределения.

Упорядочить элементы выборки по возрастанию

М_n(A) – случайное число появлений события A в серии из n испытаний

W_n(A) = М_n(A)/n – частота события А в серии из n испытаний

Рассмотрим выборку Z_n, порожденную СВ Х с функцией распределения  F_x(x). Определим для каждого х Є R¹ событие A_х= {X ≤ x}, для каждого P(A_х) = F_x(x).  Тогда М_n(A_х) – случайное число элементов выборки Z_n, не превосходящих х

Определение. Частота М_n(A_х) события A_х как функция х Є R¹ , называется выборочной (эмпирической) функцией распределения СВ Х и обозначается

F_n(x) = М_n(A_х).

Для каждого фиксированного х Є R¹ СВ F_n(x) является статистикой, реализациями которой являются числа 0, 1/n, 2/n,…,n/n, и при этом

P{F_n(x) = k/n}= P{М_n(A_х)=k}, k= 1,n.

Любая реализация F_n(x) выборочной функции F_n(x) является ступенчатой функцией. В точках х⁽¹⁾<…< х⁽ⁿ⁾, где х^(k) – реализация порядковой статистики X^(k), функция F_n(x) имеет скачки величиной 1/n и является непрерывной справа.

Свойства.

1)     M [F_n(x)]= F(x), для любого х Є R¹ и любого n ≥ 1

2)     Sup| F_n(x)- F(x)| → 0 при n → ∞

3)     d_n(x) = M[(F_n(x)- F(x))²] = F(x)(1-F(x))/n ≤ 1/4n

4)     (F_n(x)- F(x))/√d_n(x) →U при n → ∞, где СВ U имеет распределение

     N(0; 1)

Гистограмма

1)     Построить вариационный ряд выборки, т.е. элементы выборки упорядочить по возрастанию {x₁,…, x_n} → {x₁,…, x_n}

     х⁽¹⁾<…< х⁽ⁿ⁾

Промежуток Δ= [x₁, x_n] называется размахом выборки.

Все наблюдения принадлежат этому промежутку.

2)Группировки выборки.

Для этого размах выборки делится на k промежутков одинаковой длины.

|Δ_i| - длина промежутка Δ_i

|Δ₁|=|Δ₂|=…=|Δ_n|=|Δ|/k

n_m – число наблюдений попавших в интервал

Группировкой выборки называется набор следующего вида.

(Δ_m; n_m) , m=1,…,k – статистический ряд

2)     Построение гистограммы

Для каждого промежутка Δ_m находится частота

P_m*= n_m/n

Над каждым промежутком Δ_m строится прямоугольник, основанием которого является этот промежуток, а высота равна

h_m= P_m*/ |Δ_m|

Гистограммой называется кусочно-постоянная функция, образованная верхними основаниями построенных прямоугольников.

Гистограмма является оценкой плотности вероятности, построенной по выборке.

4.Понятие о точечном и интервальном оценивании. Свойства точечных оценок: несмещенность и состоятельность.

Оценкой параметра называется его приближенное значение, построенное по выборке наблюдений (θ)

Точечной (выборкой) оценкой неизвестного параметра распределения

θ Є Θ называется произвольная статистика Θ(Z_n), построенная по выборке Z_n и принимающая значение в множестве Θ.

Свойства:

1) Оценка θ(Z_n) параметра θ называется состоятельной, если она сходится по вероятности к θ, т.е. θ(Z_n) → θ при  n → ∞ для любого θ Є Θ.

2) Оценка θ(Z_n) параметра θ называется несмещенной, если ее МО равно θ, т.е. M[θ(Z_n)] = θ для любого θ Є Θ.

5.Метод моментов. Метод максимального правдоподобия.

Оценкой максимального правдоподобия (МП-оценкой) параметра θ Є Θ называется статистика θ(z_n), максимизирующая для каждой реализации Z_n

функцию правдоподобия, т.е.

θ(z_n) = arg max L(z_n, θ)

Способ построения МП-оценки называется методом максимального правдоподобия.

Пусть v_i, i=1,s, - выборочные начальные моменты. Рассмотрим систему уравнений

v_i (θ)= v_i, i=1,s

и предположим, что ее можно решить относительно параметров θ₁,…, θ_s, т.е. найти функции θ_i=φ_i(v₁,…, v_s), i=1,s

Решением полученной системы уравнений θ_i=φ_i(v₁,…, v_s), i=1,s, называется оценкой параметра θ, найденной по методу моментов, или ММ-оценкой.

6. Выборочные моменты

Пусть имеется выборка Z_n=col(x₁,.., x_n) которая порождена СВ Х с функцией распределения F_x(x).

Для выборки Z_n объема n выборочными начальными и центральными моментами порядка r СВ Х называются следующие СВ:

v_r(n) = 1/n∑(x_k)^r, r =1,2,….;

μ _r(n) =  1/n∑(x_k- v_r(n))^r, r =2,3,….;

Выборочным средним и выборочной дисперсией СВ Х называются соответственно:

m_X(n)= v₁(n) = 1/n∑x_k

d_X(n)= μ ₂(n) =  1/n∑(x_k- m_X(n))²

7.Проверка гипотезы о законе распределения выборки по критерию согласия К. Пирсона (χ² - хи-квадрат)

СВ Х имеет распределение χ² с r степенями свободы. Если ее можно представить в следующем виде Х = ∑Х_i² , где Х_i~ N(0; 1)

Х= χ²(r)

Плотность вероятности этой СВ имеет следующий график:

Критическая и доверительная область

Х= χ²(r)

Критической областью значений СВ Х называется промежуток на вещественной оси, в которой СВ Х попадает с некоторой малой вероятностью α.

Это число α называется уровнем значимости критической области.

S – критическая область

P(XЄS) = α<<1

S=R’- S – доверительная область

P(XЄS) = 1-α – близка к 1

Для задания критической области S распределения Пирсона поступают следующим образом:

P(X ≥ χ_кр²(r)) = α

S = [χ_кр²(r); +∞)

P(XЄS) = α – по построению

S = [0, χ_кр²(r)) – доверительная область

Замечание: число χ²(r) находится по таблице распределения χ². Это число зависит от степеней свободы r и от уровней значимости α.

Стандартный α=0,05

Алгоритм критерия Пирсона

1) Формулировка гипотезы

Н₀: имеющаяся выборка соответствует закону распределения F(x)

2) Производится группировка выборки и вычисление частот {P_m*}, m=1÷k

3) Для каждого подынтервала  Δ_m вычисляется вероятность попадания реализации выборки в этот промежуток на основе принятой гипотезы

Δ_m=[z_m; z_m+1]

P_m= F(z_m+1) – F(z_m); m=1÷k

4)     Вычисляется статистика критерия Пирсона

g_n=(n∑(P_m+ P_m*)²/ P_m)+n(P₀+ P_m+1),

где P₀+ P_m+1=1-∑ P_m, n-объем выборки

Теорема. Если проверяемая гипотеза Н₀- верна, то СВ g_n – называемая статистикой критерия Пирсона имеет распределение

g_n ~ χ²(r)

r=k+n₁- n₂-1

k – число интервалов

n₁ – число дополнительных интервалов

n₂ – число неизвестных параметров распределения F(x), которые были заменены их оценкой.

5)     Принятие решения.

Строится критическая область S

S = [χ_кр²(r); +∞)

Если g_n Є S, то гипотеза отвергается

Если g_n Є S, то гипотеза принимается, как не противоречащая данным