Теория вероятностей и математическая статистика/Регрессионный анализ

Рассмотрим две случайные величины $X$ и $Y$. Регрессией $Y$ на $X$ называется математическое ожидание случайной величины $Y$ при условии, что $X=x$: $𝐌(Y|X=x)=\phi (x)$.

График функции $\phi (x)$ называется кривой регрессии.

Если $\phi (x)=ax+b$, то говорят о линейной регрессии $Y$ на $X$.

По данным выборки можно найти выборочные средние $x$, $y$ и исправленные выборочные средние квадратические отклонения $s_x$, $s_y$.

Тогда оценки для коэффициентов $a$ и $b$ имеют вид $\overline{a}=r\frac{s_y}{s_x}$, $\overline{b}=\overline{y}-\overline{a}\overline{x}$, где r — выборочный коэффициент корреляции, который вычисляется по формуле

$r=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum _{i=1}^n(x_i-\overline{x}{)}^2\sum _{i=1}^n(y_i-\overline{y}{)}^2}}$.

Выборочный коэффициент корреляции $-1\le r\le 1$. Он отражает степень линейной зависимости $Y$ от $X$.

Примеры

Пример 1

Десять раз при различных значениях признака $X$ было измерено значение признака $Y$. Получены следующие результаты:

$X$	2	2.8	3	3.1	3.5	3.9	4.1	4.4	4.6	5.1
$Y$	3.9	7.8	9.3	9.8	11.1	13.1	14	16.3	17.1	19.4

Найти уравнение регрессии $Y$ на $X$: $y=ax+b$.

Решение:

Все вычисления удобно производить в таблице.

Для нахождения коэффициентов $\overline{a}$ и $\overline{b}$ найдем все суммы (последняя строка таблицы).

$\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i=36.5/10=3.65$, $\overline{y}=\frac{1}{n}\sum _{i=1}^n{y}_i=121.8/10=12.18$.

Тогда $r=\frac{40.01}{\sqrt{8.025\cdot 200.336}}=0.9978$;

$s_x=\sqrt{\frac{1}{n}\sum _{i=1}^n(x_i-\overline{x}{)}^2}-\sqrt{0.8025}=0.8958$;

$s_y=\sqrt{\frac{1}{n}\sum _{i=1}^n(y_i-\overline{y}{)}^2}-\sqrt{20.0336}=4.4758$.

Коэффициенты регрессии:

$\overline{a}=r\frac{s_y}{s_x}=0.9978\frac{4.4758}{0.8958}=4.9856$;

$\overline{b}=\overline{y}-\overline{a}\overline{x}=12.18-4.9856\cdot 3.65=-6.0176$.

Таким образом, уравнение регрессии имеет вид $y=4.9856x-6.0176$

$i$	$x_i$	$y_i$	$x_i-\overline{x}$	$y_i-\overline{y}$	$(x_i-\overline{x})(y_i-\overline{y})$	$(x_i-\overline{x}{)}^2$	$(y_i-\overline{y}{)}^2$
1	2	3.9	-1.65	-8.28	13.662	2.7225	68.5584
2	2.8	7.8	-0.85	-4.38	3.723	0.7225	19.1844
3	3	9.3	-0.65	-2.88	1.872	0.4225	8.2944
4	3.1	9.8	-0.55	-2.38	1.309	0.3025	5.6644
5	3.5	11.1	-0.15	-1.08	0.162	0.0225	1.1664
6	3.9	13.1	0.25	0.92	0.23	0.0625	0.8464
7	4.1	14	0.45	1.82	0.819	0.2025	3.3124
8	4.4	16.3	0.75	4.12	3.09	0.5625	16.9744
9	4.6	17.1	0.95	4.92	4.674	0.9025	24.2064
10	5.1	19.4	1.45	7.22	10.469	2.1025	52.1284
$\sum$	36.5	121.8			40.01	8.025	200.336

Упражнения

<quiz display=simple> { Если $\phi (x)=ax+b$, то говорят о какой регрессии? |type="()"} + линейной - параболической - гиперболической

{ По какой формуле вычисляется выборочный коэффициент корреляции? |type="()"} - $r=\frac{\sum _{i=1}^n(x_i-x_{i+1})(y_i-y_{i+1})}{\sqrt{\sum _{i=1}^n(x_i-x_{i+1}{)}^2\sum _{i=1}^n(y_i-y_{i+1}{)}^2}}$ - $r=\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2(y_i-\overline{y}{)}^2}{\sqrt{\sum _{i=1}^n(x_i-\overline{x})\sum _{i=1}^n(y_i-\overline{y})}}$ + $r=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum _{i=1}^n(x_i-\overline{x}{)}^2\sum _{i=1}^n(y_i-\overline{y}{)}^2}}$

</quiz>