Независимость и корреляция случайных величин

Ключевые тезисы

Независимость случайных величин — более сильное условие, чем их некоррелированность.
Из независимости следует некоррелированность, но обратное неверно.
Дисперсия суммы случайных величин равна сумме их дисперсий, если величины попарно некоррелированы.

Независимость случайных величин

Независимость случайных величин определяется через их функции распределения. Две случайные величины ξ и η называются независимыми, если для любых вещественных чисел x и y выполняется:
P(ξ ≤ x, η ≤ y) = P(ξ ≤ x) * P(η ≤ y) = F_ξ(x) * F_η(y).

Это означает, что любые события, порожденные этими величинами (например, "ξ не превосходит x"), являются независимыми.

Определение для нескольких величин
Случайные величины ξ₁, ..., ξₙ независимы в совокупности (взаимно независимы), если для любого набора попарно различных индексов i₁, ..., iₖ и любых чисел x₁, ..., xₖ выполняется:
P(ξᵢ₁ ≤ x₁, ..., ξᵢₖ ≤ xₖ) = P(ξᵢ₁ ≤ x₁) * ... * P(ξᵢₖ ≤ xₖ).

Попарной независимости (когда независимы только пары) недостаточно для взаимной независимости в совокупности.

Ковариация и коэффициент корреляции

Ковариация двух случайных величин — это мера их линейной связи:
cov(ξ, η) = E[(ξ - Eξ) * (η - Eη)] = E(ξη) - Eξ * Eη.

Коэффициент корреляции — это нормированная ковариация:
ρ(ξ, η) = cov(ξ, η) / √(Dξ * Dη).

Свойства

Коэффициент корреляции всегда лежит в отрезке [-1, 1].
Его можно интерпретировать как косинус "угла" между случайными величинами в некотором функциональном пространстве.
Случайные величины называются некоррелированными, если их ковариация (а значит, и коэффициент корреляции) равна нулю: cov(ξ, η) = 0 или, что эквивалентно, E(ξη) = Eξ * Eη.

Связь независимости и некоррелированности

Теорема: Если случайные величины независимы, то математическое ожидание их произведения равно произведению их математических ожиданий: E(ξη) = Eξ * Eη.

Следствие: Из независимости следует некоррелированность.

Пример, показывающий, что обратное неверно
Рассмотрим случайную величину ξ, равномерно распределенную на отрезке [0, 2π]. Определим величины: η₁ = sin ξ, η₂ = cos ξ.

Они зависимы, так как связаны тождеством: sin²ξ + cos²ξ = 1.
Однако они некоррелированы: E(η₁η₂) = E(sin ξ * cos ξ) = 0, и при этом Eη₁ = Eη₂ = 0, следовательно, cov(η₁, η₂) = 0.

Дисперсия суммы случайных величин

Ключевое свойство: Если случайные величины ξ и η некоррелированы, то дисперсия их суммы равна сумме их дисперсий:
D(ξ + η) = Dξ + Dη.

Доказательство использует определение дисперсии и свойство некоррелированности (E(ξη) = Eξ * Eη):
D(ξ + η) = E[(ξ+η)²] - (E(ξ+η))² = E(ξ² + 2ξη + η²) - (Eξ + Eη)² = (Eξ² + 2EξEη + Eη²) - ((Eξ)² + 2EξEη + (Eη)²) = (Eξ² - (Eξ)²) + (Eη² - (Eη)²) = Dξ + Dη.

Это свойство обобщается: дисперсия суммы любого числа попарно некоррелированных случайных величин равна сумме их дисперсий.

Выводы

Независимость — фундаментальное понятие, гарантирующее перемножение вероятностей и математических ожиданий.
Некоррелированность — более слабое условие, характеризующее отсутствие линейной связи.
Для вычисления дисперсии суммы достаточно более слабого условия попарной некоррелированности.