Коварианс матрицасы

A ықтималдық тығыздығының екі айнымалы функциясы центрі (0, 0) -ге бағытталған, ковариациялық матрица берілген

{ displaystyle { begin {bmatrix} 1 & 0.5 0.5 & 1 end {bmatrix}}}

А-дан үлгі нүктелері екі айнымалы гаусс таралуы стандартты ауытқуымен шамамен 3 төменгі оң жақ жоғарғы бағытта және 1 ортогональ бағытта. Себебі х және ж компоненттері өзгереді, олардың дисперсиялары

{ displaystyle x}

және

{ displaystyle y}

бөлуді толық сипаттамаңыз. A

{ displaystyle 2 times 2}

ковариациялық матрица қажет; көрсеткілердің бағыттары сәйкес келеді меншікті векторлар Бұл ковариация матрицасының және олардың квадрат түбірлеріне дейінгі ұзындықтарының меншікті мәндер.

Жылы ықтималдықтар теориясы және статистика, а ковариациялық матрица (сонымен бірге авто-коварианттық матрица, дисперсия матрицасы, дисперсия матрицасы, немесе дисперсия-ковариация матрицасы) шаршы болып табылады матрица беру коварианс берілген элементтердің әр жұбы арасында кездейсоқ вектор. Кез-келген ковариациялық матрица болып табылады симметриялы және оң жартылай анықталған және оның негізгі диагоналі бар дисперсиялар (яғни, әр элементтің өзімен ковариациясы).

Ковариация матрицасы интуитивті түрде бірнеше өлшемдерге арналған дисперсия ұғымын жалпылайды. Мысал ретінде, екі өлшемді кеңістіктегі кездейсоқ нүктелер жиынтығының өзгеруін бір санмен толық сипаттауға болмайды, ал дисперсиялар ${ displaystyle x}$ және ${ displaystyle y}$ нұсқаулар барлық қажетті ақпаратты қамтиды; а ${ displaystyle 2 times 2}$ матрица екі өлшемді вариацияны толық сипаттау үшін қажет болады.

Кездейсоқ вектордың ковариация матрицасы ${ displaystyle mathbf {X}}$ деп белгіленеді ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}}}$ немесе ${ displaystyle Sigma}$ .

Анықтама

Осы мақалада жазылудан бас тартылған ${ displaystyle mathbf {X}}$ және ${ displaystyle mathbf {Y}}$ кездейсоқ векторларға сілтеме жасау үшін қолданылады және жазылмаған ${ displaystyle X_ {i}}$ және ${ displaystyle Y_ {i}}$ скалярлық кездейсоқ шамаларға сілтеме жасау үшін қолданылады.

Егер жазбалар баған векторы

{ displaystyle mathbf {X} = (X_ {1}, X_ {2}, ..., X_ {n}) ^ { mathrm {T}}}

болып табылады кездейсоқ шамалар, әрқайсысы ақырлы дисперсия және күтілетін мән, содан кейін ковариация матрицасы ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}}}$ бұл матрица ${ displaystyle (i, j)}$ кіру коварианс^[1]^{:б. 177}

{ displaystyle operatorname {K} _ {X_ {i} X_ {j}} = operatorname {cov} [X_ {i}, X_ {j}] = operatorname {E} [(X_ {i} - ) оператор атауы {E} [X_ {i}]) (X_ {j} - оператордың аты {E} [X_ {j}])]}

оператор қайда ${ displaystyle operatorname {E}}$ оның аргументінің күтілетін мәнін (орташа мәнін) білдіреді.

Басқа сөздермен айтқанда,

{ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} = { begin {bmatrix} mathrm {E} [(X_ {1} - operatorname {E} [X_ {1}) ]) (X_ {1} - оператор атауы {E} [X_ {1}])] және mathrm {E} [(X_ {1} - оператор атауы {E} [X_ {1}]) (X_ {2 } - operatorname {E} [X_ {2}])] & cdots & mathrm {E} [(X_ {1} - operatorname {E} [X_ {1}]) (X_ {n} - оператор атауы {E} [X_ {n}])] mathrm {E} [(X_ {2} - operatorname {E} [X_ {2}]) (X_ {1} - operatorname {E } [X_ {1}])] & mathrm {E} [(X_ {2} - operatorname {E} [X_ {2}]) (X_ {2} - operatorname {E} [X_ {2}) ])] & cdots & mathrm {E} [(X_ {2} - operatorname {E} [X_ {2}]) (X_ {n} - operatorname {E} [X_ {n}])] \ vdots & vdots & ddots & vdots \ mathrm {E} [(X_ {n} - operatorname {E} [X_ {n}]) (X_ {1} - оператор атауы {E} [X_ {1}]) & mathrm {E} [(X_ {n} - operatorname {E} [X_ {n}]) (X_ {2} - operatorname {E} [X_ {2}])] & cdots & mathrm {E} [(X_ {n} - operatorname {E} [X_ {n}]) (X_ {n} - operatorname {E} [X_ {n}) ])] end {bmatrix}}}

Жоғарыдағы анықтама матрицалық теңдікке тең

{ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} = operatorname {cov} [ mathbf {X}, mathbf {X}] = operatorname {E} [( mathbf) {X} - mathbf { mu _ {X}}) ( mathbf {X} - mathbf { mu _ {X}}) ^ { rm {T}}] = оператордың аты {E} [ mathbf {X} mathbf {X} ^ {T}] - mathbf { mu _ {X}} mathbf { mu _ {X}} ^ {T}}

(Теңдеу)

қайда ${ displaystyle mathbf { mu _ {X}} = оператордың аты {E} [ mathbf {X}]}$ .

Дисперсияны жалпылау

Бұл форма (Теңдеу) скалярлық мәнді жалпылау ретінде қарастыруға болады дисперсия жоғары өлшемдерге Скалярмен бағаланатын кездейсоқ шама үшін екенін ұмытпаңыз ${ displaystyle X}$

{ displaystyle sigma _ {X} ^ {2} = оператордың аты {var} (X) = оператордың аты {E} [(X- оператордың аты {E} [X]) ^ {2}] = оператордың аты { E} [(X- оператордың аты {E} [X]) cdot (X- оператордың аты {E} [X])].}

Шынында да, авто-ковариация матрицасының диагоналіндегі жазбалар ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}}}$ - вектордың әр элементінің дисперсиялары ${ displaystyle mathbf {X}}$ .

Қарама-қайшы номенклатуралар мен белгілер

Номенклатуралар әр түрлі. Кейбір статистиктер, ықтималдыққа сүйене отырып Уильям Феллер оның екі томдық кітабында Ықтималдықтар теориясына кіріспе және оның қолданылуы,^[2] матрицаны шақырыңыз ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}}}$ The дисперсия кездейсоқ вектордың ${ displaystyle mathbf {X}}$ , өйткені бұл 1-өлшемді дисперсияның жоғары өлшемдеріне табиғи жалпылау. Басқалары оны ковариациялық матрица, өйткені бұл вектордың скалярлық компоненттері арасындағы ковариация матрицасы ${ displaystyle mathbf {X}}$ .

{ displaystyle operatorname {var} ( mathbf {X}) = operatorname {cov} ( mathbf {X}) = operatorname {E} left [( mathbf {X} - operatorname {E} [ mathbf {X}]) ( mathbf {X} - operatorname {E} [ mathbf {X}]) ^ { rm {T}} right].}

Екі форма да біршама стандартты, және олардың арасында екіұштылық жоқ. Матрица ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}}}$ деп те аталады дисперсия-ковариация матрицасы, өйткені қиғаш терминдер әр түрлі болып келеді.

Салыстыру үшін ковариациялық матрица арасында екі вектор

{ displaystyle operatorname {cov} ( mathbf {X}, mathbf {Y}) = operatorname {K} _ { mathbf {X} mathbf {Y}} = operatorname {E} left [( mathbf {X} - operatorname {E} [ mathbf {X}]) ( mathbf {Y} - operatorname {E} [ mathbf {Y}]) ^ { rm {T}} right] .}

Қасиеттері

Автокорреляция матрицасына қатысты

Авто-ковариация матрицасы ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}}}$ байланысты автокорреляциялық матрица ${ displaystyle operatorname {R} _ { mathbf {X} mathbf {X}}}$ арқылы

{ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} = operatorname {E} [( mathbf {X} - operatorname {E} [ mathbf {X}]) ( mathbf {X} - operatorname {E} [ mathbf {X}]) ^ { rm {T}}] = operatorname {R} _ { mathbf {X} mathbf {X}} - operatorname { E} [ mathbf {X}] operatorname {E} [ mathbf {X}] ^ { rm {T}}}

мұндағы автокорреляциялық матрица ретінде анықталады ${ displaystyle operatorname {R} _ { mathbf {X} mathbf {X}} = operatorname {E} [ mathbf {X} mathbf {X} ^ { rm {T}}]}$ .

Корреляциялық матрицамен байланыс

Ковариация матрицасымен тығыз байланысты тұлға - матрицасы Пирсон өнім-момент корреляциясының коэффициенттері кездейсоқ вектордағы кездейсоқ шамалардың әрқайсысы арасында ${ displaystyle mathbf {X}}$ , ретінде жазуға болады

{ displaystyle operatorname {corr} ( mathbf {X}) = { big (} operatorname {diag} ( operatorname {K} _ { mathbf {X} mathbf {X}}) { big) } ^ {- { frac {1} {2}}} , операторының аты {K} _ { mathbf {X} mathbf {X}} , { big (} operatorname {diag} ( operatorname) {K} _ { mathbf {X} mathbf {X}}) { big)} ^ {- { frac {1} {2}}},}

қайда ${ displaystyle operatorname {diag} ( operatorname {K} _ { mathbf {X} mathbf {X}})}$ - диагональ элементтерінің матрицасы ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}}}$ (яғни, а қиғаш матрица дисперсияларының ${ displaystyle X_ {i}}$ үшін ${ displaystyle i = 1, нүкте, n}$ ).

Эквивалентті, корреляциялық матрицаны ковариациялық матрица ретінде қарастыруға болады стандартталған кездейсоқ шамалар ${ displaystyle X_ {i} / sigma (X_ {i})}$ үшін ${ displaystyle i = 1, нүкте, n}$ .

{ displaystyle operatorname {corr} ( mathbf {X}) = { begin {bmatrix} 1 & { frac { operatorname {E} [(X_ {1} - mu _ {1}) (X_ {2 } - mu _ {2})]} { sigma (X_ {1}) sigma (X_ {2})}} & cdots & { frac { operatorname {E} [(X_ {1} -) mu _ {1}) (X_ {n} - mu _ {n})]} { sigma (X_ {1}) sigma (X_ {n})}} { frac { оператор атауы {E} [(X_ {2} - mu _ {2}) (X_ {1} - mu _ {1})]} { sigma (X_ {2}) sigma (X_ {1}) }} & 1 & cdots & { frac { оператордың аты {E} [(X_ {2} - mu _ {2}) (X_ {n} - mu _ {n})]} { sigma (X_ { 2}) sigma (X_ {n})}} \ vdots & vdots & ddots & vdots { frac { operatorname {E} [(X_ {n} - mu _ {n}) (X_ {1} - mu _ {1})]} { sigma (X_ {n}) sigma (X_ {1})}} & { frac { operatorname {E} [ (X_ {n} - mu _ {n}) (X_ {2} - mu _ {2})]} { sigma (X_ {n}) sigma (X_ {2})}} & cdots & 1 end {bmatrix}}.}

Корреляциялық матрицаның негізгі диагоналіндегі әр элемент кездейсоқ шаманың әрқашан 1-ге тең болатын корреляциясы болып табылады. қиғаш элемент −1 мен +1 қоса алғанда.

Ковариация матрицасына кері

Бұл матрицаның кері жағы, ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} ^ {- 1}}$ , егер ол бар болса, кері ковариация матрицасы, оны концентрация матрицасы немесе деп те атайды дәлдік матрица.^[3]

Негізгі қасиеттері

Үшін ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} = operatorname {var} ( mathbf {X}) = operatorname {E} left [ left ( mathbf {X } - оператор атауы {E} [ mathbf {X}] оң) сол ( mathbf {X} - оператор атауы {E} [ mathbf {X}] оң) ^ { rm {T}} оң жақта]}$ және ${ displaystyle mathbf { mu _ {X}} = оператордың аты {E} [{ textbf {X}}]}$ , қайда ${ displaystyle mathbf {X} = (X_ {1}, ldots, X_ {n}) ^ { rm {T}}}$ Бұл ${ displaystyle n}$ - өлшемді кездейсоқ шама, келесі негізгі қасиеттер қолданылады:^[4]

${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} = operatorname {E} ( mathbf {XX ^ { rm {T}}}) - mathbf { mu _ { X}} mathbf { mu _ {X}} ^ { rm {T}}}$
${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} ,}$ болып табылады позитивті-жартылай шексіз, яғни ${ displaystyle mathbf {a} ^ {T} operatorname {K} _ { mathbf {X} mathbf {X}} mathbf {a} geq 0 quad { text {for all}} mathbf {a} in mathbb {R} ^ {n}}$
${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} ,}$ болып табылады симметриялы, яғни ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {X}} ^ { rm {T}} = operatorname {K} _ { mathbf {X} mathbf {X}}}$
Кез-келген тұрақты үшін (яғни кездейсоқ емес) ${ displaystyle m times n}$ матрица ${ displaystyle mathbf {A}}$ және тұрақты ${ displaystyle m times 1}$ вектор ${ displaystyle mathbf {a}}$ , біреуінде бар ${ displaystyle operatorname {var} ( mathbf {AX} + mathbf {a}) = mathbf {A} , operatorname {var} ( mathbf {X}) , mathbf {A} ^ { rm {T}}}$
Егер ${ displaystyle mathbf {Y}}$ өлшемі бірдей басқа кездейсоқ вектор болып табылады ${ displaystyle mathbf {X}}$ , содан кейін ${ displaystyle operatorname {var} ( mathbf {X} + mathbf {Y}) = operatorname {var} ( mathbf {X}) + operatorname {cov} ( mathbf {X}, mathbf { Y}) + оператордың аты {cov} ( mathbf {Y}, mathbf {X}) + оператордың аты {var} ( mathbf {Y})}$ қайда ${ displaystyle operatorname {cov} ( mathbf {X}, mathbf {Y})}$ болып табылады ковариациялық матрица туралы ${ displaystyle mathbf {X}}$ және ${ displaystyle mathbf {Y}}$ .

Матрицаларды блоктау

Бірлескен мағынасы ${ displaystyle mathbf { mu}}$ және бірлескен ковариация матрицасы ${ displaystyle mathbf { Sigma}}$ туралы ${ displaystyle mathbf {X}}$ және ${ displaystyle mathbf {Y}}$ блок түрінде жазуға болады

{ displaystyle mathbf { mu} = { begin {bmatrix} mathbf { mu _ {X}} mathbf { mu _ {Y}} end {bmatrix}}, qquad mathbf { Sigma} = { begin {bmatrix} operatorname {K} _ { mathbf {XX}} & operatorname {K} _ { mathbf {XY}} оператордың аты {K} _ { mathbf {YX }} & оператордың аты {K} _ { mathbf {YY}} end {bmatrix}}}

қайда ${ displaystyle operatorname {K} _ { mathbf {XX}} = operatorname {var} ( mathbf {X})}$ , ${ displaystyle operatorname {K} _ { mathbf {YY}} = operatorname {var} ( mathbf {Y})}$ және ${ displaystyle operatorname {K} _ { mathbf {XY}} = operatorname {K} _ { mathbf {YX}} ^ { rm {T}} = operatorname {cov} ( mathbf {X} , mathbf {Y})}$ .

${ displaystyle operatorname {K} _ { mathbf {XX}}}$ және ${ displaystyle operatorname {K} _ { mathbf {YY}}}$ дисперсиясының матрицалары ретінде анықтауға болады шекті үлестірулер үшін ${ displaystyle mathbf {X}}$ және ${ displaystyle mathbf {Y}}$ сәйкесінше.

Егер ${ displaystyle mathbf {X}}$ және ${ displaystyle mathbf {Y}}$ болып табылады бірлесіп қалыпты түрде бөлінеді,

{ displaystyle mathbf {X}, mathbf {Y} sim { mathcal {N}} ( mathbf { mu}, operatorname {K}),}

содан кейін шартты бөлу үшін ${ displaystyle mathbf {Y}}$ берілген ${ displaystyle mathbf {X}}$ арқылы беріледі

{ displaystyle mathbf {Y} mid mathbf {X} sim { mathcal {N}} ( mathbf { mu _ {Y | X}}, operatorname {K} _ { mathbf {Y | Х}}),}

^[5]

арқылы анықталады шартты орта

{ displaystyle mathbf { mu _ {Y | X}} = mathbf { mu _ {Y}} + оператор аты {K} _ { mathbf {YX}} оператор аты {K} _ { mathbf { ХХ}} ^ {- 1} солға ( mathbf {X} - mathbf { mu _ {X}} оңға)}

және шартты дисперсия

{ displaystyle operatorname {K} _ { mathbf {Y | X}} = operatorname {K} _ { mathbf {YY}} - operatorname {K} _ { mathbf {YX}} operatorname {K } _ { mathbf {XX}} ^ {- 1} оператордың аты {K} _ { mathbf {XY}}.}

Матрица ${ displaystyle operatorname {K} _ { mathbf {YX}} operatorname {K} _ { mathbf {XX}} ^ {- 1}}$ матрицасы ретінде белгілі регрессия сызықтық алгебрада болған кезде коэффициенттер ${ displaystyle operatorname {K} _ { mathbf {Y | X}}}$ болып табылады Шур комплементі туралы ${ displaystyle operatorname {K} _ { mathbf {XX}}}$ жылы ${ displaystyle mathbf { Sigma}}$ .

Регрессия коэффициенттерінің матрицасы көбінесе транспоза түрінде берілуі мүмкін, ${ displaystyle operatorname {K} _ { mathbf {XX}} ^ {- 1} operatorname {K} _ { mathbf {XY}}}$ , түсіндірмелі айнымалылардың қатарлы векторын көбейту үшін қолайлы ${ displaystyle mathbf {X} ^ { rm {T}}}$ бағаналы векторды алдын-ала көбейтудің орнына ${ displaystyle mathbf {X}}$ . Бұл формада олар -ның матрицасын инверсиялау арқылы алынған коэффициенттерге сәйкес келеді қалыпты теңдеулер туралы қарапайым ең кіші квадраттар (OLS).

Жартылай ковариациялық матрица

Барлық нөлдік емес элементтері бар ковариация матрицасы барлық жеке кездейсоқ шамалардың өзара байланысты екендігін айтады. Бұл дегеніміз, айнымалылар тек тікелей өзара байланысты емес, сонымен қатар жанама түрде басқа айнымалылар арқылы корреляцияланған. Көбінесе мұндай жанама, жалпы режим корреляциялар тривиальды және қызықсыз. Оларды ішінара ковариация матрицасын есептеу арқылы басуға болады, яғни ковариация матрицасының тек корреляцияның қызықты бөлігін көрсететін бөлігі.

Егер кездейсоқ шамалардың екі векторы болса ${ displaystyle mathbf {X}}$ және ${ displaystyle mathbf {Y}}$ басқа вектор арқылы корреляцияланған ${ displaystyle mathbf {I}}$ , соңғы корреляциялар матрицада басылады^[6]

{ displaystyle operatorname {K} _ { mathbf {XY mid I}} = = operatorname {pcov} ( mathbf {X}, mathbf {Y} mid mathbf {I}) = operatorname {cov } ( mathbf {X}, mathbf {Y}) - оператордың аты {cov} ( mathbf {X}, mathbf {I}) operatorname {cov} ( mathbf {I}, mathbf {I} ) ^ {- 1} оператордың аты {cov} ( mathbf {I}, mathbf {Y}).}

Ішінара ковариация матрицасы ${ displaystyle operatorname {K} _ { mathbf {XY mid I}}}$ қарапайым ковариациялық матрица болып табылады ${ displaystyle operatorname {K} _ { mathbf {XY}}}$ қызықсыз кездейсоқ шамалар сияқты ${ displaystyle mathbf {I}}$ тұрақты ұсталды.

Коварианс матрицасы үлестірім параметрі ретінде

Егер бағаналы вектор ${ displaystyle mathbf {X}}$ туралы ${ displaystyle n}$ мүмкін өзара байланысты кездейсоқ шамалар бірлесіп қалыпты түрде бөлінеді немесе жалпы түрде эллиптикалық түрде бөлінген, содан кейін оның ықтималдық тығыздығы функциясы ${ displaystyle operatorname {f} ( mathbf {X})}$ ковариация матрицасы арқылы көрсетілуі мүмкін ${ displaystyle mathbf { Sigma}}$ келесідей^[6]

{ displaystyle operatorname {f} ( mathbf {X}) = (2 pi) ^ {- n / 2} | mathbf { Sigma} | ^ {- 1/2} exp left (- { tfrac {1} {2}} mathbf {(X- mu) ^ { rm {T}} Sigma ^ {- 1} (X- mu)} right),}

қайда ${ displaystyle mathbf { mu = operatorname {E} [X]}}$ және ${ displaystyle | mathbf { Sigma} |}$ болып табылады анықтауыш туралы ${ displaystyle mathbf { Sigma}}$ .

Коварианс матрицасы сызықтық оператор ретінде

Бір векторға қолданылатын ковариациялық матрица сызықтық комбинацияны бейнелейді c кездейсоқ шамалардың X келесі айнымалылармен ковариация векторына: ${ displaystyle mathbf {c} ^ { rm {T}} Sigma = operatorname {cov} ( mathbf {c} ^ { rm {T}} mathbf {X}, mathbf {X}) }$ . А ретінде қарастырылды айқын сызық, ол екі сызықтық комбинациялар арасындағы ковариацияны береді: ${ displaystyle mathbf {d} ^ { rm {T}} Sigma mathbf {c} = operatorname {cov} ( mathbf {d} ^ { rm {T}} mathbf {X}, mathbf {c} ^ { rm {T}} mathbf {X})}$ . Сызықтық комбинацияның дисперсиясы сонда ${ displaystyle mathbf {c} ^ { rm {T}} Sigma mathbf {c}}$ , оның өзімен ковариациясы.

Сол сияқты (псевдо-) кері ковариация матрицасы ішкі өнімді қамтамасыз етеді ${ displaystyle langle c- mu | Sigma ^ {+} | c- mu rangle}$ , бұл индукцияны тудырады Махаланобис арақашықтық, «сенімсіздік» өлшемі c.^{[дәйексөз қажет ]}

Ковариациялық матрицалар қай матрицаларға жатады?

Жоғарыда тұрған жеке куәліктен ${ displaystyle mathbf {b}}$ болуы а ${ displaystyle (p рет 1)}$ нақты вектор, содан кейін

{ displaystyle operatorname {var} ( mathbf {b} ^ { rm {T}} mathbf {X}) = mathbf {b} ^ { rm {T}} operatorname {var} ( mathbf {X}) mathbf {b}, ,}

ол әрқашан теріс болмауы керек, өйткені ол дисперсия нақты бағаланған кездейсоқ шаманың, сондықтан ковариациялық матрица әрқашан а болады оң-жартылай шексіз матрица.

Жоғарыда келтірілген аргументті келесідей кеңейтуге болады: ${ displaystyle { begin {aligned} & w ^ { rm {T}} operatorname {E} left [( mathbf {X} - operatorname {E} [ mathbf {X}]) ( mathbf { X} - operatorname {E} [ mathbf {X}]) ^ { rm {T}} right] w = operatorname {E} left [w ^ { rm {T}} ( mathbf { X} - operatorname {E} [ mathbf {X}]) ( mathbf {X} - operatorname {E} [ mathbf {X}]) ^ { rm {T}} w right] [5pt] = {} & операторының аты {E} { big [} { big (} w ^ { rm {T}} ( mathbf {X} - operatorname {E} [ mathbf {X}] ) { big)} ^ {2} { big]} geq 0 quad { text {since}} w ^ { rm {T}} ( mathbf {X} - operatorname {E} [ mathbf {X}]) { text {- скаляр}}. соңы {тураланған}}}$

Керісінше, әрбір симметриялы оң жартылай анықталған матрица ковариациялық матрица болып табылады. Мұны көру үшін делік ${ displaystyle M}$ Бұл ${ displaystyle p times p}$ симметриялық оң-жартылай шексіз матрица. Ақырлы өлшемді жағдайдан спектрлік теорема, бұдан шығады ${ displaystyle M}$ теріс емес симметриялы шаршы түбір, деп белгілеуге болады М^1/2. Келіңіздер ${ displaystyle mathbf {X}}$ кез келген болуы ${ displaystyle p times 1}$ баған векторы бағаланатын кездейсоқ шама, оның ковариациялық матрицасы ${ displaystyle p times p}$ сәйкестік матрицасы. Содан кейін

{ displaystyle operatorname {var} ( mathbf {M} ^ {1/2} mathbf {X}) = mathbf {M} ^ {1/2} , operatorname {var} ( mathbf {X }) , mathbf {M} ^ {1/2} = mathbf {M}.}

Кешенді кездейсоқ векторлар

The дисперсия а күрделі скалярлық күтілетін мәні бар кездейсоқ шама ${ displaystyle mu}$ пайдалану арқылы шартты түрде анықталады күрделі конъюгация:

{ displaystyle operatorname {var} (Z) = operatorname {E} left [(Z- mu _ {Z}) { overline {(Z- mu _ {Z})}} right], }

мұнда күрделі санның күрделі конъюгаты ${ displaystyle z}$ деп белгіленеді ${ displaystyle { overline {z}}}$ ; осылайша күрделі кездейсоқ шаманың дисперсиясы нақты сан болады.

Егер ${ displaystyle mathbf {Z} = (Z_ {1}, ldots, Z_ {n}) ^ { mathrm {T}}}$ - бұл күрделі бағаланған кездейсоқ шамалардың бағаналы векторы, содан кейін конъюгат транспозасы арқылы қалыптасады екеуі де транспозиция және конъюгация. Келесі өрнекте вектордың конъюгатасы транспозамен көбейтіндісі квадрат матрица деп аталады ковариациялық матрицакүткендей:^[7]^{:б. 293}

{ displaystyle operatorname {K} _ { mathbf {Z} mathbf {Z}} = operatorname {cov} [ mathbf {Z}, mathbf {Z}] = operatorname {E} left [( mathbf {Z} - mathbf { mu _ {Z}}) ( mathbf {Z} - mathbf { mu _ {Z}}) ^ { mathrm {H}} right]}

,

қайда ${ displaystyle {} ^ { mathrm {H}}}$ скалярлы транспозаны білдіреді, бұл скаляр жағдайға қолданылады, өйткені скаляр транспозасы әлі де скаляр болып табылады. Осылайша алынған матрица болады Эрмитиан позитивті-жартылай шексіз,^[8] негізгі диагональдағы нақты сандармен және диагоналдан тыс күрделі сандармен.

Псевдо-коварианттық матрица

Күрделі кездейсоқ векторлар үшін екінші орталық моменттің тағы бір түрі - жалған ковариация матрицасы (қатынас матрицасы деп те аталады) келесідей анықталады. Жоғарыда анықталған ковариаттық матрицадан айырмашылығы, гермициялық транспозиция анықтамада транспозициямен ауыстырылады.

{ displaystyle operatorname {J} _ { mathbf {Z} mathbf {Z}} = operatorname {cov} [ mathbf {Z}, { overline { mathbf {Z}}}] = operatorname { E} left [( mathbf {Z} - mathbf { mu _ {Z}}) ( mathbf {Z} - mathbf { mu _ {Z}}) ^ { mathrm {T}} оң жақта]}

Қасиеттері

Коварианс матрицасы - а Эрмициан матрицасы, яғни ${ displaystyle operatorname {K} _ { mathbf {Z} mathbf {Z}} ^ { mathrm {H}} = operatorname {K} _ { mathbf {Z} mathbf {Z}}}$ .^[1]^{:б. 179}
Коварианс матрицасының қиғаш элементтері нақты болып табылады.^[1]^{:б. 179}

Бағалау

Егер ${ displaystyle mathbf {M} _ { mathbf {X}}}$ және ${ displaystyle mathbf {M} _ { mathbf {Y}}}$ орталықтандырылған деректер матрицалары өлшем ${ displaystyle p times n}$ және ${ displaystyle q times n}$ сәйкесінше, яғни n бақылауларының бағандары б және q жол мәндері алынып тасталған айнымалылар қатары, егер жол мәндері деректер бойынша бағаланған болса, ковариациялық матрицалардың үлгісі ${ displaystyle mathbf {Q} _ { mathbf {XX}}}$ және ${ displaystyle mathbf {Q} _ { mathbf {XY}}}$ деп анықтауға болады

{ displaystyle mathbf {Q} _ { mathbf {XX}} = { frac {1} {n-1}} mathbf {M} _ { mathbf {X}} mathbf {M} _ { mathbf {X}} ^ { rm {T}}, qquad mathbf {Q} _ { mathbf {XY}} = { frac {1} {n-1}} mathbf {M} _ { mathbf {X}} mathbf {M} _ { mathbf {Y}} ^ { rm {T}}}

немесе егер жол априори белгілі болса,

{ displaystyle mathbf {Q} _ { mathbf {XX}} = { frac {1} {n}} mathbf {M} _ { mathbf {X}} mathbf {M} _ { mathbf { X}} ^ { rm {T}}, qquad mathbf {Q} _ { mathbf {XY}} = { frac {1} {n}} mathbf {M} _ { mathbf {X} } mathbf {M} _ { mathbf {Y}} ^ { rm {T}}.}

Бұл эмпирикалық үлгі ковариация матрицалары ковариациялық матрицалар үшін ең қарапайым және жиі қолданылатын бағалаушылар болып табылады, бірақ басқа бағалаушылар да бар, олардың ішінде жақсы қасиеттерге ие регулирленген немесе жиырылу бағалаушылары бар.

Қолданбалар

Коварианс матрицасы көптеген түрлі салаларда пайдалы құрал болып табылады. Одан a трансформация матрицасы алынуы мүмкін, а деп аталады ағарту трансформациясы, бұл деректерді толығымен безендіруге мүмкіндік береді^{[дәйексөз қажет ]} немесе басқа көзқарас бойынша деректерді ықшам түрде ұсынудың оңтайлы негізін табу^{[дәйексөз қажет ]} (қараңыз Рэлейдің ұсынысы ковариациялық матрицалардың формальды дәлелі және қосымша қасиеттері үшін) .Ол осылай аталады негізгі компоненттерді талдау (PCA) және Кархунен - Льев түрлендіруі (KL-түрлендіру).

Коварианс матрицасы шешуші рөл атқарады қаржылық экономика, әсіресе портфолио теориясы және оның өзара қорларды бөлу теоремасы және капиталға баға белгілеу моделі. Әр түрлі активтердің кірістері арасындағы ковариация матрицасы белгілі бір болжамдар бойынша инвесторларға тиесілі әр түрлі активтердің салыстырмалы мөлшерін анықтау үшін қолданылады ( нормативті талдау ) немесе болжанған (а. тармағында) оң талдау ) контекстінде ұстауды таңдаңыз әртараптандыру.

Коварианс картасын құру

Жылы ковариансты бейнелеу мәндері ${ displaystyle operatorname {cov} ( mathbf {X}, mathbf {Y})}$ немесе ${ displaystyle operatorname {pcov} ( mathbf {X}, mathbf {Y} mid mathbf {I})}$ матрица 2 өлшемді карта түрінде кескінделеді. Векторлар болған кезде ${ displaystyle mathbf {X}}$ және ${ displaystyle mathbf {Y}}$ дискретті кездейсоқ функциялар, картада кездейсоқ функциялардың әр түрлі аймақтары арасындағы статистикалық қатынастар көрсетілген. Функциялардың статистикалық тәуелсіз аймақтары картада нөлдік деңгейдегі жазық, ал оң немесе теріс корреляциялар сәйкесінше төбелер немесе аңғарлар түрінде көрінеді.

Іс жүзінде бағандық векторлар ${ displaystyle mathbf {X}, mathbf {Y}}$ , және ${ displaystyle mathbf {I}}$ қатарлары ретінде эксперименталды түрде алынады ${ displaystyle n}$ үлгілер, мысалы.

{ displaystyle [ mathbf {X} _ {1}, mathbf {X} _ {2}, ... mathbf {X} _ {n}] = { begin {bmatrix} X_ {1} (t_ {1}) & X_ {2} (t_ {1}) & cdots & X_ {n} (t_ {1}) X_ {1} (t_ {2}) & X_ {2} (t_ {2}) ) & cdots & X_ {n} (t_ {2}) \ vdots & vdots & ddots & vdots X_ {1} (t_ {m}) & X_ {2} (t_ {) m}) & cdots & X_ {n} (t_ {m}) end {bmatrix}},}

қайда ${ displaystyle X_ {j} (t_ {i})}$ болып табылады мен- үлгідегі дискретті мән j кездейсоқ функцияның ${ displaystyle X (t)}$ . Ковариация формуласында қажет болатын күтілетін мәндер орташа мән, мысалы.

{ displaystyle langle mathbf {X} rangle = { frac {1} {n}} sum _ {j = 1} ^ {n} mathbf {X} _ {j}}

және ковариация матрицасы бойынша бағаланады үлгі ковариациясы матрица

{ displaystyle operatorname {cov} ( mathbf {X}, mathbf {Y}) approx langle mathbf {XY ^ { rm {T}}} rangle - langle mathbf {X} rangle langle mathbf {Y} ^ { rm {T}} rangle,}

мұндағы бұрыштық жақшалар үлгінің орташаланғанын білдіреді, тек егер Бессельдің түзетуі болдырмау үшін жасалуы керек бейімділік. Осы бағалаудың көмегімен ішінара ковариация матрицасын келесідей есептеуге болады

{ displaystyle operatorname {pcov} ( mathbf {X}, mathbf {Y} mid mathbf {I}) = operatorname {cov} ( mathbf {X}, mathbf {Y}) - operatorname {cov} ( mathbf {X}, mathbf {I}) left ( operatorname {cov} ( mathbf {I}, mathbf {I}) backslash operatorname {cov} ( mathbf {I}) , mathbf {Y}) right),}

мұндағы артқы сызық матрицалық бөлу сияқты матрицаны инверсиялау талабын айналып өтетін және кейбір есептеу бумаларында бар оператор Matlab.^[9]

Сурет 1: N жартылай ковариациялық картасын құру₂ еркін электронды лазермен қоздырылған кулондық жарылысқа ұшыраған молекулалар.^[10] Панельдер а және б Панельде көрсетілген ковариация матрицасының екі мүшесін бейнелеңіз c. Панель г. лазердің қарқындылығы ауытқуы арқылы жалпы режимнің корреляциясын бейнелейді. Панель e қарқындылықтың ауытқуы үшін түзетілген ішінара ковариация матрицасын бейнелейді. Панель f 10% артық түзету картаны жақсартып, ион-ион корреляциясын анық көрінетін етеді. Импульстің сақталуы арқасында бұл корреляциялар автокорреляция сызығына перпендикуляр сызықтар түрінде пайда болады (және детектордың қоңырауынан туындаған периодты модуляцияларға).

1-суретте ішінара ковариаттық карта қалай жасалатынын, эксперимент мысалында, суретте көрсетілген ФЛАШ еркін электронды лазер Гамбургте.^[10] Кездейсоқ функция ${ displaystyle X (t)}$ болып табылады ұшу уақыты а-дан иондардың спектрі Кулондық жарылыс азот молекулаларының иондануы лазерлік импульспен көбейеді. Әрбір лазерлік импульс кезінде бірнеше жүздеген молекулалар иондалатын болғандықтан, бір реттік спектрлер өте тербеліп отырады. Алайда, әдетте жинау ${ displaystyle m = 10 ^ {4}}$ мұндай спектрлер, ${ displaystyle mathbf {X} _ {j} (t)}$ және оларды орташаландыру ${ displaystyle j}$ тегіс спектр шығарады ${ displaystyle langle mathbf {X} (t) rangle}$ , суреттің төменгі жағында қызылмен көрсетілген 1. Орташа спектр ${ displaystyle langle mathbf {X} rangle}$ бірнеше азот иондарын кинетикалық энергиясымен кеңейтілген шыңдар түрінде анықтайды, бірақ иондау сатылары мен ион моменттері арасындағы корреляцияны табу үшін ковариациялық картаны есептеу қажет.

1-суреттің мысалында ${ displaystyle mathbf {X} _ {j} (t)}$ және ${ displaystyle mathbf {Y} _ {j} (t)}$ бірдей, тек ұшу уақытының диапазоны ${ displaystyle t}$ ерекшеленеді. Панель а көрсетеді ${ displaystyle langle mathbf {XY ^ { rm {T}}} rangle}$ , панель б көрсетеді ${ displaystyle langle mathbf {X} rangle langle mathbf {Y ^ { rm {T}}} rangle}$ және панель c олардың айырмашылығын көрсетеді, яғни ${ displaystyle operatorname {cov} ( mathbf {X}, mathbf {Y})}$ (түс масштабының өзгеруіне назар аударыңыз). Өкінішке орай, бұл карта лазердің қарқындылығынан кадрдан атуға ауытқуымен туындаған қызықсыз, әдеттегі режимдік корреляциялармен қаныққан. Осындай корреляцияны тоқтату үшін лазердің қарқындылығы ${ displaystyle I_ {j}}$ әрбір ату кезінде жазылады, салынады ${ displaystyle mathbf {I}}$ және ${ displaystyle operatorname {pcov} ( mathbf {X}, mathbf {Y} mid mathbf {I})}$ панельдер ретінде есептеледі г. және e көрсету. Қызықсыз корреляцияны тоқтату, дегенмен, жетілмеген, өйткені лазердің қарқындылығынан гөрі жалпы режим ауытқуының басқа көздері бар және негізінен бұл көздердің барлығын векторлық бақылау қажет ${ displaystyle mathbf {I}}$ . Іс жүзінде көбінесе ковариацияны панель ретінде ішінара түзетуді өтеу жеткілікті f Иондық моменттердің қызықты корреляциялары қазір атом азотының иондану сатыларында орналасқан түзу сызықтар ретінде айқын көрінетін шоулар.

Екіөлшемді инфрақызыл спектроскопия

Екі өлшемді инфрақызыл спектроскопия қолданылады корреляциялық талдау спектрін алу үшін конденсацияланған фаза. Бұл талдаудың екі нұсқасы бар: синхронды және асинхронды. Математикалық тұрғыдан біріншісі ковариациялық матрицаның үлгісімен өрнектелген және әдістеме коварианттық картаға эквивалентті.^[11]

Сондай-ақ қараңыз

Әдебиеттер тізімі

^ ^а ^б ^c Park, Kun Il (2018). Байланысқа қосымшалармен ықтималдық және стохастикалық процестер негіздері. Спрингер. ISBN 978-3-319-68074-3.
^ Уильям Феллер (1971). Ықтималдықтар теориясына кіріспе және оның қолданылуы. Вили. ISBN 978-0-471-25709-7. Алынған 10 тамыз 2012.
^ Вассерман, Ларри (2004). Барлық статистика: статистикалық қорытынды жасаудың қысқаша курсы. ISBN 0-387-40272-1.
^ Табога, Марко (2010). «Ықтималдықтар теориясы және математикалық статистика бойынша дәрістер».
^ Итон, Моррис Л. (1983). Көп айнымалы статистика: кеңістіктің векторлық тәсілі. Джон Вили және ұлдары. 116–117 бб. ISBN 0-471-02776-6.
^ ^а ^б W J Krzanowski «Көп айнымалы талдаудың принциптері» (Oxford University Press, Нью-Йорк, 1988), Chap. 14,4; К.В. Мардиа, Дж.Т. Кент және Дж.М.Бибби «Көп өлшемді талдау (Academic Press, Лондон, 1997), 6.5.3 тарау; TW Андерсон» Көп өзгермелі статистикалық талдауға кіріспе «(Вили, Нью-Йорк, 2003), 3-басылым, Chaps 2.5.1 және 4.3.1.
^ Лапидот, Амос (2009). Сандық коммуникация қоры. Кембридж университетінің баспасы. ISBN 978-0-521-19395-5.
^ Брукс, Майк. «Матрицалық анықтамалық нұсқаулық». Журналға сілтеме жасау қажет | журнал = (Көмектесіңдер)
^ L J Frasinski «Коварианс картасын жасау әдістері» J. физ. B: At. Мол. Бас тарту Физ. 49 152004 (2016), ашық қол жетімділік
^ ^а ^б О Корнилов, М.Экштейн, М Розенблат, К.П.Шульц, К Мотомура, Рузье, Дж Клей, Л Фукар, М Сиано, А Любке, Ф.Шаппер, П Джонсон, DMP Голландия, Т Шлатхолтер, Т Марченко, С Дюстер, К. Ueda, MJJ Vrakking және LJ Frasinski «XUV интенсивті өрістеріндегі диатомиялық молекулалардың кулондық жарылуы» J. физ. B: At. Мол. Бас тарту Физ. 46 164028 (2013), ашық қол жетімділік
^ I Нода «Инфрақызыл, Раман және басқа спектроскопия түрлеріне қолданылатын жалпыланған екі өлшемді корреляция әдісі» Қолдану. Спектроскопия. 47 1329–36 (1993)

Әрі қарай оқу

«Коварианс матрицасы», Математика энциклопедиясы, EMS Press, 2001 [1994]
Вайсштейн, Эрик В. «Коварианс матрицасы». MathWorld.
ван Кампен, Н.Г. (1981). Физика мен химиядағы стохастикалық процестер. Нью-Йорк: Солтүстік-Голландия. ISBN 0-444-86200-5.

[KunIlPark-1] а ^б ^c Park, Kun Il (2018). Байланысқа қосымшалармен ықтималдық және стохастикалық процестер негіздері. Спрингер. ISBN 978-3-319-68074-3.

[Feller1971-2] Уильям Феллер (1971). Ықтималдықтар теориясына кіріспе және оның қолданылуы. Вили. ISBN 978-0-471-25709-7. Алынған 10 тамыз 2012.

[3] Вассерман, Ларри (2004). Барлық статистика: статистикалық қорытынды жасаудың қысқаша курсы. ISBN 0-387-40272-1.

[taboga-4] Табога, Марко (2010). «Ықтималдықтар теориясы және математикалық статистика бойынша дәрістер».

[eaton-5] Итон, Моррис Л. (1983). Көп айнымалы статистика: кеңістіктің векторлық тәсілі. Джон Вили және ұлдары. 116–117 бб. ISBN 0-471-02776-6.

[KrzMarAnd-6] а ^б W J Krzanowski «Көп айнымалы талдаудың принциптері» (Oxford University Press, Нью-Йорк, 1988), Chap. 14,4; К.В. Мардиа, Дж.Т. Кент және Дж.М.Бибби «Көп өлшемді талдау (Academic Press, Лондон, 1997), 6.5.3 тарау; TW Андерсон» Көп өзгермелі статистикалық талдауға кіріспе «(Вили, Нью-Йорк, 2003), 3-басылым, Chaps 2.5.1 және 4.3.1.

[Lapidoth-7] Лапидот, Амос (2009). Сандық коммуникация қоры. Кембридж университетінің баспасы. ISBN 978-0-521-19395-5.

[8] Брукс, Майк. «Матрицалық анықтамалық нұсқаулық». Журналға сілтеме жасау қажет | журнал = (Көмектесіңдер)

[LJF16-9] L J Frasinski «Коварианс картасын жасау әдістері» J. физ. B: At. Мол. Бас тарту Физ. 49 152004 (2016), ашық қол жетімділік

[OK13-10] а ^б О Корнилов, М.Экштейн, М Розенблат, К.П.Шульц, К Мотомура, Рузье, Дж Клей, Л Фукар, М Сиано, А Любке, Ф.Шаппер, П Джонсон, DMP Голландия, Т Шлатхолтер, Т Марченко, С Дюстер, К. Ueda, MJJ Vrakking және LJ Frasinski «XUV интенсивті өрістеріндегі диатомиялық молекулалардың кулондық жарылуы» J. физ. B: At. Мол. Бас тарту Физ. 46 164028 (2013), ашық қол жетімділік

[11] I Нода «Инфрақызыл, Раман және басқа спектроскопия түрлеріне қолданылатын жалпыланған екі өлшемді корреляция әдісі» Қолдану. Спектроскопия. 47 1329–36 (1993)

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

Матрица сыныптар
Айқын шектеулі жазбалар	(0,1) Балама Диагональға қарсы Эрмитиге қарсы Антиметриялық Жебе ұшы Топ Екі бұрышты Екілік Бисиметриялық Блок-диагональ Блок Үшбұрышты блок Буль Коши Центросимметриялық Конференция Кешенді Хадамард Копозитивті Диагональ бойынша басым Диагональ Дискретті Фурье түрлендіруі Бастауыш Эквивалентті Фробениус Ортақ ауыстыру Хадамард Ханкель Эрмитиан Гессенберг Қуыс Бүтін Логикалық Марков Метцлер Мономиялық Мур Теріс емес Бөлінген Париси Бес бұрышты Рұқсат ету Персиметриялық Көпмүшелік Оң Кватернионды Қол қою Қолы Қисық-эрмитич Қиғаш симметриялы Skyline Сирек Сильвестр Симметриялық Toeplitz Үшбұрыш Үшбұрышты Унитарлы Вандермонд Уолш З
Тұрақты	Айырбастау Гильберт Жеке басын куәландыратын Леммер Біреуі Паскаль Паули Redheffer Ауысу Нөл
Шарттары қосулы меншікті мәндер немесе меншікті векторлар	Серік Конвергентті Ақаулы Қиғаштау Хурвиц Позитивті-анықталған Тұрақтылық Stieltjes
Қанағаттанарлық жағдайлар өнімдер немесе инверстер	Келісімді Иппотент немесе Болжам Айнымалы Міндетті емес Nilpotent Қалыпты Ортогональ Ортонормальды Жекеше Бірмәнді емес Бірегей Толығымен бірмодуляр Таразы
Арнайы қосымшалармен	Қосыңыз Айнымалы белгі Толықтырылды Bézout Карлеман Картан Циркулятор Кофактор Коммутация Шатасу Коксетер Қорлайтын Қашықтық Көшіру Жою Евклидтік қашықтық Іргелі (сызықтық дифференциалдық теңдеу) Генератор Грамиан Гессиан Үй иесі Якобиан Сәт Төлеп құтылу Таңдау Кездейсоқ Айналдыру Зайферт Қайшы Ұқсастық Симплектикалық Толығымен оң Трансформация Ведерберн X – Y – Z
Жылы қолданылған статистика	Бернулли Орталықтандыру Корреляция Коварианс Дизайн Дисперсия Екі есе стохастикалық Фишер туралы ақпарат Шляпа Дәлдік Стохастикалық Өтпелі кезең
Жылы қолданылған графтар теориясы	Іргелес Екіжақтылық Дәрежесі Эдмондс Ауру Лаплациан Зайдельдің іргелес жері Қиғаштық Тутте
Ғылым мен техникада қолданылады	Кабиббо – Кобаяши – Маскава Тығыздығы Іргелі (компьютерлік көру) Бұлыңғыр ассоциативті Гамма Гелл-Манн Гамильтониан Тұрақты емес Қабаттасу S Мемлекеттік ауысу Ауыстыру Z (химия)
Ұқсас шарттар	Иорданияның канондық түрі Сызықтық тәуелсіздік Матрица экспоненциалды Конустық қималардың матрицалық көрінісі Керемет матрица Псевдоинверсті Кватернионды матрица Қатарлы эшелон формасы Вронскян
Матрицалар тізімі Санат: Матрицалар