Главная > Методы обработки данных > Временные ряды. Обработка данных и теория
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

9.2. Анализ главных компонент векторных величин

Пусть X — случайный вектор с компонентами, имеющий среднее и ковариационную матрицу Займемся задачей одновременной минимизации всех собственных чисел симметричной матрицы

    (9.2.1)

за счет выбора вектора с компонентами, -матрицы В и -матрицы С. Определив соответствующие величины и С, можно убедиться, как уже отмечалось в § 8.2, что они доставляют минимум также монотонным функциям от собственных чисел матрицы (9.2.1), таким, Как след, детерминант и диагональные элементы.

Поскольку любая -матрица А ранга может быть представлена в виде произведения СВ, в котором В имеет размеры а С — размеры (упр. 3.10.36), то тем самым, отыскивая В и С, мы одновременно найдем матрицу А ранга, не превосходящего q, которая минимизирует собственные числа матрицы

    (9.2.2)

Ответ на поставленную экстремальную задачу дает

Теорема 9.2.1. Пусть -компонентный случайный вектор X таков, что Тогда все собственные числа матрицы (9.2.1) минимальны, если взять

    (9.2.3)

и

    (9.2.5)

где есть собственный вектор матрицы

Если соответствующие собственные значения матрицы обозначить буквами то при указанном выше выборе и С матраца (9.2.1) примет вид

    (9.2.6)

Теорема 9.2.1 является частным случаем теоремы, доказанной Okamoto и Kanazawa (1968); см. также Okamoto (1969). Тот факт, что указанные и С минимизируют след (9.2.1), установили Kramer, Mathews (1956), Rao (1964, 1965) и Darroch (1965).

Величина

    (9.2.7)

называется главной компонентой вектора . Отметим результат, относящийся к главным компонентам.

Следствие 9.2.1. При условиях теоремы 9.2.1

    (9.2.8)

Таким образом, главные компоненты X оказываются такими линейными комбинациями составляющих вектора X, которые некоррелированны. Можно было бы охарактеризовать главную компоненту как линейную комбинацию при которая имеет максимальную дисперсию и некоррелированна с [Hotelling (1933); Anderson (1957, гл. 11), Rao (1964, 1965) и Morrison (1967, гл. однако определение (9.2.7) больше подходит для дальнейших целей.

Покажем теперь, как проводятся оценки упомянутых выше параметров. Для удобства рассмотрения предположим, что тогда формула (9.2.5) дает для значение 0. Допустим, что известна выборка , значений случайного вектора X из теоремы 9.2.1. Введем -матрицу

    (9.2.9)

В качестве оценки для ковариационной матрицы возьмем

    (9.2.10)

Далее, в качестве оценки выберем из упорядоченных по возрастанию собственных чисел матрицы оценим соответствующим собственным вектором матрицы Тогда справедлива

Теорема 9.2.2. Пусть величины , образуют выборку из распределения . Предположим, что матрица имеет различных собственных чисел . Тогда величина асимптотически нормальна и при этом асимптотически независимы от Асимптотические выражения для моментов этих величин даются формулами

    (9.2.11)

и

    (9.2.14)

Эту теорему установил Girshick (1939). Anderson (1963) получил предельное распределение в случае, когда среди собственных значений матрицы есть совпадающие. Из выражения (9.2.13) вытекает полезный результат:

    (9.2.15)

James (1964) нашел точное распределение при выполнении условий теоремы; оказалось, что это распределение зависит только от . Он получил также асимптотические выражения функции правдоподобия для более подробные, чем в приведенной нами теореме; см. James (1964), Anderson (1965) и James (1966). Точное распределение векторов, дуальных приводит Dempster (1969, стр. 303). Tumura (1965) нашел распределение, эквивалентное распределению величин Chambers (1967) указал выражения для кумулянтов асимптотического распределения при условии существования у распределений конечных моментов. Эти кумулянты могут быть использованы для построения приближений к распределениям по методу Корниш—Фишера. Поскольку будут близки к выборочным дисперсиям, может оказаться полезным приближение их распределений масштабированными -распреде-лениями, например, можно взять в качестве аппроксимации распределение . Madansky, Olkin (1969) приводят приближенные доверительные границы для набора см. также Mallows (1961). Разумеется, мы могли бы применить «процедуру складного ножа» Тьюки, чтобы определить приближенно

доверительные области для собственных чисел и собственных векторов [Brillinger (1964с, 1966b)].

Sugiyama (1966) вывел распределение наибольшего, собственного числа и соответствующего собственного вектора матрицы Krishnaiah, Waikar (1970) получили совместное распределение нескрльких собственных значений. Вычисления, относящиеся к данному случаю, рассматривает Golub (1969). В нормальном случае асимптотическое распределение для

    (9.2.16)

нашел Izenman (1972).

При изучении временных рядов нам понадобятся аналоги рассмотренных результатов, относящиеся к комплексным случайным величинам. Вначале сформулируем следующее утверждение.

Теорема 9.2.3. Пусть X — случайный вектор с компонентами, у которого Столбец -матрица В и -матрица С минимизируют сразу все собственные значения матрицы

    (9.2.17)

если взять

    (9.2.18)

и

где - есть собственный вектор . Если обозначает соответствующее собственное число, то экстремальное значение (9.2.17) равно

    (9.2.21)

Отметим, что так как — эрмитова и неотрицательно определенная матрица, то все неотрицательны. Степень аппроксимации непосредственно зависит от того, сколь близки к нулю числа Мы пришли к аппроксимации X вектором

    (9.2.22)

где

    (9.2.23)

Ранее мы сталкивались с подобной ситуацией в теореме . В связи с теоремой 9.2.3 приходим к изучению величин . Они называются главными компонентами вектора X. Если X имеет распределение , то будут независимыми величинами с распределением .

Теперь оценим параметры, характеризующие распределение вектора X. Пусть , образуют выборку из распределения определяется выражением (9.2.9). Тогда в качестве оценки для возьмем

    (9.2.24)

Матрица имеет комплексное распределение Уишарта. Обозначим ее собственные числа и собственные векторы соответственно как . Эта матрица эрмитова и неотрицательно определена, поэтому неотрицательны. Справедлива

Теорема 9.2.4. Пусть величины представляют собой выборку из распределения . Предположим, что все собственные значения матрицы различны. Тогда величина асимптотически нормальна и асимптотически не зависит от . Асимптотические моменты выражаются формулами

    (9.2.25)

Теорема 9.2.4 основывается на двух фактах: собственные значения и собственные векторы матрицы являются дифференцируемыми

функциями матричных элементов и при асимптотически нормальна; см. Gupta (1965).

Выражение (9.2.27) показывает, что

    (9.2.30)

В полной аналогии со случаем действительного X можно рассмотреть аппроксимацию распределения величины посредством

    (9.2.31)

Особенно хорошим приближение (9.2.31) оказывается тогда, когда недиагональные элементы малы, а диагональные элементы заметно отличаются друг от друга. Точное распределение в комплексном нормальном случае нашел James (1964). Из выражения (9.2.29) при видно, что асимптотически имеет комплексное нормальное распределение. Кроме того, мы заключаем на основании (9.2.28), что разброс будет велик, если некоторые из очень близки по величине.

<< Предыдущий параграф Следующий параграф >>
Оглавление