Главная > Методы обработки данных > Байесовские методы в эконометрии
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

ПРИЛОЖЕНИЕ. АПРИОРНЫЕ РАСПРЕДЕЛЕНИЯ, ПРЕДСТАВЛЯЮЩИЕ «СКУДОСТЬ ЗНАНИЯ»

Как уже указывалось в настоящей главе, встречаются ситуации, когда исследователи знают мало (или хотят поступать так, как если бы мало знали) о параметрах некоторой модели. Поэтому есть потребность в формулировке в явном виде правил выбора априорных распределений для представления «скудости знания» или незнания. Читатель, может быть, удивится, но именно удовлетворение этой потребности является самым трудным и спорным аспектом байесовского подхода к статистическому выводу. В данном приложении мы рассмотрим предложения, которые были выдвинуты для решения этой проблемы.

Для случая, когда значение параметра совершенно неизвестно, Джеффрис предлагает два правила выбора априорного распределения, которые (цитируем) «охватывают наиболее распространенные ситуации». Он утверждает, что, «если параметр существует в конечном интервале или в интервале от до то его априорная вероятность должна считаться равномерно распределенной. Если же можно обосновать, что параметр принимает значения в интервале между то следует считать равномерно распределенной вероятность его логарифма».

Рассмотрим пример применения первого правила Джеффриса в случае, когда можно обоснованно полагать, что некоторый параметр например математическое ожидание, принимает значения в интервале от до

Правило Джеффриса для представления незнания значения предлагает принять

т. е. . Эта прямоугольная ФПВ, очевидно, является несобственной, поскольку

Если мы знаем, что есть достоверное утверждение, то, следовательно, Джеффрис использует для представления вероятности достоверного события, вместо Тот факт, что

интеграл от выражения (1) равен бесконечности, есть, в глазах Джеффриса, достоинство, поскольку тогда или неопределенности, где а, b, с и d любые конечные числа. Но поскольку это отношение вероятностей является неопределенным, мы не в состоянии делать утверждений о том, каковы шансы на то, что лежит в некоторой конкретной паре конечных интервалов. Джеффрис считает, что именно это свойство (1) является формальным представлением незнания.

Если мы вместо (1) взяли бы, например,

собственную ФПВ, то мы ввели бы априорную информацию об области существования а тем самым мы уже не могли бы считать, что совершенно ничего не знаем о значении . Если задано (2), то для конечных а и b, лежащих в замкнутом интервале от — М до М, мы имеем и, таким образом,

где конечны и лежат в замкнутом интервале от — М до М. В противоположность тому, что следует из (1), отношение вероятностей в (3) будет определенным. Однако, если мы рассмотрим то такое отношение вероятностей имеет вид . В этом смысле мы можем рассматривать (2) в качестве апроксимации (1) при возрастании М.

Может возникнуть вопрос о том, вводим ли мы информацию о путем выбора ФПВ прямоугольного вида (1) или (2). По логике рассуждений Джеффриса, неопределенность отношений достаточна для обоснования использования прямоугольной ФПВ. Однако есть и другие ФПВ, обладающие этим свойством. Поэтому, видимо, нет пути нахождения ответа на вопрос о виде ФПВ для выражения незнания без введения меры информации. Если мы согласимся измерять информацию, содержащуюся в ФПВ, например, с помощью

меры, использованной многими исследователями, в том числе Шенноном то собственной ФПВ, минимизирующей Н, является (2). Таким образом, прямоугольная ФПВ является априорной ФПВ «минимальной информации». Увеличивая М, мы получаем аппроксимацию (1).

Пример 2.3 в тексте настоящей главы показывает, что, объединяя несобственную ФПВ в (1) с функцией правдоподобия с помощью теоремы Байеса, мы получаем в результате собственную ФПВ. Выборочная информация, содержавшаяся в функции правдоподобия, привела нас в этом случае от несобственной «неинформативной» ФПВ для к собственной «информативной» апостериорной ФПВ. Таким образом, мы двигались от незнания, представленного (1), к более информированному состоянию, представленному нашей собственной апостериорной ФПВ, и, например, апостериори отношение уже не является неопределенным.

Второе из правил, которые дает Джеффрис, относится к параметрам, природа которых позволяет сделать допущение, что они принимают значения от 0 до например, среднее квадратичное отклонение а. Для такого параметра Джеффрис предлагает принять равномерно распределенным его логарифм, т. е. если мы положим , то априорная ФПВ для будет выбрана в виде

где а. Заметим, что область существования есть и, таким образом, (5) не противоречит первому правилу Джеффриса. Поскольку предполагает

в качестве несобственной ФПВ, представляющей незнание о .

Джеффрис замечает несколько интересных свойств (6) и ее возможных альтернатив. Во-первых, (6) инвариантна относительно преобразований вида иными словами, следовательно, . Для Джеффриса это свойство инвариантности имеет важное значение потому, что некоторые исследователи, например, параметризируют модели в терминах среднего квадратичного отклонения , а другие — в терминах дисперсии или параметра точности

. Можно легко проверить, что если мы выберем в качестве нашей априорной ФПВ для а, то в качестве логического следствия мы получим . Таким образом, приложение правила Джеффриса или к дает ФПВ, относящееся к одному и тому же виду и не противоречащие друг другу в том смысле, что выполняется . Более того, непротиворечивыми будут и вероятностные утверждения, базирующиеся на этих альтернативных параметрах.

Далее Джеффрис обращает внимание на то, что (6) обладает следующими свойствами:

Свойство (а) вновь указывает на то, что используется для представления достоверности. Тогда из (б) и (в), вместе взятых, следует, что есть неопределенность, и об отношении этих двух вероятностей ничего нельзя сказать, что относится и к шансам осуществления утверждений Подобная неопределенность опять рассматривается как формальное представление незнания.

В качестве альтернативы (6) Джеффрис рассматривает . Первая из этих ФПВ обладает тем свойством, что вероятность , где с конечно и положительно, равна что на шкале Джеффриса есть достоверность. Таким образом, вероятность, того, что равна нулю, и это предполагает некоторые априорные сведения о а. Поэтому Джеффрис считает неприемлемой в качестве представления незнания о значении а. Что касается то Джеффрис говорит о необходимости введения множителя k в показатель, поскольку a имеет размерность длины, а показатель при должен быть безразмерной величиной. Кроме того, если принять ФПВ в виде то будет иметь определенное конечное значение для положительных конечных с, и это противоречит допущению о том, что мы ничего не знаем о значении а. Кроме того, если мы не знаем k, то вынуждены ввести для него априорную ФПВ, и, таким образом, мы, оказывается, ничуть не продвинулись вперед.

Мы уже отметили, что есть такой параметр, что выполняется когда . При этом информационная мера (4) минимизируется путем выбора и это является теоретико-информационным обоснованием выбора равномерно распределенным, что предполагается (6). Обычно, если

где -дифференцируемая функция, мы можем положить в соответствии с первым правилом Джеффриса. Это предполагает, что . Если , то мы получаем априорную ФПВ Джеффриса (6). Джеффрис хочет, чтобы f(а) не требовала для своего определения новых параметров. Это условие исключает, например, такие функции, как . По Джеффрису, должна иметь вид , где являются константами, если мы хотим выразить незнание значений а, при условии, что нам известно, что . Далее он показывает, что только положив мы можем сделать отношение неопределенным.

Рис. 2.3. Пример «локально равномерной» априорной ФПВ

Этот результат наряду с «инвариантностью к возведению в степень» заставляет его выбрать (6) в качестве представляющей незнание априорной ФПВ для а.

В примере 2.3 (основная часть настоящей главы) мы уже видели, как несобственная априорная ФПВ будучи объединенной с функцией правдоподобия, дает собственную апостериорную ФПВ для а. Как уже указывалось выше, предполагает и, таким образом, мы пользуемся тем же самым видом ФПВ для выражения незнания значений любой другой степени а). Таким образом, если один исследователь использует параметр а, в то время как другой — параметр , то при условии, что ими для представления незнания выбраны соответственно, их апостериорные вероятности для а и будут непротиворечивы.

Некоторые исследователи не решаются применять несобственные ФПВ, рекомендуемые Джеффрисом. Они предпочитают вводить «локально равномерные» или «пологие» ФПВ для неизвестных параметров. Этими терминами обозначаются априорные ФПВ, кривые которых «достаточно плоски» или «пологи» в области, в которой функция правдоподобия принимает достаточно большие значения. Вне этой области форма кривой априорной ФПВ не играет роли, поскольку при выводе апостериорной ФПВ априорная ФПВ умножается на малые значения функции правдоподобия. Иллюстрация этого подхода приводится на рис. 2.3.

Поскольку апостериорная ФПВ пропорциональна априорной ФПВ, умноженной на функцию правдоподобия, очевидно, что форма кривой влево от точки А и вправо от точки В окажет лишь незначительное

влияние на форму кривой апостериорной ФПВ. Аналитически для некоторого параметра апостериорная ФПВ задается, как

Пусть есть значение расположенное в области, в которой принимает достаточно большие значения. Во многих случаях за может быть принята мода Разложим в ряд следующим образом:

Если члены первого и более высокого порядка в этом разложении пренебрежимо малы в области, в которой функция правдоподобия принимает достаточно большие значения, что будет иметь место в случае, если является плоской или «пологой» в этой области, то мы получаем

где символ обозначает «приблизительную пропорциональность».

Очевидно, что выбор , «локально равномерной» и собственной, не удовлетворяет условию Джеффриса в отношении полного незнания (см. обсуждение Кроме того, эта процедура выбора априорной ФПВ предполагает кое-какие знания о функции правдоподобия, что в некоторых случаях на практике может иметь место, но может и не иметь его. Если эта информация об области изменения и функции правдоподобия действительно имеется в распоряжении исследователя, а некоторые авторы утверждают, что обычно оно так и есть, то ее можно успешно использовать; например, если известно, что и что задуманный эксперимент может дать достаточно большие значения функции правдоподобия в области , то очевидно, что применение в качестве априорной ФПВ при может привести к выводам, противоречащим априорной информации,

Таким образом, когда исследователь знает нечто о и структуре эксперимента, разумеется, важно, чтобы он эту информацию учел при получении выводов о Если же он не располагает такой информацией, то обычно на практике разница между использованием для «локально равномерной» априорной ФПВ и применением несобственной априорной ФПВ Джеффриса очень невелика.

В обсуждении выше мы встретили несколько примеров на свойство инвариантности априорных ФПВ; например, было отмечено, что выражение инвариантно относительно возведения в степень а. Джеффрис дал замечательное обобщение этому свойству инвариантности. Он показал [66, с. 179], что если наша априорная ФПВ для вектора параметров выбрана в виде

где есть информационная матрица Фишера для вектора параметров , т. е.

где математическое ожидание М берется по ФПВ для то она будет инвариантна в следующем смысле. Если один исследователь параметризирует свою модель в терминах компонент вектора , где взаимнооднозначное дифференцируемое преобразование компонент вектора 0, и выбирает априорную ФПВ для так, что

то апостериорные вероятностные утверждения, полученные на этой основе будут непротиворечивыми по отношению к таковым, полученным исследователем, использовавшим вектор параметров в сочетании с априорной ФПВ (9). Доказательство этого свойства приводится ниже.

Пусть , где есть ФПВ для вектора наблюдений у. Альтернативной записью информационной матрицы для 0 в (10) является следующая:

где обозначает и математическое ожидание М взято по у. Пусть есть взаимно-однозначное преобразование компонент вектора

Тогда мы имеем

Доказательство. Поскольку

элемент матрицы может быть представлен в виде

где

Ввиду этого имеем

и

где J есть функциональная матрица, ассоциированная с преобразованием элемент которой равен Заметив, что

мы получаем из (146)

что и требовалось доказать.

Значение полученного результата заключается в том, что, если исследователь А параметризирует модель в терминах и использует в качестве априорной ФПВ, то полученная им апостериорная ФПВ есть в то время, как исследователь В, параметризирующий модель в терминах получает в качестве апостериорной ФПВ Поскольку доказана справедливость (13), исследователь В может употребить для преобразования своей апостериорной ФПВ, чтобы связать ее с и получить точно ту же апостериорную ФПВ, что и А. Альтернативный подход заключается в том, что исследователь А может использовать для выражения его апостериорной ФПВ в терминах и, при условии (13), эта апостериорная ФПВ для к) будет в точности совпадать с аналогичной функцией для исследователя В. Таким образом, если исследователи возьмут свои априорные ФПВ пропорциональными корню квадратному из определителя соответствующей информационной матрицы, то это приведет к согласованным апостериорным ФПВ в принятом выше смысле.

Для рассмотрения свойства инвариантности в более общем контексте полезно заметить, что байесовское «преобразование» заданной априорной ФПВ,

предполагает несколько взаимосвязанных понятий, а именно ФПВ для у, пространство параметров Q и выборочное пространство S. Мы будем писать

для представления подобных коллективов, где Q есть открытое подмножество в -мерном евклидовом пространстве открытое подмножество в Допустим, что содержит только ФПВ для у при заданном , имеющую непрерывную производную по при всех Хартиген [60] рассмотрел свойства байесовского преобразования (15) при различных f. Он установил, что (15) обладает следующими свойствами, инвариантности, если т. е. если априорная - ФПВ имеет вид, предложенный Джеффрисом.

I. Инвариантность относительно отображения S: если есть взаимно-однозначное дифференцируемое преобразование, переводящее выборочное пространство S для у в S, выборочное пространство для z, то

Это свойство в особенности важно, например, когда преобразование связано с изменением единицизмерения.

II. Инвариантность относительно отображения если есть взаимно-однозначное дифференцируемое преобразование

это существует и

Ниже мы даем доказательство этого свойства и прокомментируем его значение.

III. Инвариантность относительно сужения Q: пусть апостериорная ФПВ, полученная из при будет пропорциональной] при

Это свойство предполагает, что если мы выбрали априорную ФПВ Джеффриса, то при использовании функции правдоподобия, определенной для мы получаем такую же апостериорную ФПВ, как если бы мы определили функцию правдоподобия для , а затем наложили на полученную апостериорную ФПВ ) ограничение, преобразующее ее в нуль вне области .

IV. Инвариантность достаточной статистики, если априорная ФПВ выбирается в виде, предложенном Джеффрисом, и если есть достаточная статистика для есть ФПВ для достаточной статистики, то где задается (15).

V. Инвариантность прямого произведения: если мы располагаем двумя независимыми выборками априорные ФПВ для которых суть соответственно , где , то при условии, что каждая из априорных ФПВ выбрана в виде, предложенном Джеффрисом, имеет место

где

b

VI. Инвариантность многократного произведения, пусть представляют собой -мерные векторы независимых наблюдений из совокупности с ФПВ . Тогда

и

Если , где то мы получаем «инвариантность многократного

произведения». Это свойство обеспечивается выбором в виде, предложенном Джеффрисом.

Эти шесть свойств инвариантности на практике являются важными свойствами априорных ФПВ, и обладание ими — большое достоинство априорной ФПВ Джеффриса . Но в каком смысле можно рассматривать априорную ФПВ Джеффриса — как представляющую «скудость знания» или «незнание»? Как и при обсуждении пригодности равномерного распределения для представления «скудости знания», целесообразно рассмотреть эту проблему в терминах теории информации. Для того чтобы осуществить это, положим, что есть ФПВ для у при заданном . Введем

в качестве меры информации, содержащейся в Априори среднее информационное содержание определится как

где есть априорная ФПВ, здесь собственная. Далее введем

в качестве меры информационного выигрыша, т. е. из априорного среднего информационного содержания, ассоциированного с наблюдением у, обозначаемого через вычтем информационное содержание нашей априорной ФПВ, выраженное через .

Теперь мы введем определение, согласно которому априорной ФПВ с «минимальной информацией» называется ФПВ, максимизирующая G при заданной . Хотя это и не единственно возможное определение априорной ФПВ с «минимальной информацией» (иначе говоря, могут применяться и другие меры информации), представляется интересным использовать его в нескольких конкретных частных случаях для того, чтобы в иллюстративных целях вывести с его помощью априорные ФПВ и сравнить их с априорными ФПВ Джеффриса.

Рассмотрим сначала

т. е. случай, когда величина у нормально распределена с неизвестным математическим ожиданием и известной дисперсией, равной единице.

Тогда

т. е. не зависит от . Вследствие этого для собственных получим

и

будет максимизироваться при минимизации . Как уже было показано выше, решением этой задачи является прямоугольная или равномерная ФПВ для , т. е. Это соответствует виду априорной ФПВ, получаемой из правила Джеффриса, т. е.

В качестве второго примера мы рассмотрим

Здесь мы предполагаем, что величина у распределена нормально с известным математическим ожиданием, равным нулю, и неизвестной дисперсией а. Тогда имеем

и для собственных получаем

Необходимое условие максимума G при ограничении состоит в выполнении равенства , где А, есть множитель Лагранжа. Это предполагает, что

что также соответствует .

В качестве третьего примера рассмотрим

где неизвестны как 0, так и . В этом случае

и для собственной мы имеем

G достигает максимума при ограничении , если

Таким образом, априорная ФПВ с «минимальной информацией» — это ФПВ, в которой и а распределены независимо, причем распределены равномерно.

Априорная ФПВ вида (33) широко применялась Джеффрисом, хотя 1

Джеффрис объясняет свой отход от общего правила в данном случае тем, что здесь на основании априорного суждения принимается, что и а независимы. Далее он применяет свое правило отдельно к и к а для того, чтобы получить априорную ФПВ вида (23). Он замечает, что априорная ФПВ (23) инвариантна к преобразованиям вида .

Если мы рассмотрим величину G из (21) в асимптотическом виде

где — число независимых выборок из генеральной совокупности, распределенной по закону и будем искать априорную ФПВ , максимизирующую при ограничении , то получим просто

т. е. вид, соответствующий инвариантной априорной ФПВ Джеффриса. Таким образом, для асимптотического вида G (25) априорная ФПВ Джеффриса является априорной ФПВ с минимальной информацией. Однако, если G из (21) задано в неасимптотическом виде, следует признать, что, как было показано выше, инвариантные априорные ФПВ Джеффриса не всегда являются ФПВ с минимальной информацией, поскольку они не всегда максимизируют . В случае если априорная ФПВ Джеффриса не максимизирует G, использование таковой приводит к внесению большей априорной информации в анализ, чем если бы применялась априорная ФПВ, максимизирующая G. Когда число параметров велико, эта разница может быть значительной; например, в упоминавшемся уже случае с k нормально распределенными генеральными совокупностями, математические ожидания которых и их общая дисперсия неизвестны, априорная ФПВ Джеффриса имеет вид при больших k резко отличающийся от априорной ФПВ с минимальной информацией . Таким образом, очень важно, как это подчеркивает и сам Джеффрис, тщательно исследовать вид такой неясной, или расплывчатой, априорной ФПВ для того, чтобы избежать внесения какой-либо нежелательной априорной информации в анализ, соображение, к которому надо относиться особенно внимательно в случае малых выборок.

<< Предыдущий параграф Следующий параграф >>
Оглавление