Главная > Физика > Введение в статистическую оптику
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

§ 2. Представление об энтропии

Рассмотрим теперь более общий случай, когда имеются N исчерпывающих, взаимно исключающих и равновероятных случаев, и из них случаев благоприятствуют появлению события i. Определим как вероятность появления события i. Вероятность представляет собой, очевидно, линейную меру априорной неопределенности результата и может принимать значения в интервале Предположим далее, что с каждым

событием связана величина Тогда средняя или ожидаемая величина х определяется как среднее взвешенное величин с весовым множителем, равным частоте появления события:

и вообще для моментов любого порядка

Из выражений типа наиболее часто используется выражение для среднего значения и дисперсии

Кроме часто весьма полезно иметь более мощную меру неопределенности события, изменяющуюся не от 0 до 1, а от 0 до которая для независимых событий (например, в Бостоне бросают монету, а в Сан-Франциско открывают карту) удовлетворяет закону сложения. Более мощной мерой, которая удовлетворяет этим условиям, является Так как эта мера также соответствует нашему интуитивному представлению о количестве «информации», которую мы получаем при появлении события, в современной теории связи она определяется как

в битах. Основание 2 здесь выбрано потому, что вычисления обычно проводятся в двоичных единицах (битах). Среднее значение этой величины для большой последовательной выборки также определяется как среднее взвешенпое с весовым множителем, равным частоте появления события, и называется оно «энтропией» распределения вероятности

Методом множителей Лагранжа и с учетом условия легко показать, что и максимум имеет место, когда все равны, т. е.

Фиг. Б.1.

Если с достаточной определенностью может встретиться только одно событие то

На фиг. Б.1 представлена схема для основной задачи теории связи [2]. Посылается сообщение х, содержащее последовательность i символов, а в принимаемом сообщении содержится последовательность символов. Определим:

вероятности

условные вероятности: — вероятность появления символа при наличии символа — вероятность появления символа i при наличии символа

вероятность совместного события — вероятность появления символов Эти вероятности удовлетворяют следующим выражениям:

С каждой из этих вероятностей мы связываем следующие величины: энтропии

условные энтропии

и энтропию совместного события

которые удовлетворяют уравнениям

или неравенству

причем равенство справедливо в том случае, когда х и у статистически независимы.

Предположим теперь, что посылается один символ i и принимается один символ Сколько «информации» передается при этом? Передаваемая информация равна разности уровней незнания до и после передачи. Более точно

С точки зрения отправителя

тогда как с точки зрения получателя

Но из выражения следует, что

или т. е. количество передаваемой «информации» не зависит от наблюдателя. Усредним это выражение

по всем входным и выходным символам:

После несложных преобразований это выражение приводится к следующему виду:

с точки зрения получателя или

с точки зрения отправителя.

Фиг. Б.2.

Если использовать величины начальной и конечной степени незнания содержания посланного сообщения, то выражение можно записать в виде

так что увеличение информации приводит к уменьшению Конечно, при отсутствии «шума»

В качестве иллюстрации сказанного рассмотрим пример с двумя урнами (фиг. Б.2). В первой урне содержится 10 белых шаров и 2 черных шара, а во второй — 2 белых шара и 10 черных. Из первой урны вынимается шар неизвестного цвета и кладется во вторую урну, содержимое которой затем перемешивается. Затем вынимается шар из второй урны и отмечается его цвет. После этого наблюдатель восстанавливает первоначальное состояние и все снова повторяется. Сколько бит передается в такой системе за один выбор? Пусть соответствует событию, состоящему в вынимании белого шара из урны 1 и помещении

его в урну 2, а — то же самое для черного шара. Это - «посланное сообщение». Пусть соответствуют событиям, состоящим в последовательном выборе белого или черного шара из урны 2. Это будет «полученным сообщением». Теперь, пользуясь определением различных вероятностей и теоремами полной вероятности и вероятности совместного события, мы можем составить следующую таблицу вероятностей.

(см. скан)

Отсюда

Энтропия в случае непрерывного сигнала. Для непрерывных распределений вероятности также можно определить энтропию, условную энтропию и энтропию совместного события следующим образом:

Мы уже видели в случае дискретного распределения вероятности, что пределы, достигаемые ограничиваются только условием Предположим теперь к тому же, что мы фиксируем один из моментов вида

Пользуясь опять методом множителей Лагранжа и полагая можно показать, что Я достигает своего максимального значения, когда

где выбраны таким образом, чтобы они удовлетворяли двум дополнительным условиям. В физике при (где Е — полная энергия системы) и тогда выражение (Б. 20) представляет собой распределение Больцмана. Если скорость молекул газа), то и тогда выражение (Б.20) дает закон Максвелла — Больцмана для распределения скоростей молекул идеального классического газа. Перефразируя Вудворда [2], можно сказать, что при фиксированной величине среднего квадрата флуктуаций распределение Гаусса является наиболее случайным из всех распределений в том смысле, что ему соответствует максимальная энтропия. С этой точки зрения все результаты, полученные Шенноном [3] для емкости канала передачи информации, потерь энтропии в линейном фильтре и т. д., могут быть непосредственно применены в оптике [4, 51 с соответствующим переходом к двумерным представлениям.

<< Предыдущий параграф Следующий параграф >>
Оглавление