КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении,

[pic]. (1)

Неопределенность, приходящаяся на символ первичного (кодируемого)[1] алфавита, составленного из равновероятностных и взаимонезависимых символов,

[pic]. (2)

Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии: а) в двоичных единицах

[pic] б) в десятичных единицах

[pic] где [pic]; в) в натуральных единицах

[pic] где [pic]

Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений к на среднюю энтропию Н, приходящуюся на одно сообщение:

[pic] (3)

Для случаев равновероятностных и взаимонензависимых символов первичного алфавита количество информации в к сообщениях алфавита m равно

[pic] а количество информации в сообщении, составленном из к неравновероятностных символов,

[pic] (5)

Для неравновероятностных алфавитов энтропия на символ алфавита

[pic] (4)

При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, независимо от того, являются ли они безусловными [pic], условными [pic] или вероятностями совместных событий[pic].

Количество информации определяется исключительно характеристиками первичного алфавита, объем – характеристиками вторичного алфавита. Объем[2] информации

[pic] (6) где lср – средняя длина кодовых слов вторичного алфавита. Для равномерных кодов (все комбинации кода содержат одинаковое количество разрядов)

[pic] где n – длина кода (число элементарных посылок в коде). Согласно (3), объем равен количеству информации, если lср=Н, т.е. в случае максимальной информационной нагрузки на символ сообщения. Во всех остальных случаях
[pic].
Например, если кодировать в коде Бодо некоторые равновероятный алфавит, состоящий из 32 символов, то

[pic]

Если закодировать в коде Бодо русский 32-буквенный алфавит, то без учета корреляции между буквами количество информации

[pic] т.е. если в коде существует избыточность и [pic], то объем в битах всегда больше количества информации в тех же единицах.

Тема 2. Условная энтропия и энтропия объединения

Понятие условной энтропии в теории информации используется при определении взаимозависимости[3] между символами кодируемого алфавита, для определения потерь при передаче информации по каналам связи, при вычислении энтропии объединения.