КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

            Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении,

.                                                  (1)

Неопределенность, приходящаяся на символ первичного (кодируемого)[1] алфавита, составленного из равновероятностных и взаимонезависимых символов,

.                                                (2)

            Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии:

            а) в двоичных единицах

            б) в десятичных единицах

где ;

            в) в натуральных единицах

где

            Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений к на среднюю энтропию Н, приходящуюся на одно сообщение:

                                       (3)

            Для случаев равновероятностных и взаимонензависимых символов первичного алфавита количество информации в к сообщениях алфавита m равно

а количество информации в сообщении, составленном из к неравновероятностных символов,

                              (5)

            Для неравновероятностных алфавитов энтропия на символ алфавита

          (4)

При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, независимо от того, являются ли они безусловными , условными  или вероятностями совместных событий.

            Количество информации определяется исключительно характеристиками первичного алфавита, объем – характеристиками вторичного алфавита. Объем[2] информации

                                              (6)

Рекомендуем скачать другие рефераты по теме: реферат федерация, сочинение капитанская.





1  2  3  4  5  6  7  8  9  10  11 | Следующая страница реферата