Лекции по количественной оценке информации
| Категория реферата: Рефераты по информатике, программированию
| Теги реферата: евгений сочинение, матершинные частушки
| Добавил(а) на сайт: Jernesta.
Предыдущая страница реферата | 1 2 3 4 5 6 7 8 9 10 11 | Следующая страница реферата
Для вычисления среднего количества информации, содержащегося в принятом ансамбле сообщений В относительно передаваемого ансамбля сообщений А в условиях действия помех, пользуются следующими выражениями, выведенными непосредственно из выражения (25):
!!!!!!!!
Для вычисления часто удобно применять выражения (26-28) в виде
!!!!!!!
Для полного и всестороннего описания канала связи необходимо задать: канальную матрицу вида !!!!!! и безусловные вероятности вида !!!! или канальную матрицу вида !!!!!! и безусловные вероятности вида !!!!!. В последнем случае сумма значений матрицы по столбцам дает безусловные вероятности вида !!!!!!!!!!, а сумма по строкам дает безусловные вероятности вида !!!!!!. Условные вероятности могут быть найденными из выражений:
!!!!!!!
Зная условные и безусловные вероятности, можно найти Н (А), Н(В), Н(А/В) и Н(В/А).
Если уровень помех настолько высок, что с равной вероятностью можно ожидать переход любого символа источника сообщения в произвольный символ первичного алфавита,. то энтропия канала связи будет равна !!!!!, а количество информации !!!!!!!, при этом значение I может быть отрицательной величиной, что означает, что канал связи вносит дезинформацию.
ТЕМА 5. ОПРЕДЕЛЕНИЕ ИЗБЫТОЧНОСТИ СООБЩЕНИЙ. ОПТИМАЛЬНОЕ КОДИРОВАНИЕ
Если энтропия источника сообщений не равна максимальной энтропии для алфавита с данным количеством качественных признаков (имеются в виду качественные признаки алфавита, при помощи которых составляются сообщения), то это прежде всего означает, что сообщения данного источника могли бы нести большее количество информации. Абсолютная недогруженность на символ сообщений такого источника
Для определения количества «лишней» информации, которая заложена в структуре алфавита либо в природе кода, вводится понятие избыточности. Избыточность, с которой мы имеем дело в теории информации, не зависит от содержания сообщения и обычно заранее известна из статистических данных[4]. Информационная избыточность показывает относительную недогруженность на символ алфавита и является безразмерной величиной:
(45)
где 
— коэффициент сжатия (относительная энтропия).
и 
берутся
относительно одного и того же алфавита.
Кроме общего понятия избыточности существуют частные виды избыточности.
Избыточность, обусловленная неравновероятным распределением символов в сообщении,
(46)
Избыточность, вызванная статистической связью между символами сообщения,
(47)
Полная информационная избыточность
(48)
Избыточность, которая заложена в природе данного кода, получается в результате неравномерного распределения в сообщениях качественных признаков этого кода и не может быть задана одной цифрой на основании статистических испытаний.
Так при передаче десятичных цифр двоичным кодом максимально загруженными бывают только те символы вторичного алфавита, которые передают значения, являющиеся целочисленными степенями двойки. В остальных случаях тем же количеством символов может быть передано большее количество цифр (сообщений). Например, тремя двоичными разрядами мы можем передать и цифру 5, и цифру 8, т. е. на передачу пяти сообщений тратится столько же символов, сколько тратится и на восемь сообщений.
Фактически для передачи сообщения достаточно иметь длину кодовой комбинации
,
Рекомендуем скачать другие рефераты по теме: реферат федерация, сочинение капитанская.
Категории:
Предыдущая страница реферата | 1 2 3 4 5 6 7 8 9 10 11 | Следующая страница реферата
Главная