Предыдущая страница реферата | 1  2  3  4  5  6  7  8  9  10  11 | Следующая страница реферата

Во всех случаях при вычислении условной энтропии в том или ином виде используются условные вероятности.

Если при передаче n сообщений символ А появился m раз, символ В появился l раз, а символ А вместе с символом В – к раз, то вероятность появления символа А [pic]; вероятность появления символа В [pic]; вероятность совместного появления символов А и В [pic]; условная вероятность появления символа А относительно символа В и условная вероятность появления символа В относительно символа А

[pic] (7)

Если известна условная вероятность, то можно легко определить и вероятность совместного появления символов А и В, используя выражения (7)

[pic] (8)

От классического выражения (4) формула условной энтропии отличается тем, что в ней вероятности – условные:

[pic] (9)

[pic] (10) где индекс i выбран для характеристики произвольного состояния источника сообщения А, индекс j выбран для характеристики произвольного состояния адресата В.

Различают понятия частной и общей условной энтропии. Выражение (9) и
(10) представляют собой частные условные энтропии.

Общая условная энтропия сообщения В относительно сообщения А характеризует количество информации, содержащейся в любом символе алфавита, и определяется усреднением по всем символам, т. е. по всем состояниям с учетом вероятности появления каждого из состояний, и равна сумме вероятностей появления символов алфавита на неопределенность, которая остается после того, как адресат принял сигнал

[pic] (11)

Выражение (11) является общим выражением для определения количества информации на один символ сообщения для случая неравномерных и взаимонезависимых символов.

Так как [pic]представляет собой вероятность совместного появления двух событий [pic], то формула (11) можно записать следующим образом:

[pic] (12)

Понятие общей и частной условной энтропии широко используется при вычислении информационных потерь в каналах связи с шумами.

В общем случае, если мы передаем m сигналов А и ожидаем получить m сигналов В, влияние помех в канале связи полностью описывается канальной матрицей, которую мы приводим ниже:
[pic]

|В | |
|А |b1 b2 … bj |
| |… bm |
|а1 |[pic][pic][pic][pic][pic] |
|а2 |………………………………………………………….. |
|… | |
|аi |[pic][pic] |
|… |…………………………………………………………… |
|аm | |
| |[pic][pic] |

Вероятности, которые расположены по диагонали, определяют правильный прем, остальные – ложный. Значение цифр, заполняющих колонки канальной матрицы, обычно уменьшаются по мере удаления от главной диагонали и при полном отсутствии помех всех, кроме цифр, расположенных на главной диагонали, равны нулю.

Если описывать канал связи со стороны источника сообщений, то прохождение данного вида сигнала в данном канале связи описывается распределением условных вероятностей вида [pic], так для сигнала
[pic]распределением вида

[pic] (13)
[pic](14)
[pic](15)
[pic](16)
[pic]

|В | |
|А |b1 b2 … bj |
| |… bm |
|а1 |[pic][pic][pic][pic][pic] |
|а2 |………………………………………………………….. |
|… | |
|аi |[pic][pic] |
|… |…………………………………………………………… |
|аm | |
| |[pic][pic] |

[pic]

[pic](17)
[pic](18)
[pic]
[pic](19)
[pic]
[pic]
[pic]
[pic]
[pic]

[pic]
[pic]
[pic]
[pic]
[pic]
[pic]
[pic]
[pic]
[pic]
[pic]
[pic] [pic]
[pic]
[pic]

тема 3. Вычисление информационных потерь при передаче сообщений по каналам связи с шумами

Рекомендуем скачать другие рефераты по теме: научный журнал, деньги реферат.





Предыдущая страница реферата | 1  2  3  4  5  6  7  8  9  10  11 | Следующая страница реферата