Образовательный портал Claw.ru
Всё для учебы, работы и отдыха
» Шпаргалки, рефераты, курсовые
» Сочинения и изложения
» Конспекты и лекции
» Энциклопедии

II

Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика

Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика

Очевидно, что неопределенность испытания до испытания в первом вероятностном пространстве выше, чем во втором. Действительно, до испытания в I нельзя ни одному из событий отдать предпочтения, а во II событие E3 происходит чаще.

Энтропия - мера неопределенности исхода испытания (до испытания).

Первым, кто функционально задал выражение для энтропии был Шеннон.

Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика,           Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика

Для вероятностного пространства:

Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика

Энтропия задается выражением: Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика. Если P1=0, то Pi×logPi=0.

Самим показать, что:

 Если вероятностное пространство не имеет определенности, т.е. какое-то из Pi=1, а остальные равны 0, то энтропия равна нулю.

 Если элементарный исход равновероятен, т.е. Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика, то энтропия принимает максимальное значение.

0£Pi£1,  Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика

Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика

Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика,   Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика

т.о. вероятности p1, p2, ..., ps обращаются в ноль, например pi, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к. Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика.

Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p1, p2, ..., ps и найдем условный экстремум этой функции, при условии, что Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика.

Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции: Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика.

Дифференцируя по p1, p2, ..., ps и приравнивая производные нулю получим систему:

Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика              i=1, ..., s

Откуда видно, что экстремум достигается при равных между собой p1.

Т.к.  Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика, то p1= p2=, ..., = ps= 1/s.

Еденицей измерения энтропии является энтропия вероятностного пространства вида: Claw.ru | Рефераты по математике | Теория вероятности и математическая статистика


Рекомендуем скачать другие рефераты по теме: quality assurance design patterns системный анализ, 5 баллов рефераты.


Категории:




Предыдущая страница реферата | 5  6  7  8  9  10  11  12  13  14  15 |


Поделитесь этой записью или добавьте в закладки

   



Рефераты от А до Я