Энтропия как мера неопределенности выбора

↑

▷ Содержание

⇐ ПредыдущаяСтр 2 из 21Следующая ⇒

Дискретный источник – в некоторый момент времени случайным образом может принять одно из конечного множества возможных состояний U₁,…,U_n, т.к. одни состояния могут быть чаще, а другие реже, то информация характеризуется ансамблем U, т.е. полной совокупностью:

причем (1.4)

Необходимо ввести меру выбора.

Условия ввода меры:

1) монотонность возрастания с увеличением возможностей выбора

можно было бы взять число состояний. – Нельзя! т.к. при N=1 ® выбора нет. - не удовлетворяет требованиям аддитивности.

2) аддитивность: информация содержащаяся в 2-х источниках должна быть равна сумме информации в каждом из них: I_S=I₁+I_2,

с другой стороны: I_S=f(M×N) т.е. f(MN) = f(M) + f(N).

Эти условия можно выполнить, если

Логарифмическая мера информации была предложена американским ученым Хартли в 1928 г. Если основание log=log₂, то имеем единицу информации – бит (binary digit).

К сожалению, мера Хартли не учитывает вероятностные характеристики информации. Допустим: - источник ® p₁=1, p₂=0

- источник ® p₁=p₂=0,5

В 1-ом случае нет - вероятности и исход – заранее известен. т.о. получение сообщения от 1-го источника информации не прибавляет.

Во 2-ом случае – исход заранее неизвестен. Поэтому информация полученная от 2-го источника ® max, т.е. вероятностная мера информации должна удовлетворять следующим условиям:

- быть непрерывной функцией вероятности состояния источника p₁, p₂,…, p_N (Sp_i=1);

- max ее (меры) значения должен достигаться при равенстве вероятностей;

- мера информации должна зависеть только от функции распределения СВ и не зависеть от ее конкретных значений.

Вероятностная мера информации как мера неограниченности выбора состояния из ансамбля была предложена Клодом Шенноном:

- энтропия (1.5)

В данной системе с=1, тогда:

(1.6)
1.4 Связь энтропии Шеннона с энтропией Больцмана.

Рассмотрим взаимосвязь меры Шеннона с мерой Хартли. Если в ИС имеется N состояний и они p вероятны, то

. (1.7)

В случае разности вероятностных состояний информация по Шеннону < информации по Хартли. Так для двух равновероятных событий по Хартли:

I=log 2 = 1 бит.

по Шеннону: H=-(p₁log₂p₁+p₂log p₂) H=1 бит Max достигается при p₁=p₂=0,5

Рис 1.1.

Лекция 2. Дискретный канал без помех

Цель лекции: ознакомление с дискретным каналом передачи информации без помех.

Содержание:

а) понятие информации;

б) дискретный канал передачи информации без помех;

в) пропускная способность канала;

г) теоремы для пропускной способности канала без помех;

д) математическая модель дискретного канала без помех;

Понятие информации

Термином “информация” с древнейших времен обозначали процесс разъяснения, изложения, истолкования. Позднее так называли и сами сведения и их передачу в любом виде.

Информация – не только сведения о свойствах объектов и процессов, но и обмен этими сведениями между людьми, человеком и автоматом, автоматом и автоматом, обмен сигналами в животном и растительном мире, передача признаков от клетки к клетке, от организма к организму. Под информацией нужно понимать не сами объекты и процессы, или их свойства, а представляющие характеристики предметов и процессов, их отражение или отображение в виде чисел, формул, описаний, чертежей, символов, образов и других абстрактных характеристик.

Под информацией понимают сведения о каком-либо явлении, событии, объекте. Информация, выраженная по определенной форме, представляет собой сообщение, иначе говоря, сообщение это то, что подлежит передаче, а сигнал является материальным носителем сообщения. В широком смысле информации – это новые сведения об окружающем нас мире, который мы получаем в результате взаимодействия с ним. Информация - одна из важнейших категорий естествознания.

Можно выделить 3 основных вида информации в обществе: личную, специальную и массовую. Личная информация касается тех или иных событий в личной жизни человека. К специальной информации относятся научно-техническая, деловая, производственная, экономическая и др. Массовая информация предназначена для большой группы людей и распространяется через средства массовой информации: газеты, журналы, радио, телевидение.

Информация в любой форме является объектом хранения, передачи и преобразования. В теории и технике связи в первую очередь интересуются свойствами информации при её передачи и под информацией понимают совокупность сведений о явлениях, событиях, фактах, заранее не известных получателю.

Познавательные статьи:



Техника нижней прямой подачи мяча

Комплекс физических упражнений для развития мышц плечевого пояса

Стандарт Порядок надевания противочумного костюма

Общеразвивающие упражнения без предметов