Расчёт информационных параметров сообщения

↑

▷ Содержание

Стр 1 из 3Следующая ⇒

Федеральное государственное бюджетное образовательное учреждение высшего образования

«Дальневосточный государственный университет путей сообщения»

Кафедра: «ЭС»

Расчетно-графическая работа

на тему:

«Расчёт системы передачи сигналов»

                                                                                    Выполнил: Малых .А.В

           Группа №631

                                                                                    Проверил: Стафеев А.В.

Хабаровск,

РАСЧЁТ ИНФОРМАЦИОННЫХ ПАРАМЕТРОВ СООБЩЕНИЯ

Задание 1.1

Определить энтропию, количество информации и избыточность сообщения состоящего из букв Фамилии Имени Отчества студента.

Сообщение «Малых Артем Вадимович»

Длина сообщения: n=19 буквы.

Алфавит, используемый в сообщении:

∈ {М.а.л.ы.х.р.т.е.в.д.и.о.ч}

Количество букв алфавита сообщения: m=13.

Частота появления букв в сообщении: «М» - встречается 3 раза, n(м)=3; «а»

- 3; «л» - 1; «ы» - 1; «х» - 1; «р» - 1; «т» - 1; «е» - 1; «в» - 2; «д» - 1; «и» - 2;

«о» - 1; «ч» - 1.

Вероятности появления букв: p(м)=n(м)/n=3/19;

p(а)=n(а)/n=3/19; p(л)=n(л)/n=1/19; p(ы)=n(ы)/n=1/19; p(х)=n(х)/n=1/19;

p(р)=n(р)/n=1/19; p(т)=n(т)/n=1/19; p(е)=n(е)/n=1/19; p(в)=n(в)/n=2/19;

p(д)=n(д)/n=1/19; p(и)=n(и)/n=2/19; p(о)=n(о)/n=1/19; p(ч)=n(ч)/n=1/19.

Проверяем правильность расчёта по формуле полной вероятности.

p(м)+p(а)+p(л)+p(ы)+p(х)+p(р)+p(т)+p(е)+p(в)+p(д)+p(и)+p(о)+p(ч)=1

По формуле находим максимальную энтропию:

По формуле (1.2) находим энтропию:

По формуле (1.3) находим избыточность:

По формуле (1.4) находим количество информации в сообщении:

Статистическое кодирование сообщения

Сообщение «Малых Артем Вадимович».

«М» - 010; «а» - 100. Первые две буквы фамилии

студента имеют две единицы, чётное число. Поэтому производим стати-

стическое кодирование, согласно заданию, методом Шеннона-Фано

Алгоритм статистического кодирования Шеннона-Фано

Буква

Веро-

ятность

Элементы кодовых комбинаций

Кодовая

комбинация

Длина символа

М

0,159

А

0,159

В

0,106

И

0,106

Л

0,053

Ы

0,053

Х

0,053

Р

0,053

Т

0,053

Е

0,053

Д

0,053

О

0,053

Ч

0,053

Таблица 1

Найдем энтропию после кодирования:

 Бит/букву

Средняя длина одной буквы после кодирования:

6,54

где: - длина i-ой буквы, бит..

Кодирование является оптимальным, если выполняется соотношение:

= H,

– имеет смысл энтропии после статистического кодирования.

В нашем случае 6.54 3.55

Избыточность после кодирования:

Общая длина сообщения после кодирования:

=105 Бит

где. n( ) – количество букв в сообщении. Например, буква «м» встреча-

ется 3 раза, n(м)=3.  – число двоичных разрядов каждой буквы, для буквы

«м», =2 (см. таблицу 1)

Если использовать равномерный код, то для кодирования одной из 14-ти

букв нашего сообщения потребовалось бы 4 бита. В этом случае общая

длина сообщения будет составлять: 19*4=76 Бит.

Познавательные статьи:



Как правильно слушать собеседника

Типичные ошибки при выполнении бросков в баскетболе

Принятие христианства на Руси и его значение

Средства массовой информации США