№ | Слайд | Текст |
1 |
 |
Формулы Хартли и Шеннона
Формулы Хартли и Шеннона. Вероятностный подход к измерению количества информации Терехова Н.А. |
2 |
 |
Американский инженер Хартли
1928 год американский инженер Хартли процесс получения информации рассматривает как выбор одного сообщения из конечного заданного множества N равновероятных событий. |
3 |
 |
Формула Хартли: I=log2N где I -количество информации, N -число
Формула Хартли: I=log2N где I -количество информации, N -число равновероятных событий. |
4 |
 |
Число
Задача: Какое количество информации требуется, чтобы угадать одно число из 128? Решение: I=log2128=7 бит. |
5 |
 |
Решение
Задача: Какое количество информации требуется, чтобы угадать одно число из 100? Решение: I=log2100?6,644 бит. |
6 |
 |
Количество информации
Вывод: с увеличением числа вероятных событий (N), увеличивается количество информации (I), полученной при совершении одного из событий. |
7 |
 |
Формула Хартли
Формула Хартли может быть записана и так: N=2I Если N=2 (выбор из двух возможностей), то I=1 бит. |
8 |
 |
Наступление
Так как наступление каждого из N событий имеет одинаковую вероятность P, то Р=1/N. Если событий 6, то вероятность появления одного события равно 1/6, если событий 100, то вероятность равна 0,01 => N=1/P. |
9 |
 |
Хартли
Формулу Хартли можно записать иначе: I=log2(1/P)= log2P-1= - log2P так как p<1, то I >0. |
10 |
 |
Примеры равновероятных сообщений
Примеры равновероятных сообщений: 1) при бросании монеты выпала «решка», выпал «орел» 2) на странице книги количество букв четное, нечетное. |
11 |
 |
Событие
Задача: Определить, является ли равновероятным событие – из дверей выйдет первым мужчина или женщина? |
12 |
 |
Американский ученый Клод Шеннон
1948 год американский ученый Клод Шеннон предложил другую формулу определения количества информации, учитывая возможную неодинаковую вероятность событий в наборе. |
13 |
 |
Формула Шеннона
Формула Шеннона: I=-(p 1 log 2p 1+ p 2 log 2p 2 + p 3 log 2p 3 +…. p N log 2p N ), где p I вероятность того, что именно I –е сообщение выделено в наборе из N сообщений. |
14 |
 |
Запись формулы Шеннона
Другая запись формулы Шеннона: I=-. I -количество информации, N -количество возможных событий, Р I – вероятности отдельных событий. |
15 |
 |
Задача
Задача. Пусть имеется строка текста, содержащая 1000 букв. Буквы встречаются в тексте: «о»-90 раз «р» -40 раз «Ф»- 2 раза «а»-200 раз. Какое количество информации несет буква в строке? |
16 |
 |
I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0,002 + 0,2* log 2 0,2)
Решение: I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0,002 + 0,2* log 2 0,2)=. |
«Формулы Хартли и Шеннона» |