Количество информации
<<  Содержательный подход к измерению информации Единица количества информации  >>
Формулы Хартли и Шеннона
Формулы Хартли и Шеннона
Американский инженер Хартли
Американский инженер Хартли
Формула Хартли: I=log2N где I -количество информации, N -число
Формула Хартли: I=log2N где I -количество информации, N -число
Число
Число
Решение
Решение
Количество информации
Количество информации
Формула Хартли
Формула Хартли
Наступление
Наступление
Хартли
Хартли
Примеры равновероятных сообщений
Примеры равновероятных сообщений
Событие
Событие
Американский ученый Клод Шеннон
Американский ученый Клод Шеннон
Формула Шеннона
Формула Шеннона
Запись формулы Шеннона
Запись формулы Шеннона
Задача
Задача
I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0,002 + 0,2* log 2 0,2)
I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0,002 + 0,2* log 2 0,2)
Презентация «Формулы Хартли и Шеннона». Размер 48 КБ. Автор: Пользователь.

Загрузка...

Формулы Хартли и Шеннона

содержание презентации «Формулы Хартли и Шеннона.ppt»
СлайдТекст
1 Формулы Хартли и Шеннона

Формулы Хартли и Шеннона

Формулы Хартли и Шеннона. Вероятностный подход к измерению количества информации Терехова Н.А.

2 Американский инженер Хартли

Американский инженер Хартли

1928 год американский инженер Хартли процесс получения информации рассматривает как выбор одного сообщения из конечного заданного множества N равновероятных событий.

3 Формула Хартли: I=log2N где I -количество информации, N -число

Формула Хартли: I=log2N где I -количество информации, N -число

Формула Хартли: I=log2N где I -количество информации, N -число равновероятных событий.

4 Число

Число

Задача: Какое количество информации требуется, чтобы угадать одно число из 128? Решение: I=log2128=7 бит.

5 Решение

Решение

Задача: Какое количество информации требуется, чтобы угадать одно число из 100? Решение: I=log2100?6,644 бит.

6 Количество информации

Количество информации

Вывод: с увеличением числа вероятных событий (N), увеличивается количество информации (I), полученной при совершении одного из событий.

7 Формула Хартли

Формула Хартли

Формула Хартли может быть записана и так: N=2I Если N=2 (выбор из двух возможностей), то I=1 бит.

8 Наступление

Наступление

Так как наступление каждого из N событий имеет одинаковую вероятность P, то Р=1/N. Если событий 6, то вероятность появления одного события равно 1/6, если событий 100, то вероятность равна 0,01 => N=1/P.

9 Хартли

Хартли

Формулу Хартли можно записать иначе: I=log2(1/P)= log2P-1= - log2P так как p<1, то I >0.

10 Примеры равновероятных сообщений

Примеры равновероятных сообщений

Примеры равновероятных сообщений: 1) при бросании монеты выпала «решка», выпал «орел» 2) на странице книги количество букв четное, нечетное.

11 Событие

Событие

Задача: Определить, является ли равновероятным событие – из дверей выйдет первым мужчина или женщина?

12 Американский ученый Клод Шеннон

Американский ученый Клод Шеннон

1948 год американский ученый Клод Шеннон предложил другую формулу определения количества информации, учитывая возможную неодинаковую вероятность событий в наборе.

13 Формула Шеннона

Формула Шеннона

Формула Шеннона: I=-(p 1 log 2p 1+ p 2 log 2p 2 + p 3 log 2p 3 +…. p N log 2p N ), где p I вероятность того, что именно I –е сообщение выделено в наборе из N сообщений.

14 Запись формулы Шеннона

Запись формулы Шеннона

Другая запись формулы Шеннона: I=-. I -количество информации, N -количество возможных событий, Р I – вероятности отдельных событий.

15 Задача

Задача

Задача. Пусть имеется строка текста, содержащая 1000 букв. Буквы встречаются в тексте: «о»-90 раз «р» -40 раз «Ф»- 2 раза «а»-200 раз. Какое количество информации несет буква в строке?

16 I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0,002 + 0,2* log 2 0,2)

I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0,002 + 0,2* log 2 0,2)

Решение: I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0,002 + 0,2* log 2 0,2)=.

«Формулы Хартли и Шеннона»
Сайт

5informatika.net

115 тем
5informatika.net > Количество информации > Формулы Хартли и Шеннона.ppt