Презентация на тему "Формула Шеннона"

• 1 слайд

  Количество информации и вероятность.
  Пример 1. В коробке имеется 50 шаров.Из них 40 белых и 10 черных.Какова вероятность того, что при вытаскивании «не глядя» попадется белый шар, черный шар?
  Решение. Пусть рч-вероятность попадания при вытаскивании черного шара,
  Рб-вероятность попадания белого шара. Тогда
  Рч=10/50=0,2 рб=40/50=0,8
  Вероятность попадания белого шара в 4 раза больше, чем черного.
  

• 2 слайд

  Формула для вычислений количества информации в случае различных вероятностей событий предложил К.Шеннон в 1948 году.
  
  
  
  I-количество информации
  N-количество возможных событий
  Рi-вероятность i-го события.
  

• 3 слайд

  Этот подход к определению количества информации называется вероятностным.
  Если события равновероятны, то количество информации, которое мы получаем, достигает максимального значения и формула имеет вид
  I=log2N
  

• 4 слайд

  Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой:
  i=log2(1/p)
  

• 5 слайд

  Пример. Определим количество информации в сообщении о попадании белого шара и черного:
  iб=log2(1/0,8)=log2(1,25)=0,32192
  iч=log2(1/0,2)=log25=2,321928
  

• 6 слайд

  Пример .
  В алфавите племени МУМУ всего 4 буквы(А,У,М,К), один знак препинания(точка) и для разделения слов используют пробел.Подсчитали, что в популярном романе «Мумука» содержится всего 10000 знаков, из них: букв А-4000, букв У-1000, букв М-2000, букв К-1500, точек-500, пробелов-1000.Какой объем информации содержит книга?
  

• 7 слайд

  Решение.
  Подсчитаем частоту встречаемости каждого символа во всем тексте книги(т.е. Вероятность) и информационные веса символом:
  Буква А: pA= 4000/10000=0,4;
  iA=log2(1/0,4)=1,321928 и т.д.
  Общий объем информации в книге вычислим как сумму произведений информационного веса каждого символа на число повторений этого символа в книге:
  I=iA*nA+…=
  

• 8 слайд

  Задачи.
  №1. В корзине лежат 8 черных шаров и 24 белых.Сколько информации несет сообщение о том, что достали черный шар?
  №2. В коробке лежат 64 цветных карандаша.Сообщение о том, что достали белый шар, несет 4 бита информации. Сколько белых карандашей было в корзине?
  №3. В классе 30 человек.За контрольную по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов получил четверку?
  

• 9 слайд

  №4. За четверть ученик получил 100 оценок. Сообщение о том, что он получил четверку, несет 2 бита информации.Сколько четверок ученик получил за четверть?
  №5.Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски было израсходовали на ремонт школы?
  

• 10 слайд

  №6. Определите количество информации в слове «ИНФОРМАТИКА», если известен словарь вероятностей(частот) появления букв в произвольном тексте.
  
  

• 11 слайд

  №7. На остановке останавливаются автобусы с разными номерами. Сообщение о том, что к остановке подошел автобус с номером 1 несет 4 бит информации. Вероятность появления на остановке автобуса с номером 2 в 2 раза меньше, чем вероятность появления автобуса с номером 1. Сколько информации несет сообщение о появлении на остановке автобуса с номером 2?
  

• 12 слайд

  Домашнее задание.
  №1. Возьмите произвольный текст на английском языке(3-4 страницы) и составьте частотный словарь английского языка. Определите, какое количество информации несет каждая буква этого словаря.
  №2. Используя результат предыдущей задачи, определите количество информации с слове «INFORMATION».
  

• 13 слайд

  Самостоятельная работа.
  Вариант 1.
  В корзине лежат 32 клубка шерсти. Среди них-4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?
  Вариант 2.
  В ящике лежат перчатки (белые и черные).Среди них- 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике?
  

• 14 слайд

  Вариант 3.
  Известно, что в ящике лежат 20 шаров. Из них10-черных, 5 белых, 4-желтых и 1 красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар?
  Вариант 4.
  В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?
  

• 15 слайд

  
  
  Определите количество информации в фразе
  «ПОВТОРЕНИЕ-МАТЬ УЧЕНИЯ»
  

• 16 слайд

  Ответы.
  Вариант 1. 3 бит
  
  Вариант 2. 32 пары
  
  Вариант 3. 1 бит, 2 бит, 2,32бит, 4,32 бит
  
  Вариант 4. 24 шара.