Добавить материал и получить бесплатное свидетельство о публикации в СМИ
Эл. №ФС77-60625 от 20.01.2015
Инфоурок / Другое / Презентации / Презентация по основам теории информации на тему "Энтропия и информация"

Презентация по основам теории информации на тему "Энтропия и информация"



Осталось всего 2 дня приёма заявок на
Международный конкурс "Мириады открытий"
(конкурс сразу по 24 предметам за один оргвзнос)


  • Другое
«Энтропия и информация»
Случайные события. Мера их неопределенности. Формула Хартли.
Степень неопределенности – есть еще одна характеристика случайного события,...
Формула Хартли Пусть опыт α имеет k равновозможных исходов, тогда Этой формул...
Чем больше равновероятных исходов, тем больше степень неопределенности Чем ме...
Энтропия по Шеннону. Свойства энтропии.
Где вероятности равновозможных исходов. Он же предложил назвать эту величину...
Имеются 2 урны. Первая содержит 20 шаров – 10 белых, 5 черных и 5 красных; Вт...
Какую степень неопределенности содержит опыт угадывания цвета двух шаров, изв...
Условная энтропия. Решение задач на условную энтропию.
Граф и формула нахождения условной энтропии выглядит следующим образом Н (β/А...
Какую энтропию содержит опыт угадывания простой цифры при извлечении из цифро...
 β Ответ: 1 бит.
Количество информации. Решение задач
КОЛИЧЕСТВО ИНФОРМАЦИИ Количество информации I(α,β) показывает, насколько осущ...
Свойства количества информации 0 ≤I(β/α) ≤ Н(β) I(α,β) = Н(α) + Н(β) - Н(α*β)...
Решение логических задач на взвешивание через энтропию и количество информации.
ЗАДАЧИ НА ВЗВЕШИВАНИЕ Задача: Имеется 12 монет одного достоинства, одна из ко...
Решение: т.е. определение фальшивой монеты связано с получением информации, и...
M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 = M3 M4 M6 M1 M2 M5 М1 М2 М7 М5 М8 М3...
1 из 20

Описание презентации по отдельным слайдам:

№ слайда 1 «Энтропия и информация»
Описание слайда:

«Энтропия и информация»

№ слайда 2 Случайные события. Мера их неопределенности. Формула Хартли.
Описание слайда:

Случайные события. Мера их неопределенности. Формула Хартли.

№ слайда 3 Степень неопределенности – есть еще одна характеристика случайного события,
Описание слайда:

Степень неопределенности – есть еще одна характеристика случайного события, которую назвали энтропией. (Н(α)). За единицу энтропии принимается неопределенность, содержащаяся в опыте, имеющем два равновероятностных исхода. Единица измерения, учитывая двоичную систему исчисления, - бит.

№ слайда 4 Формула Хартли Пусть опыт α имеет k равновозможных исходов, тогда Этой формул
Описание слайда:

Формула Хартли Пусть опыт α имеет k равновозможных исходов, тогда Этой формулой удобно пользоваться, когда исходы равновероятны.

№ слайда 5 Чем больше равновероятных исходов, тем больше степень неопределенности Чем ме
Описание слайда:

Чем больше равновероятных исходов, тем больше степень неопределенности Чем меньше вероятность, тем больше степень неопределенности Что имеет большую степень неопределенности угадывание месяца или дня недели рождения случайно встреченного человека? Какую степень неопределенности имеет угадывание месяца рождения случайно встреченного человека? Н(α) = log k = log12 = 2 + log 3.

№ слайда 6 Энтропия по Шеннону. Свойства энтропии.
Описание слайда:

Энтропия по Шеннону. Свойства энтропии.

№ слайда 7 Где вероятности равновозможных исходов. Он же предложил назвать эту величину
Описание слайда:

Где вероятности равновозможных исходов. Он же предложил назвать эту величину энтропией Клод Шеннон

№ слайда 8 Имеются 2 урны. Первая содержит 20 шаров – 10 белых, 5 черных и 5 красных; Вт
Описание слайда:

Имеются 2 урны. Первая содержит 20 шаров – 10 белых, 5 черных и 5 красных; Вторая содержит 16 шаров: 4 белых, 4 черных и 8 красных во второй. Из каждой урны вытаскивают по одному шару. Исход какого из этих двух опытов следует считать более неопределенным? Первый опыт связан с первой корзиной: Н (α)= -1\2 log 1\2 - 1\4 log 1\4 - 1\4 log 1\4 = 1\2 +1\2 +1\2 = 3\2 бита Второй опыт связан со второй корзиной: Н (β)= -1\2 log 1\2 - 1\4 log 1\4 - 1\4 log 1\4 = 1\2 +1\2 +1\2 = 3\2 бита

№ слайда 9 Какую степень неопределенности содержит опыт угадывания цвета двух шаров, изв
Описание слайда:

Какую степень неопределенности содержит опыт угадывания цвета двух шаров, извлеченных из урны, в которой находятся 2 белых и 3 черных шара? Р=2\5 Р=3\5 Р=1\4 Р=3\4 Р=2\4 Р=2\4 Р=2\5 * 1\4 Р=3\10 Р=3\10 Р=3\10 =1\10

№ слайда 10 Условная энтропия. Решение задач на условную энтропию.
Описание слайда:

Условная энтропия. Решение задач на условную энтропию.

№ слайда 11 Граф и формула нахождения условной энтропии выглядит следующим образом Н (β/А
Описание слайда:

Граф и формула нахождения условной энтропии выглядит следующим образом Н (β/Аi) = ∑ [Р(Вj /Аi) log (Р(Вj /Аi))-1] P(A2) P(A1) P(An) A2 An α

№ слайда 12 Какую энтропию содержит опыт угадывания простой цифры при извлечении из цифро
Описание слайда:

Какую энтропию содержит опыт угадывания простой цифры при извлечении из цифровой азбуки при условии, что одна карточка утеряна? Опыт α = {утеряна одна карточка} = {А1, А2 } А1 = {утеряна карточка с простой цифрой}, n(А1) = 4, Р(А1)= 4/10 =2/5, А2 = {утеряна карточка с непростой цифрой}, n(А2) = 6, Р(А2)= 6 /10 =3/5 β = {угадывание карточки с простой цифрой}

№ слайда 13  β Ответ: 1 бит.
Описание слайда:

β Ответ: 1 бит.

№ слайда 14 Количество информации. Решение задач
Описание слайда:

Количество информации. Решение задач

№ слайда 15 КОЛИЧЕСТВО ИНФОРМАЦИИ Количество информации I(α,β) показывает, насколько осущ
Описание слайда:

КОЛИЧЕСТВО ИНФОРМАЦИИ Количество информации I(α,β) показывает, насколько осуществление опыта α уменьшает неопределенность β т.е. как много нового узнаем мы об исходе опыта β, произведя измерение (наблюдение) α; Информацию можно измерить числом, которое называется количеством информации об опыте β, содержащемся в опыте α I(α,β)=H(β) – H(β/α)

№ слайда 16 Свойства количества информации 0 ≤I(β/α) ≤ Н(β) I(α,β) = Н(α) + Н(β) - Н(α*β)
Описание слайда:

Свойства количества информации 0 ≤I(β/α) ≤ Н(β) I(α,β) = Н(α) + Н(β) - Н(α*β), I(α,β) = I(β,α) I(α,β,γ) ≥I(α,β), где α,β,γ- три произвольных опыта

№ слайда 17 Решение логических задач на взвешивание через энтропию и количество информации.
Описание слайда:

Решение логических задач на взвешивание через энтропию и количество информации.

№ слайда 18 ЗАДАЧИ НА ВЗВЕШИВАНИЕ Задача: Имеется 12 монет одного достоинства, одна из ко
Описание слайда:

ЗАДАЧИ НА ВЗВЕШИВАНИЕ Задача: Имеется 12 монет одного достоинства, одна из которых фальшивая, отличающаяся от других по весу (причем неизвестно, легче она или тяжелее настоящих). Каково наименьшее число взвешиваний на чашечных весах без гирь, которое позволяет обнаружить фальшивую монету?

№ слайда 19 Решение: т.е. определение фальшивой монеты связано с получением информации, и
Описание слайда:

Решение: т.е. определение фальшивой монеты связано с получением информации, измеряющейся числом log24 или k*log3≥log24 Отсюда и т.к. k – целое число, то k≥3

№ слайда 20 M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 = M3 M4 M6 M1 M2 M5 М1 М2 М7 М5 М8 М3
Описание слайда:

M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 = M3 M4 M6 M1 M2 M5 М1 М2 М7 М5 М8 М3 М4 М11 М10 М6 М12 М9 М10 М11 М9 М12 Аналогично 1-му = M1 M2 M7 M8 M3 M4 = = M1 M2 M3 M9 M10 M11 = M9 M10 = M1 M12 M9 M10 =



57 вебинаров для учителей на разные темы
ПЕРЕЙТИ к бесплатному просмотру
(заказ свидетельства о просмотре - только до 11 декабря)


Автор
Дата добавления 20.11.2016
Раздел Другое
Подраздел Презентации
Просмотров7
Номер материала ДБ-372434
Получить свидетельство о публикации
Похожие материалы

Включите уведомления прямо сейчас и мы сразу сообщим Вам о важных новостях. Не волнуйтесь, мы будем отправлять только самое главное.
Специальное предложение
Вверх