86893
столько раз учителя, ученики и родители
посетили сайт «Инфоурок»
за прошедшие 24 часа
+Добавить материал
и получить бесплатное
свидетельство о публикации
в СМИ №ФС77-60625 от 20.01.2015
Дистанционные курсы профессиональной переподготовки и повышения квалификации для педагогов

Дистанционные курсы для педагогов - курсы профессиональной переподготовки от 5 480 руб.;
- курсы повышения квалификации от 1 400 руб.
Московские документы для аттестации

ВЫБРАТЬ КУРС СО СКИДКОЙ 60%

ВНИМАНИЕ: Скидка действует ТОЛЬКО до 28 февраля!

(Лицензия на осуществление образовательной деятельности №038767 выдана ООО "Столичный учебный центр", г.Москва)

Инфоурок / Другое / Презентации / Презентация по основам теории информации на тему "Энтропия и информация"

Презентация по основам теории информации на тему "Энтропия и информация"


Напоминаем, что в соответствии с профстандартом педагога (утверждён Приказом Минтруда России), если у Вас нет соответствующего преподаваемому предмету образования, то Вам необходимо пройти профессиональную переподготовку по профилю педагогической деятельности. Сделать это Вы можете дистанционно на сайте проекта "Инфоурок" и получить диплом с присвоением квалификации уже через 2 месяца!

Только сейчас действует СКИДКА 50% для всех педагогов на все 184 курса профессиональной переподготовки! Доступна рассрочка с первым взносом всего 10%, при этом цена курса не увеличивается из-за использования рассрочки!

ВЫБРАТЬ КУРС И ПОДАТЬ ЗАЯВКУ
библиотека
материалов
«Энтропия и информация»
Случайные события. Мера их неопределенности. Формула Хартли.
Степень неопределенности – есть еще одна характеристика случайного события,...
Формула Хартли Пусть опыт α имеет k равновозможных исходов, тогда Этой формул...
Чем больше равновероятных исходов, тем больше степень неопределенности Чем ме...
Энтропия по Шеннону. Свойства энтропии.
Где вероятности равновозможных исходов. Он же предложил назвать эту величину...
Имеются 2 урны. Первая содержит 20 шаров – 10 белых, 5 черных и 5 красных; Вт...
Какую степень неопределенности содержит опыт угадывания цвета двух шаров, изв...
Условная энтропия. Решение задач на условную энтропию.
Граф и формула нахождения условной энтропии выглядит следующим образом Н (β/А...
Какую энтропию содержит опыт угадывания простой цифры при извлечении из цифро...
 β Ответ: 1 бит.
Количество информации. Решение задач
КОЛИЧЕСТВО ИНФОРМАЦИИ Количество информации I(α,β) показывает, насколько осущ...
Свойства количества информации 0 ≤I(β/α) ≤ Н(β) I(α,β) = Н(α) + Н(β) - Н(α*β)...
Решение логических задач на взвешивание через энтропию и количество информации.
ЗАДАЧИ НА ВЗВЕШИВАНИЕ Задача: Имеется 12 монет одного достоинства, одна из ко...
Решение: т.е. определение фальшивой монеты связано с получением информации, и...
M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 = M3 M4 M6 M1 M2 M5 М1 М2 М7 М5 М8 М3...

Описание презентации по отдельным слайдам:

1 слайд «Энтропия и информация»
Описание слайда:

«Энтропия и информация»

2 слайд Случайные события. Мера их неопределенности. Формула Хартли.
Описание слайда:

Случайные события. Мера их неопределенности. Формула Хартли.

3 слайд Степень неопределенности – есть еще одна характеристика случайного события,
Описание слайда:

Степень неопределенности – есть еще одна характеристика случайного события, которую назвали энтропией. (Н(α)). За единицу энтропии принимается неопределенность, содержащаяся в опыте, имеющем два равновероятностных исхода. Единица измерения, учитывая двоичную систему исчисления, - бит.

4 слайд Формула Хартли Пусть опыт α имеет k равновозможных исходов, тогда Этой формул
Описание слайда:

Формула Хартли Пусть опыт α имеет k равновозможных исходов, тогда Этой формулой удобно пользоваться, когда исходы равновероятны.

5 слайд Чем больше равновероятных исходов, тем больше степень неопределенности Чем ме
Описание слайда:

Чем больше равновероятных исходов, тем больше степень неопределенности Чем меньше вероятность, тем больше степень неопределенности Что имеет большую степень неопределенности угадывание месяца или дня недели рождения случайно встреченного человека? Какую степень неопределенности имеет угадывание месяца рождения случайно встреченного человека? Н(α) = log k = log12 = 2 + log 3.

6 слайд Энтропия по Шеннону. Свойства энтропии.
Описание слайда:

Энтропия по Шеннону. Свойства энтропии.

7 слайд Где вероятности равновозможных исходов. Он же предложил назвать эту величину
Описание слайда:

Где вероятности равновозможных исходов. Он же предложил назвать эту величину энтропией Клод Шеннон

8 слайд Имеются 2 урны. Первая содержит 20 шаров – 10 белых, 5 черных и 5 красных; Вт
Описание слайда:

Имеются 2 урны. Первая содержит 20 шаров – 10 белых, 5 черных и 5 красных; Вторая содержит 16 шаров: 4 белых, 4 черных и 8 красных во второй. Из каждой урны вытаскивают по одному шару. Исход какого из этих двух опытов следует считать более неопределенным? Первый опыт связан с первой корзиной: Н (α)= -1\2 log 1\2 - 1\4 log 1\4 - 1\4 log 1\4 = 1\2 +1\2 +1\2 = 3\2 бита Второй опыт связан со второй корзиной: Н (β)= -1\2 log 1\2 - 1\4 log 1\4 - 1\4 log 1\4 = 1\2 +1\2 +1\2 = 3\2 бита

9 слайд Какую степень неопределенности содержит опыт угадывания цвета двух шаров, изв
Описание слайда:

Какую степень неопределенности содержит опыт угадывания цвета двух шаров, извлеченных из урны, в которой находятся 2 белых и 3 черных шара? Р=2\5 Р=3\5 Р=1\4 Р=3\4 Р=2\4 Р=2\4 Р=2\5 * 1\4 Р=3\10 Р=3\10 Р=3\10 =1\10

10 слайд Условная энтропия. Решение задач на условную энтропию.
Описание слайда:

Условная энтропия. Решение задач на условную энтропию.

11 слайд Граф и формула нахождения условной энтропии выглядит следующим образом Н (β/А
Описание слайда:

Граф и формула нахождения условной энтропии выглядит следующим образом Н (β/Аi) = ∑ [Р(Вj /Аi) log (Р(Вj /Аi))-1] P(A2) P(A1) P(An) A2 An α

12 слайд Какую энтропию содержит опыт угадывания простой цифры при извлечении из цифро
Описание слайда:

Какую энтропию содержит опыт угадывания простой цифры при извлечении из цифровой азбуки при условии, что одна карточка утеряна? Опыт α = {утеряна одна карточка} = {А1, А2 } А1 = {утеряна карточка с простой цифрой}, n(А1) = 4, Р(А1)= 4/10 =2/5, А2 = {утеряна карточка с непростой цифрой}, n(А2) = 6, Р(А2)= 6 /10 =3/5 β = {угадывание карточки с простой цифрой}

13 слайд  β Ответ: 1 бит.
Описание слайда:

β Ответ: 1 бит.

14 слайд Количество информации. Решение задач
Описание слайда:

Количество информации. Решение задач

15 слайд КОЛИЧЕСТВО ИНФОРМАЦИИ Количество информации I(α,β) показывает, насколько осущ
Описание слайда:

КОЛИЧЕСТВО ИНФОРМАЦИИ Количество информации I(α,β) показывает, насколько осуществление опыта α уменьшает неопределенность β т.е. как много нового узнаем мы об исходе опыта β, произведя измерение (наблюдение) α; Информацию можно измерить числом, которое называется количеством информации об опыте β, содержащемся в опыте α I(α,β)=H(β) – H(β/α)

16 слайд Свойства количества информации 0 ≤I(β/α) ≤ Н(β) I(α,β) = Н(α) + Н(β) - Н(α*β)
Описание слайда:

Свойства количества информации 0 ≤I(β/α) ≤ Н(β) I(α,β) = Н(α) + Н(β) - Н(α*β), I(α,β) = I(β,α) I(α,β,γ) ≥I(α,β), где α,β,γ- три произвольных опыта

17 слайд Решение логических задач на взвешивание через энтропию и количество информации.
Описание слайда:

Решение логических задач на взвешивание через энтропию и количество информации.

18 слайд ЗАДАЧИ НА ВЗВЕШИВАНИЕ Задача: Имеется 12 монет одного достоинства, одна из ко
Описание слайда:

ЗАДАЧИ НА ВЗВЕШИВАНИЕ Задача: Имеется 12 монет одного достоинства, одна из которых фальшивая, отличающаяся от других по весу (причем неизвестно, легче она или тяжелее настоящих). Каково наименьшее число взвешиваний на чашечных весах без гирь, которое позволяет обнаружить фальшивую монету?

19 слайд Решение: т.е. определение фальшивой монеты связано с получением информации, и
Описание слайда:

Решение: т.е. определение фальшивой монеты связано с получением информации, измеряющейся числом log24 или k*log3≥log24 Отсюда и т.к. k – целое число, то k≥3

20 слайд M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 = M3 M4 M6 M1 M2 M5 М1 М2 М7 М5 М8 М3
Описание слайда:

M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 = M3 M4 M6 M1 M2 M5 М1 М2 М7 М5 М8 М3 М4 М11 М10 М6 М12 М9 М10 М11 М9 М12 Аналогично 1-му = M1 M2 M7 M8 M3 M4 = = M1 M2 M3 M9 M10 M11 = M9 M10 = M1 M12 M9 M10 =

Общая информация

Номер материала: ДБ-372434



Очень низкие цены на курсы переподготовки от Московского учебного центра для педагогов

Специально для учителей, воспитателей и других работников системы образования действуют 60% скидки (только до конца зимы) при обучении на курсах профессиональной переподготовки (124 курса на выбор).

После окончания обучения выдаётся диплом о профессиональной переподготовке установленного образца с присвоением квалификации (признаётся при прохождении аттестации по всей России).

Подайте заявку на интересующий Вас курс сейчас: KURSY.ORG

Вам будут интересны эти курсы:

Курс повышения квалификации «Подростковый возраст - важнейшая фаза становления личности»
Курс «Правовое обеспечение деятельности коммерческой организации и индивидуальных предпринимателей»
Курс профессиональной переподготовки «Организация и предоставление туристских услуг»
Курс профессиональной переподготовки «Клиническая психология: организация реабилитационной работы в социальной сфере»
Курс профессиональной переподготовки «Клиническая психология: теория и методика преподавания в образовательной организации»
Курс повышения квалификации «Организация практики студентов в соответствии с требованиями ФГОС педагогических направлений подготовки»
Курс повышения квалификации «Управление финансами: как уйти от банкротства»
Курс профессиональной переподготовки «Логистика: теория и методика преподавания в образовательной организации»
Курс повышения квалификации «Экономика: инструменты контроллинга»
Курс профессиональной переподготовки «Деятельность по хранению музейных предметов и музейных коллекций в музеях всех видов»
Курс профессиональной переподготовки «Организация деятельности специалиста оценщика-эксперта по оценке имущества»
Курс профессиональной переподготовки «Уголовно-правовые дисциплины: теория и методика преподавания в образовательной организации»
Курс профессиональной переподготовки «Организация деятельности по водоотведению и очистке сточных вод»
Курс профессиональной переподготовки «Осуществление и координация продаж»
Курс профессиональной переподготовки «Управление корпоративной информационной безопасностью: Администрирование и эксплуатация аппаратно-программных средств защиты информации в компьютерных системах»

Благодарность за вклад в развитие крупнейшей онлайн-библиотеки методических разработок для учителей

Опубликуйте минимум 3 материала, чтобы БЕСПЛАТНО получить и скачать данную благодарность

Сертификат о создании сайта

Добавьте минимум пять материалов, чтобы получить сертификат о создании сайта

Грамота за использование ИКТ в работе педагога

Опубликуйте минимум 10 материалов, чтобы БЕСПЛАТНО получить и скачать данную грамоту

Свидетельство о представлении обобщённого педагогического опыта на Всероссийском уровне

Опубликуйте минимум 15 материалов, чтобы БЕСПЛАТНО получить и скачать данное cвидетельство

Грамота за высокий профессионализм, проявленный в процессе создания и развития собственного учительского сайта в рамках проекта "Инфоурок"

Опубликуйте минимум 20 материалов, чтобы БЕСПЛАТНО получить и скачать данную грамоту

Грамота за активное участие в работе над повышением качества образования совместно с проектом "Инфоурок"

Опубликуйте минимум 25 материалов, чтобы БЕСПЛАТНО получить и скачать данную грамоту

Почётная грамота за научно-просветительскую и образовательную деятельность в рамках проекта "Инфоурок"

Опубликуйте минимум 40 материалов, чтобы БЕСПЛАТНО получить и скачать данную почётную грамоту

Включите уведомления прямо сейчас и мы сразу сообщим Вам о важных новостях. Не волнуйтесь, мы будем отправлять только самое главное.