Добавить материал и получить бесплатное свидетельство о публикации в СМИ
Эл. №ФС77-60625 от 20.01.2015
Инфоурок / Информатика / Конспекты / Конспект урока "Энтропия и информация"

Конспект урока "Энтропия и информация"



Осталось всего 2 дня приёма заявок на
Международный конкурс "Мириады открытий"
(конкурс сразу по 24 предметам за один оргвзнос)


  • Информатика

Поделитесь материалом с коллегами:

hello_html_62ac5b2.gifhello_html_12b1b4cf.gifhello_html_fa1df06.gifhello_html_4ff87b01.gifhello_html_m632779bf.gifhello_html_fa1df06.gifЭнтропия и информация


Энтропия опыта равна той информации которую получаем в результате его осуществления.

Количество информации – I: I

Количество информации численно равно количеству вопросов с равновероятными бинарными вариантами ответов (“Да” или “Нет”), которые необходимо задать, чтобы полностью снять неопределённость задач.

Пример. Некто задумал целое число от 0 до 3. Какое количество информации нужно получить, чтобы узнать задуманное число.


0,1,2,3-равновероятные исходы.

n=4 – количество равновероятных исходов опыта.

I=log24=2 бит – 2 бита информации несет задуманное число.


x>1

1 вопрос-1 бит.

нет

да


{0, 1}

{2, 3}


x>0

x>2


да

нет

да

нет


0

1

3

2




Пример. Случайным образом выбирается карта из колоды 32 карты. Какое количество информации несёт сообщение о том, что за карту достали.

I= log232=5

Задача для самостоятельного решения. Имеется 2 деревни А и В. Жители А всегда говорят правду, жители В всегда лгут. Они могут ходить из 1 деревни в другую. Путник зашёл в деревню и встретил жителя одной из деревень. Какое количество информации несёт сообщение о том, в какой он деревне и житель из какой.


Пусть начальная энтропия до проведения опыта равна H1. В результате получения сообщения, котрое несет I бит информации, энтропия стала равна H2.

hello_html_m36231548.gif

Сообщение, уменьшающее число исходов в 2 раза, несет 1 бит информации.



57 вебинаров для учителей на разные темы
ПЕРЕЙТИ к бесплатному просмотру
(заказ свидетельства о просмотре - только до 11 декабря)


Автор
Дата добавления 02.12.2015
Раздел Информатика
Подраздел Конспекты
Просмотров119
Номер материала ДВ-220725
Получить свидетельство о публикации
Похожие материалы

Включите уведомления прямо сейчас и мы сразу сообщим Вам о важных новостях. Не волнуйтесь, мы будем отправлять только самое главное.
Специальное предложение
Вверх