Добавить материал и получить бесплатное свидетельство о публикации в СМИ
Эл. №ФС77-60625 от 20.01.2015
Инфоурок / Информатика / Конспекты / Конспект урока "Понятие энторопии"
ВНИМАНИЮ ВСЕХ УЧИТЕЛЕЙ: согласно Федеральному закону № 313-ФЗ все педагоги должны пройти обучение навыкам оказания первой помощи.

Дистанционный курс "Оказание первой помощи детям и взрослым" от проекта "Инфоурок" даёт Вам возможность привести свои знания в соответствие с требованиями закона и получить удостоверение о повышении квалификации установленного образца (180 часов). Начало обучения новой группы: 24 мая.

Подать заявку на курс
  • Информатика

Конспект урока "Понятие энторопии"

библиотека
материалов

Понятие информации в теории Шеннона.

Понятие ЭНТРОПИИ.

Событие называется случайным, если отсутствует полная уверенность в его наступлении.

Это создает неопределенность исходов опыта, связанного с данным событием.

Возникает задача научиться находить меру неопределенности, т.е количественно измерить неопределенность.

Пусть опыт имеет n-равновероятных исходов => неопределенность зависит от n, т.е мера неопределенности есть функции некоторого числа исходов f(n).

Свойства функции f(n).

1) f(1)=0, т.к. при n=1 исход не является случайным, т.е. неопределенность отсутствует.

2) f(n) возрастает с ростом n, т.к. чем больше число возможных исходов, тем более затруднительным становится представление результата опыта.

3) Рассмотрим два независимых опыта α и β. Пусть у опыта α – nα исходов, а у опыта β – nβ исходов. Неопределённость до проведения опыта α – f(nα), а до проведения опыта β – f(nβ).

Найти суммарную неопределенность. Если рассматривать как один сложный опыт, то hello_html_m43022960.gif, т.е. функция f(n) обладает свойством аддитивности.

Функция f(n), удовлетворяющая всем свойствам, это функция f(n)=log n.

Можно доказать, что она ЕДИНСТВЕННАЯ функция из всех существующих классов функций, которая удовлетворяет трём свойствам функции.

Выбор основания hello_html_m2a172563.gif значения не имеет, поэтому выбирается более удобное основание 2.

hello_html_1fea2b46.gif.

Единицей измерения неопределённости называется БИТ. Неопределённость при двух возможных равновероятных исходов опыта равна 1 бит эта величина получила название ЭНТРОПИЯ и обозначается

hello_html_3ba2b30e.gif.

Энтропия есть мера неопределённости. Из свойства аддитивности энтропии неопределённость, вносимая каждым из равновероятных i-ых исходах составляет

hello_html_m15ac7050.gifэнтропия 1-го исхода

hello_html_5a1a204b.gifвероятность наступления каждого из исходов.

hello_html_21053f3f.gif

Обобщим формулу на ситуации, когда исходы опытов не равновероятны.

Пример. В ящике 3 белых шара и 7 чёрных. Достаём шар.

hello_html_m49cb6fd2.gifвероятность, что этот шар белый

hello_html_m7fd58c28.gifвероятность, что этот ша чёрный.

hello_html_2feeb8b7.gif

hello_html_m6feb50d8.gif

hello_html_3277d365.gif

Пример. Имеются 2 ящика ,в каждом из которых по 12 шаров.

В первом – 3 белых,3 черных,6 красных. Во втором – всех по 4.

Первый опыт – вынимаем 1 шар из 1 ящика, второй опыт – вынимаем 1 шар из 2 ящика. Сравнить неопределенность этих 2 опытов.

1)Н1=hello_html_685d8d49.gif log2 4+hello_html_685d8d49.gif log24+hello_html_6eec8aff.giflog22=1.5бит

2)Н2=log23=1.58бит


Свойства энтропии.


1) Н=0 только в 2 случаях:

а) один из исходов является достоверным, то есть общий итог опыта перестает быть случайным.

б) все рассматриваемые исходы опыта не возможны.

2) Энтропия сложного опыта, состоящего из нескольких независимых опытов, равна сумме энтропий отдельных опытов

Н(α×β)= Н(α)+Н(β)

3) При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

log2 n≥hello_html_4b7be6d7.gif log2hello_html_1c38f8df.gif

Автор
Дата добавления 02.12.2015
Раздел Информатика
Подраздел Конспекты
Просмотров175
Номер материала ДВ-220711
Получить свидетельство о публикации

Выберите специальность, которую Вы хотите получить:

Обучение проходит дистанционно на сайте проекта "Инфоурок".
По итогам обучения слушателям выдаются печатные дипломы установленного образца.

ПЕРЕЙТИ В КАТАЛОГ КУРСОВ

Похожие материалы

Включите уведомления прямо сейчас и мы сразу сообщим Вам о важных новостях. Не волнуйтесь, мы будем отправлять только самое главное.
Специальное предложение
Вверх