Добавить материал и получить бесплатное свидетельство о публикации в СМИ
Эл. №ФС77-60625 от 20.01.2015
Инфоурок / Информатика / Конспекты / Конспект урока "Понятие энторопии"

Конспект урока "Понятие энторопии"



Осталось всего 4 дня приёма заявок на
Международный конкурс "Мириады открытий"
(конкурс сразу по 24 предметам за один оргвзнос)


  • Информатика

Поделитесь материалом с коллегами:

Понятие информации в теории Шеннона.

Понятие ЭНТРОПИИ.

Событие называется случайным, если отсутствует полная уверенность в его наступлении.

Это создает неопределенность исходов опыта, связанного с данным событием.

Возникает задача научиться находить меру неопределенности, т.е количественно измерить неопределенность.

Пусть опыт имеет n-равновероятных исходов => неопределенность зависит от n, т.е мера неопределенности есть функции некоторого числа исходов f(n).

Свойства функции f(n).

1) f(1)=0, т.к. при n=1 исход не является случайным, т.е. неопределенность отсутствует.

2) f(n) возрастает с ростом n, т.к. чем больше число возможных исходов, тем более затруднительным становится представление результата опыта.

3) Рассмотрим два независимых опыта α и β. Пусть у опыта α – nα исходов, а у опыта β – nβ исходов. Неопределённость до проведения опыта α – f(nα), а до проведения опыта β – f(nβ).

Найти суммарную неопределенность. Если рассматривать как один сложный опыт, то hello_html_m43022960.gif, т.е. функция f(n) обладает свойством аддитивности.

Функция f(n), удовлетворяющая всем свойствам, это функция f(n)=log n.

Можно доказать, что она ЕДИНСТВЕННАЯ функция из всех существующих классов функций, которая удовлетворяет трём свойствам функции.

Выбор основания hello_html_m2a172563.gif значения не имеет, поэтому выбирается более удобное основание 2.

hello_html_1fea2b46.gif.

Единицей измерения неопределённости называется БИТ. Неопределённость при двух возможных равновероятных исходов опыта равна 1 бит эта величина получила название ЭНТРОПИЯ и обозначается

hello_html_3ba2b30e.gif.

Энтропия есть мера неопределённости. Из свойства аддитивности энтропии неопределённость, вносимая каждым из равновероятных i-ых исходах составляет

hello_html_m15ac7050.gifэнтропия 1-го исхода

hello_html_5a1a204b.gifвероятность наступления каждого из исходов.

hello_html_21053f3f.gif

Обобщим формулу на ситуации, когда исходы опытов не равновероятны.

Пример. В ящике 3 белых шара и 7 чёрных. Достаём шар.

hello_html_m49cb6fd2.gifвероятность, что этот шар белый

hello_html_m7fd58c28.gifвероятность, что этот ша чёрный.

hello_html_2feeb8b7.gif

hello_html_m6feb50d8.gif

hello_html_3277d365.gif

Пример. Имеются 2 ящика ,в каждом из которых по 12 шаров.

В первом – 3 белых,3 черных,6 красных. Во втором – всех по 4.

Первый опыт – вынимаем 1 шар из 1 ящика, второй опыт – вынимаем 1 шар из 2 ящика. Сравнить неопределенность этих 2 опытов.

1)Н1=hello_html_685d8d49.gif log2 4+hello_html_685d8d49.gif log24+hello_html_6eec8aff.giflog22=1.5бит

2)Н2=log23=1.58бит


Свойства энтропии.


1) Н=0 только в 2 случаях:

а) один из исходов является достоверным, то есть общий итог опыта перестает быть случайным.

б) все рассматриваемые исходы опыта не возможны.

2) Энтропия сложного опыта, состоящего из нескольких независимых опытов, равна сумме энтропий отдельных опытов

Н(α×β)= Н(α)+Н(β)

3) При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

log2 n≥hello_html_4b7be6d7.gif log2hello_html_1c38f8df.gif



57 вебинаров для учителей на разные темы
ПЕРЕЙТИ к бесплатному просмотру
(заказ свидетельства о просмотре - только до 11 декабря)


Автор
Дата добавления 02.12.2015
Раздел Информатика
Подраздел Конспекты
Просмотров133
Номер материала ДВ-220711
Получить свидетельство о публикации
Похожие материалы

Включите уведомления прямо сейчас и мы сразу сообщим Вам о важных новостях. Не волнуйтесь, мы будем отправлять только самое главное.
Специальное предложение
Вверх