Инфоурок / Информатика / Конспекты / Конспект урока "Понятие энторопии"

Конспект урока "Понятие энторопии"


библиотека
материалов

Понятие информации в теории Шеннона.

Понятие ЭНТРОПИИ.

Событие называется случайным, если отсутствует полная уверенность в его наступлении.

Это создает неопределенность исходов опыта, связанного с данным событием.

Возникает задача научиться находить меру неопределенности, т.е количественно измерить неопределенность.

Пусть опыт имеет n-равновероятных исходов => неопределенность зависит от n, т.е мера неопределенности есть функции некоторого числа исходов f(n).

Свойства функции f(n).

1) f(1)=0, т.к. при n=1 исход не является случайным, т.е. неопределенность отсутствует.

2) f(n) возрастает с ростом n, т.к. чем больше число возможных исходов, тем более затруднительным становится представление результата опыта.

3) Рассмотрим два независимых опыта α и β. Пусть у опыта α – nα исходов, а у опыта β – nβ исходов. Неопределённость до проведения опыта α – f(nα), а до проведения опыта β – f(nβ).

Найти суммарную неопределенность. Если рассматривать как один сложный опыт, то hello_html_m43022960.gif, т.е. функция f(n) обладает свойством аддитивности.

Функция f(n), удовлетворяющая всем свойствам, это функция f(n)=log n.

Можно доказать, что она ЕДИНСТВЕННАЯ функция из всех существующих классов функций, которая удовлетворяет трём свойствам функции.

Выбор основания hello_html_m2a172563.gif значения не имеет, поэтому выбирается более удобное основание 2.

hello_html_1fea2b46.gif.

Единицей измерения неопределённости называется БИТ. Неопределённость при двух возможных равновероятных исходов опыта равна 1 бит эта величина получила название ЭНТРОПИЯ и обозначается

hello_html_3ba2b30e.gif.

Энтропия есть мера неопределённости. Из свойства аддитивности энтропии неопределённость, вносимая каждым из равновероятных i-ых исходах составляет

hello_html_m15ac7050.gifэнтропия 1-го исхода

hello_html_5a1a204b.gifвероятность наступления каждого из исходов.

hello_html_21053f3f.gif

Обобщим формулу на ситуации, когда исходы опытов не равновероятны.

Пример. В ящике 3 белых шара и 7 чёрных. Достаём шар.

hello_html_m49cb6fd2.gifвероятность, что этот шар белый

hello_html_m7fd58c28.gifвероятность, что этот ша чёрный.

hello_html_2feeb8b7.gif

hello_html_m6feb50d8.gif

hello_html_3277d365.gif

Пример. Имеются 2 ящика ,в каждом из которых по 12 шаров.

В первом – 3 белых,3 черных,6 красных. Во втором – всех по 4.

Первый опыт – вынимаем 1 шар из 1 ящика, второй опыт – вынимаем 1 шар из 2 ящика. Сравнить неопределенность этих 2 опытов.

1)Н1=hello_html_685d8d49.gif log2 4+hello_html_685d8d49.gif log24+hello_html_6eec8aff.giflog22=1.5бит

2)Н2=log23=1.58бит


Свойства энтропии.


1) Н=0 только в 2 случаях:

а) один из исходов является достоверным, то есть общий итог опыта перестает быть случайным.

б) все рассматриваемые исходы опыта не возможны.

2) Энтропия сложного опыта, состоящего из нескольких независимых опытов, равна сумме энтропий отдельных опытов

Н(α×β)= Н(α)+Н(β)

3) При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

log2 n≥hello_html_4b7be6d7.gif log2hello_html_1c38f8df.gif

Только до конца зимы! Скидка 60% для педагогов на ДИПЛОМЫ от Столичного учебного центра!

Курсы профессиональной переподготовки и повышения квалификации от 1 400 руб.
Для выбора курса воспользуйтесь удобным поиском на сайте KURSY.ORG


Вы получите официальный Диплом или Удостоверение установленного образца в соответствии с требованиями государства (образовательная Лицензия № 038767 выдана ООО "Столичный учебный центр" Департаментом образования города МОСКВЫ).

Московские документы для аттестации: KURSY.ORG


Общая информация

Номер материала: ДВ-220711

Похожие материалы



Очень низкие цены на курсы переподготовки от Московского учебного центра для педагогов

Специально для учителей, воспитателей и других работников системы образования действуют 60% скидки (только до конца зимы) при обучении на курсах профессиональной переподготовки (124 курса на выбор).

После окончания обучения выдаётся диплом о профессиональной переподготовке установленного образца с присвоением квалификации (признаётся при прохождении аттестации по всей России).

Подайте заявку на интересующий Вас курс сейчас: KURSY.ORG