Измерение информации 1.1. Подходы к измерению информации

Измерение информации

1.1. Подходы к измерению информации

Как измерить информацию? Часто мы говорим, что, прочитав статью в журнале или просмотрев новости, не получили никакой информации, или наоборот, краткое сообщение может оказаться для нас информативным. В то же время для другого человека та же самая статья может оказаться чрезвычайно информативной, а сообщение — нет. Информативными сообщения являются тогда, когда они новы, понятны, своевременны, полезны. Но то, что для одного понятно, для другого — нет. То, что для одного полезно, ново, для другого — нет. В этом проблема определения и измерения информации.

При всем многообразии подходов к определению понятия информации, с позиции измерения информации нас будут интересовать два из них: определение К. Шеннона, применяемое в математической теории информации (содержательный подход), и определение А. Н. Колмогорова, применяемое в отраслях информатики, связанных с использованием компьютеров (алфавитный подход).

1.2. Содержательный (вероятностный) подход к определению количества информации

Согласно Шеннону, информативность сообщения характеризуется содержащейся в нем полезной информацией — той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации.

По Шеннону, информация — уменьшение неопределенности наших знаний.

Неопределенность некоторого события — это количество возможных исходов данного события. Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде. При бросании монеты неопределенность равна 2.

Содержательный подход часто называют субъективным, так как разные люди (субъекты) информацию об одном и том же предмете оценивают по-разному.

Но если число исходов не зависит от суждений людей (случай бросания кубика или монеты), то информация о наступлении одного из возможных исходов является объективной.

Если сообщение уменьшило неопределенность знаний ровно в два раза, то говорят, что сообщение несет 1 бит информации.

1 бит — объем информации такого сообщения, которое уменьшает неопределенность знания в два раза.

Рассмотрим, как можно подсчитать количество информации в сообщении, используя содержательный подход.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных (равновозможных) событий. Тогда количество информации i, заключенное в этом сообщении, и число событий N связаны формулой: 2ⁱ = N. Эта формула носит название формулы Хартли. Получена она в 1928 г. американским инженером Р. Хартли.

Если N равно целой степени двойки (2, 4, 8, 16 и т.д.), то вычисления легко произвести "в уме". В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов либо определять значение логарифма приблизительно (ближайшее целое число, большее).

Таблица 1.

Количество информации в сообщении об одном из N равновероятных событий: i =  log ₂ N.

N	i	N	i	N	i	N	i
1	0,00000	17	4,08746	33	5,04439	49	5,61471
2	1,00000	18	4,16993	34	5,08746	50	5,64386
3	1,58496	19	4,24793	35	5,12928	51	5,67243
4	2,00000	20	4,32193	36	5,16993	52	5,70044
5	2,32193	21	4,39232	37	5,20945	53	5,72792
6	2,58496	22	4,45943	38	5,24793	54	5,75489
7	2,80735	23	4,52356	39	5,28540	55	5,78136
8	3,00000	24	4,58496	40	5,32193	56	5,80735
9	3,16993	25	4,64386	41	5,35755	57	5,83289
10	3,32193	26	4,70044	42	5,39232	58	5,85798
11	3,45943	27	4,75489	43	5,42626	59	5,88264
12	3,58496	28	4,80735	44	5,45943	60	5,90689
13	3,70044	29	4,85798	45	5,49185	61	5,93074
14	3,80735	30	4,90689	46	5,52356	62	5,95420
15	3,90689	31	4,95420	47	5,55459	63	5,97728
16	4,00000	32	5,00000	48	5,58496	64	6,0000

Пример 1. Какое количество информации можно получить при угадыва­нии числа из интервала от 1 до 11? В этом примере N=11. Чтобы найти i (количество информации), необходимо воспользоваться таблицей. По таблице i = 3,45943 бит.

1.3. Единицы измерения информации

Как уже было сказано, основная единица измерения информации — бит.

 8 бит составляют 1 байт.
Наряду с байтами для измерения количества информации используются более крупные единицы:

1 Кбайт (один килобайт) = 2¹⁰ байт = 1024 байта;
1 Мбайт (один мегабайт) = 2²⁰ байт = 1024 Кбайта;
1 Гбайт (один гигабайт) = 2³⁰ байт = 1024 Мбайта.
В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:
1 Терабайт (Тб) =2⁴⁰ = 1024 Гбайта;
1 Петабайт (Пб) = 2⁵⁰= 1024 Тбайта.

Пример 1. При бросании монеты возможны 2 события (случая) – монета упадёт орлом или решкой, причём оба события равновероятны (при большом количестве бросаний количество случаев падения монеты орлом и решкой одинаковы). После получения сообщения о результате падения монеты неопределённость знаний уменьшилась в 2 раза, и, поэтому, количество информации, полученное при, этом равно 1 бит.

Задача 1.

В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Дано: N = 32 Найти: i -?

Решение. Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32. N = 2i; 32 = 25; i = 5 бит. Ответ: 5 бит.

Задача 2.

При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?

Дано: i =8 Найти: N - ?

Решение. 2i = N; 28=256.  Ответ:256 чисел.

Вопросы:

1.             Какие подходы к измерению информации вам известны?

2.             Какова основная единица измерения информации?

3.             Приведите формулу подсчета количества информации при уменьшении неопределенности знания.

4.             Что такое бит, байт, килобайт, мегабайт, гигабайт?

5.             Как определить количество информации при равновероятных событиях?

Задания для самостоятельного выполнения:

Задача 3.

Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

Задача 4.

В коробке лежат 8 разноцветных карандашей.

Какое количество информации содержит сообщение, что достали красный карандаш?

Задача 5.

В корзине 16 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?

Задача 6.

Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьни­ки из этого сообщения?

Задача 7.

При угадывании целого числа в некотором диапазоне было получено 5 бит информации. Сколько чисел содержит этот диапазон?

Задача 8.

В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице?

Задача 9.

При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?

Задача 10.

Выразить:

a)    3 Кб в байтах и битах;  81920 бит в байтах и Кб; b)   3072 Мб в Гб и Кб; 12288 бит в Кб и байтах;

c)    5 Кб в байтах и битах; 4096 Мб в Кб и Гб; d)   2 Гб в байтах и битах; 4096 Гб в Кб и Мб.

Домашнее задание:

Задача 11.

Сообщение о том, что Даша живет во 2 подъезде, несет 3 бита информации. Сколько подъездов в доме?

Задача 12.

В барабане для розыгрыша лотереи находятся 64 шара. Сколько информации содержит сообщение о первом выпавшем номере?

Задача 13.

В библиотеке имеется 16 стеллажей. Каждый из которых содержит 8 полок. Сколько информации содержит сообщение, что книга находится на верхней полке первого стеллажа?

Задание 14.

Переведи в байты. a)                  15 Кб, 256 Кб, 2500 Кб;                b)                 72 Кб, 340 Мб, 7340032 Кб;

Переведи в килобайты. a)                   7168 байт, 7680 байт, 2 Мб, 5 Гб; b)                  2560 байт, 257 Мб.