Алфавитный подход к измерению информации

1.5. Алфавитный подход к измерению информации

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера.

Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение.

Алфавит - все множество используемых в языке символов. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами.

 Мощность алфавита  - полное количество символов алфавита.

Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.

 Мощность русского алфавита - 33 знака, английского - 28, двоичного кода - 2 , компьютерного текста - 256.

Будем использовать следующие обозначения:

N — мощность алфавита, К — количество символов в тексте,

i — количество информации, которое несет каждый символ алфавита,

It — объем информации, содержащейся в тексте.

1.5. 1. Алфавитный подход к измерению количества информации

Алфавитный подход позволяет определить количество информации, заключенной в тексте.

Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ, вычисляется по формуле: i =Log₂ N, или 2ⁱ = N.

Чтобы определить объем информации в сообщении при алфавитном подходе, нужно последовательно решить задачи:

1.    Определить количество информации (i) которое несет каждый символ алфавита по формуле 2ⁱ = N, где N — мощность алфавита.

2.    Определить количество символов в сообщении (K).

3.    Вычислить объем информации по формуле: It = i * K.

Задача 1.

Найти объем сообщения, содержащего 200 знаков 16-символьного алфавита.

Дано: N = 16; K = 200; Найти: It - ?

Решение. 1.      N = 2i, 16=2i; 2.      i = 4бита; 3.      It = K · i, It=200 · 4=800 бит = 100 байт. Ответ: 100 байт.

Задача 2.

Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит  2250 байтов?

Дано: s=3; x=25; y=60; It = 2250  байта; Найти: N -?

Решение. 1.      К = 3·25·60 = 4500 символов в тексте; 2.      It = K · i,  i = It / K; 3.      i = 2250 · 8 / 4500 = 4 бита; 4.      N = 2i;  N = 24;  N =  16  символов. Ответ: 16 символов.

Вопросы:

1. Какие существуют два подхода к измерению информации?
2. Что такое алфавит, мощность  алфавита?
3. Что такое информационный вес символа в алфавите?

4.      Каким образом можно подсчитать количество информации в сообщении?

Задания для самостоятельного выполнения:

Задача 3.

Можно ли уместить на одну дискету книгу, имеющую 432 страницы, причем на каждой странице этой книги 46 строк, а в каждой строке 62 символа?

Примечание:  на дискету помещается 1,44 Мб.

Задача 4.

Книга, набранная с помощью компьютера, содержит 150 страниц, на каждой странице — 40 строк, в каждой строке — 60 символов. Каков объем информации в книге?

Задача 5.

Сообщение, записанное буквами из 32-х символьного алфавита, содержит 30 символов. Какой объем информации оно несёт?

Задача 6.

Сообщение, записанное буквами из 128-символьного алфавита, содержит 100 символов. Какой объем информации оно несет?

Задача 7.

Информационный объем текста, подготовленного с помощью компьютера, равен 3.5 Кбайт. Сколько символов содержит этот текст?

Задача 8.

Информационное сообщение объемом 2 Кб содержит 8192 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

Домашнее задание:

Задача 9.

Информационное сообщение объемом 1,5 Кб содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

Задача 10.

Сколько килобайт составляет сообщение, содержащее ,12288 бит?

Задача 11.

Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?

Задача 12.

Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?