МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ
1. Количество информации, и ее мера
На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис. 1).
Помехи
x1 y1
Возможно вы искали - Курсовая работа: Метод Стрілянини
x2 y2
……
xn yn
Рис. 1. Система передачи информации
Ансамбль сообщений – множество возможных сообщений с их вероятностными характеристиками – {Х, р(х)} . При этом: Х={х1 , х2 ,…, хm } – множество возможных сообщений источника; i = 1, 2,…, m , где m – объем алфавита; p(xi ) – вероятности появления сообщений, причем p(xi ) ³ 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице
Похожий материал - Реферат: Методика расчета экономического эффекта от применения ПС у пользователя
.
Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении xi , выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления – p(xi ) , поэтому естественно предположить, что количество информации I(xi ) в сообщении xi является функцией p(xi ). Вероятность появления двух независимых сообщений x1 и x2 равна произведению вероятностей p(x1 ,x2 ) = p(x1 ).p(x2 ) , а содержащаяся в них информация должна обладать свойством аддитивности, т.е.:
I(x1 , x2 ) = I(x1 )+I(x2 ). (1)
Поэтому для оценки количества информации предложена логарифмическая мера:
. (2)
Очень интересно - Лабораторная работа: Методика создания структуры базы данных на персональном компьютере
При этом наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Т. к. все логарифмы пропорциональны, то выбор основания определяет единицу информации: loga x = logb x/logb a.
В зависимости от основания логарифма используют следующие единицы информации:
2 – [бит] (bynary digit – двоичная единица), используется при анализе ин-формационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;
e – [нит] (natural digit – натуральная единица), используется в математических методах теории связи;
10 – [дит] (decimal digit – десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.
Вам будет интересно - Курсовая работа: Методология проектирования баз данных
Битом (двоичной единицей информации) – называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.
Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем событиям:
. (3)
Количество информации, в сообщении, состоящем из n не равновероятных его элементов равно (эта мера предложена в 1948 г. К. Шенноном):
. (4)
Похожий материал - Курсовая работа: Методы внутренней сортировки Обменная сортировка Сравнение с другими методами сортировки
Для случая независимых равновероятных событий количество информации определяется (эта мера предложена в 1928 г. Р. Хартли):
. (5)
2. Свойства количества информации
1. Количество информации в сообщении обратно – пропорционально вероятности появления данного сообщения.