ЦЕЛЬ РАБОТЫ: экспериментальное изучение количественных аспектов информации.
ЛАБОРАТОРНОЕ ЗАДАНИЕ
1. Определить количество информации (по Хартли), содержащееся в заданном сообщении, при условии, что значениями являются буквы кириллицы.
«Фамилия Имя Отчество» завершил ежегодный съезд эрудированных школьников, мечтающих глубоко проникнуть в тайны физических явлений и химических реакций
2. Построить таблицу распределения частот символов, характерные для заданного сообщения. Производится так называемая частотная селекция, текст сообщения анализируется как поток символов и высчитывается частота встречаемости каждого символа. Сравнить с имеющимися данными в табл 1.
3. На основании полученных данных определить среднее и полное количество информации, содержащееся в заданном сообщении
Возможно вы искали - Курсовая работа: Разработка программы при помощи языка программирования языка Delphi
4. Оценить избыточность сообщения.
КРАТКИЕ ТЕОРЕТИЧЕСКИЕ СВЕДЕНИЯ
Количество информации по Хартли и Шеннону
Понятие количество информации отождествляется с понятием информация. Эти два понятия являются синонимами. Мера информации должна монотонно возрастать с увеличением длительности сообщения (сигнала), которую естественно измерять числом символов в дискретном сообщении и временем передачи в непрерывном случае. Кроме того, на содержание количества информации должны влиять и статистические характеристики, так как сигнал должен рассматриваться как случайный процесс.
При этом наложено ряд ограничений:
Похожий материал - Контрольная работа: Програмування на Pascal и в MS Excel
1. Рассматриваются только дискретные сообщения.
2. Множество различных сообщений конечно.
3. Символы, составляющие сообщения равновероятны и независимы.
Хартли впервые предложил в качестве меры количества информации принять логарифм числа возможных последовательностей символов.
I=log mk =log N (1)
Очень интересно - Курсовая работа: Создание программы для определения вершин пирамиды с выпуклым основанием по данным точкам
К.Шеннон попытался снять те ограничения, которые наложил Хартли. На самом деле в рассмотренном выше случае равной вероятности и независимости символов при любом k все возможные сообщения оказываются также равновероятными, вероятность каждого из таких сообщений равна P=1/N. Тогда количество информации можно выразить через вероятности появления сообщений I=-log P.
В силу статистической независимости символов, вероятность сообщения длиной в k символов равна
Если i-й символ повторяется в данном сообщении ki раз, то
Вам будет интересно - Контрольная работа: Виды и способы передачи информации. Системы программирования
так как при повторении i символа ki раз k уменьшается до m. Из теории вероятностей известно, что, при достаточно длинных сообщениях (большое число символов k) ki ≈k·pi и тогда вероятность сообщений будет равняться
Тогда окончательно получим
(2)
Данное выражение называется формулой Шеннона для определения количества информации.
Похожий материал - Курсовая работа: Аналіз студентської бази навчального закладу
Формула Шеннона для количества информации на отдельный символ сообщения совпадает с энтропией. Тогда количество информации сообщения состоящего из k символов будет равняться I=k·H
Количество информации, как мера снятой неопределенности
При передаче сообщений, о какой либо системе происходит уменьшение неопределенности. Если о системе все известно, то нет смысла посылать сообщение. Количество информации измеряют уменьшением энтропии.
Количество информации, приобретаемое при полном выяснении состояния некоторой физической системы, равно энтропии этой системы: