Производительность источника дискретных сообщений
Имеется
,
где М – обьем алфавита источника.
.
Возможно вы искали - Курсовая работа: Передача цифрового сигнала
Для такого источника можем определить среднее количество информации в сообщениях (энтропию).
.
Источник работает на интервале T и генерирует за это время количество информации 
.
,
скорость выдачи информации источником, если процесс эргодический.
Похожий материал - Учебное пособие: Передающая система РЛС. Канал обзора (передатчик обзора)
Если источник выдал n элементарных сообщений, а длительность сообщений 
тогда:
.
Определим максимальную производительность источника
.
Скорость передачи информации по дискретным каналам без помех. Оптимальное статистическое кодирование
Очень интересно - Дипломная работа: Передающее устройство для оптической сети
Если отсутствуют помехи, то при согласовании источника с каналом, скорость передачи информации равна производительности источника сообщений:
.
Задачей статистического кодирования является максимизация скорости передачи информации по каналу связи.
В настоящее время используется двоичное кодирование.
Чтобы обеспечить максимальную скорость передачи информации по каналу без помех, необходимо реализовать оптимальное статистическое кодирование сообщений источника двоичным кодом. Можно доказать, что для выполнения ОСК необходимо выполнить правило:
Вам будет интересно - Дипломная работа: Передающее устройство для приемо-передающего модуля радиовысотомера
,
где 
- количество символов в комбинации двоичного кода.
Т. е. количество символов в кодовой комбинации должно равняться количеству информации в кодируемом сообщении.
Существует ряд алгоритмов статистического кодирования. Основная цель всех схем ОСК - минимизация средней длительности кодовых комбинаций. Необходимо осуществить кодирование таким образом, чтобы наиболее часто встречающиеся комбинации кодировались наиболее короткими комбинациями. Наиболее известны схемы Шеннона-Фано и Хаффмена. Характерно то, что предварительно все сообщения записываются в порядке убывания их вероятностей. Ни одна короткая комбинация не является началом более длинной. Именно это свойство дает возможность декодирования.
 |   | Кодовые значения | Кодовые комбинации | |  бит | ||
 | 0,5 | 1 | 1 | 1 | 1 | ||
 | 0,25 | 0 | 1 | 01 | 2 | 2 | |
 | 0,125 | 0 | 0 | 1 | 001 | 3 | 3 |
 | 0,125 | 0 | 0 | 0 | 000 | 3 | 3 |
Рисунок - Схема кодирования Шеннона – Фано.
Похожий материал - Курсовая работа: Перетворювач ємність - тривалість імпульсу
Оптимальное статистическое кодирование обеспечивает передачу информации по каналам связи с максимальной скоростью. Недостаток: помехи или сбои в аппаратуре, искажения символа ведут к искажению всех других комбинаций.
Необходимо вводить интервалы между кодовыми комбинациями. Величина защитного интервала между комбинациями должна быть кратна длительности импульса и не менее длительности одного импульса. Это снижает достоинства оптимального кода.
Скорость передачи информации и пропускная способность дискретных каналов с помехами
Пусть источник генерирует сообщения 