Теорія завадостійкого кодування
Лекція 10. Теорія завадостійкого кодування
Спектр імпульсних послідовностей.
Для імпульсних послідовностей спектр є дискретним:
тобто амплітуди комплексного спектра можуть бути отримані з безперервного спектра при дискретних значеннях arg
Тобто в спектрі є тільки непарні гармоніки: 1, 3, 5, ... ..
Мета лекції: ознайомлення c теорією завадостійкого кодування і теоремою про ефективне кодування.
а) теорія завадостійкого кодування;
б) пропускна здатність і швидкість передачі інформації;
в) надмірність повідомлень;
г) теорема про ефективне кодування.
10.1 Пропускна здатність і швидкість передачі інформації
Для електрозв'язку завдання забезпечення завадостійкості є однією з головних. Система зв'язку повинна бути спроектована і експлуатуватися так, щоб вона при наявності перешкод забезпечувала задану якість передачі сигналів і повідомлень. Розрахунок впливу перешкод на передачу сигналів і розробка способів зменшення цього впливу є основними питаннями, які розв'язуються в теорії завадостійкості.
Завадостійке кодування повідомлень або кодування з прямим виправленням помилок застосовується в системах зв'язку, в яких відсутній або його не зворотний канал для передачі запитів на повторну передачу, затримки в каналі при запитах повторної передачі виявляються неприпустимо великими або, нарешті, рівень перешкод настільки великий, що кількість повторних передач стає надзвичайно великим.
Швидкість передачі - це кількість взаємної інформації, переданої по каналу зв'язку в одиницю часу,
Пропускна здатність - це максимально досяжна для даного каналу швидкість передачі інформації
де максимум шукається по всіх розподілів ймовірностей джерела ДС або всім ФПВ джерела НС. Величина С є характеристикою тільки каналу зв'язку і не залежить від статистики джерела повідомлень.
Як джерело повідомлень розглянемо оператора, який вводить в комп'ютер тексту російською мовою. Очевидно, що букви в тексті з'являються з різними можливостями. Так, буква А передається значно частіше ніж Ц або Ю. Крім того, поява чергової літери залежить від попередньої. Ясно, що після голосних чи не з'явиться Ь. Комерсант або И. Вельми рідкісним буде поява поспіль трьох букв Е (в слові «змееед»). Таким чином, на виході джерела «з пам'яттю» (залежними повідомленнями) невизначеність виявляється менше, ніж при відсутності пам'яті, коли повідомлення з'являються хаотично. Таким чином, ми підійшли до поняття надмірності джерела, яку формально можна визначити співвідношенням:
Звідси видно, чим більше ентропія, тим менше надмірність джерела і навпаки. Ясно також, що величина надмірності приймає значення в межах 0≤ # 961; ≤1.
Дана величина характеризує число букв (символів) n, використовуваних джерелом повідомлень для передачі заданої кількості інформації, щодо необхідного букв.
Надмірність можна визначити так:
величину # 956; = H (A) / logN = nmin / n називають коефіцієнтом стиснення. Він показує, до якого значення без втрати інформації можна стискати передані повідомлення, якщо усунути міститься в них надмірність. Наприклад, при передачі телеграм з тексту виключають союзи, знаки пунктуації які легко відновлюються при читанні на підставі відомих правил.
Очевидно, що надмірність призводить до збільшення часу передачі повідомлень, зайвої завантаження каналів зв'язку і, як наслідок, - до зниження ефективності їх використання. Разом з тим було б невірним завжди розглядати надмірність як ознака недосконалості джерела повідомлень. У ряді випадків вона буває корисною. Наявність залежностей між буквами і словами тексту дає можливість відновлювати його при спотворенні окремих букв, тобто надмірність можна використовувати для підвищення достовірності передачі інформації в умовах впливу перешкод.
Крім надмірності важливим параметром, що характеризує будь-яке джерело з фіксованою швидкістю V і = 1 / Ті симв / с видачі повідомлень, є його продуктивність, яку визначають як ентропію в одиницю часу (секунду):
Якщо ентропія максимальна і дорівнює log N, то величина Rи = logN / Tи. біт / с, називається інформаційної швидкістю джерела.
Сенс продуктивності - середня кількість інформації, яке видається джерелом протягом однієї секунди безперервної роботи.