Надмірність - джерело
Потрібно знайти ентропії джерел А1 і А2, що видають текст з букв російського і англійського алфавітів відповідно, при відсутності статистичних зв'язків між буквами, а також обчислити надмірність джерел. видають тексти, обумовлену неравновероятностио вибору букв. [16]
Коли надмірність джерела повідомлень висока, а перешкоди дуже малі, доцільно введення кодера джерела. Коли надмірність джерела мала, а перешкоди великі, доцільно введення кодера каналу. [17]
Отже, вибір кодують і декодер залежить від статистичних властивостей джерела повідомлень, а також рівня і характеру перешкод в каналі зв'язку. Якщо надмірність джерела повідомлень мала і перешкоди в каналі зв'язку практично відсутні, то введення як кодера джерела, так і кодера каналу недоцільно. [18]
Доцільність усунення надмірності повідомлення методами ефективного кодування з наступним перекодуванням перешкодостійким кодом обумовлена тим, що надмірність джерела повідомлення в більшості випадків не узгоджена зі статистичними закономірностями перешкоди в каналі зв'язку і тому не може бути повністю використана для підвищення достовірності прийнятого повідомлення, тоді як зазвичай можна підібрати підходящий перешкодостійкий код. Крім того, надмірність джерела повідомлень часто є наслідком дуже складних імовірнісних залежностей і дозволяє виявляти і виправляти помилки тільки після декодування всього повідомлення, користуючись складними алгоритмами і інтуїцією. [19]
Окремими випадками цієї формули є асимптотичні оцінки надмірності джерел Бернуллі з § 3.2 і отримані В. К. Трофімовим оцінки надмірності марковских джерел. [20]
Звідси випливає, що для передачі заданої кількості інформації 10 (х, у) по каналу з шумом потрібен певний надлишок інформації, рівне, по крайней мере, неоднозначності Нх (у), обумовленої шумом. Навпаки, в цих умовах доцільно допустити деяку надмірність джерела інформації і розпорядитися нею так, щоб підвищити стійкість перед перешкодами зв'язку. [21]
Укрупнення алфавіту не змінює надмірності повідомлень. Однак надмірність, обумовлена кореляційними овязя ми символів первинного алфавіту, перетворюється в надмірність джерела блоків. обумовлену неравновероятним появою незалежних блоків. Це пояснюється тим, що нерівномірність розподілу ймовірностей появи блоків більше, ніж нерівномірність розподілу ймовірностей появи символів первинного алфавіту. [22]
Продуктивність джерела блоків Н до (1) Яї (/) / (2 / Т1 то), де НЦ (1) - середня кількість - інформації в одному блоці. Укрупнення алфавіту яе змінює надмірності повідомлень. Однак надмірність, обумовлена кореляційними зв'язками символів первинного алфавіту, перетворюється в надмірність джерела блоків. обумовлену неравновероятним появою незалежних блоків. Це пояснюється тим, що нерівномірність розподілу ймовірностей появи блоків більше, ніж нерівномірність розподілу ймовірностей появи символів первинного алфавіту. [23]
Пристрої квантування, описані в розділі 13.2, називаються миттєвими пристроями квантування або пристроями квантування без пам'яті, так як цифрові перетворення засновані на одиничному (поточної) вхідний вибірці. У розділі 13.1 були визначені властивості джерел, які допускають скорочення інтенсивності джерела. Миттєві Квант пристрої кодують джерело, беручи до уваги щільність ймовірності, зіставлення з кожної вибіркою. Методи квантування, які беруть до уваги кореляцію між вибірками, є квант пристроями з пам'яттю. Ці кванти пристрої зменшують надмірність джерела спочатку за допомогою перетворення корельованих вхідної послідовності в пов'язану послідовність зі зменшеною кореляцією, зменшеною дисперсією і зменшеною смугою частот. Потім ця нова послідовність квантуется з використанням меншої кількості біт. [24]
Основними інформаційними характеристиками джерел дискретних повідомлень є ентропія, умовна ентропія, продуктивність і надмірність. Ентропія - це середня кількість інформації, що припадає на один символ повідомлення. Якщо символи повідомлення корельовані, то ентропія зменшується. Щоб це врахувати, вводять поняття умовної ентропії. Вона характеризує середню кількість інформації, яке несе наступний символ повідомлення за умови, що вже відомий ряд попередніх. Кореляційні зв'язки і нерівномірність розподілу ймовірностей появи символів характеризують надмірність джерела - відношення кількості інформації, що втрачається через вплив цих факторів, до максимальної кількості інформації, яке несе один символ. [25]
Сторінки: 1 2
Поділитися посиланням: