Теорія передачі та перетворення інформації

Розглядаються та вивчаються методи теорії інформації, принципи роботи систем передачі інформації; основні інформаційні характеристики дискретних і безперервних джерел; теореми Шеннона про кодування джерела; основні принципи та алгоритми стиснення інформації; види каналів зв'язку, методи їх опису, характеристики швидкості передачі інформації і надійності; основи завадостійкого кодування.

Метою дисципліни є вивчення студентами основних понять теорії інформації та її додатків до теорії і практиці кодування і декодування повідомлень, формування навичок інформаційного підходу до аналізу і синтезу інформаційно-вимірювальних систем.

Знати основні напрями досліджень у галузі теорії інформації та кодування, теорії передачі та перетворення інформації; застосування теорії передачі та перетворення інформації для розв'язання практичних задач в різних галузях професійної діяльності.

Уміти розрахувати інформаційні характеристики джерел повідомлень з відомими статистичними властивостями;   застосовувати найпростіші алгоритми ефективного кодування;  розраховувати основні характеристики каналів зв'язку;   застосовувати основні методи завадостійкого кодування і оцінювати їх можливості по виявленню і виправленню помилок.

Тема 1. Вступ. Поняття інформації, повідомлення, сигналу, коду. Модуляція, методи модуляції.

Тема 2. Дискретні джерела інформації, їх характеристики. Вимірювання кількості інформаціїЕнтропія дискретного розподілу ймовірностей. Властивості ентропії.

Тема 3. Кодування. Цілі кодування, основні терміни. Потенційні можливості ефективного кодування.

Тема 4. Ефективне кодування. Використання нерівномірних двійкових кодів для ефективного кодування. Вплив помилок на системи ефективного кодування.

Тема 5. Канали зв’язку та їх математичні моделі. Класифікація каналів. Дискретні (цифрові) канали зв’язку, класифікація, характеристики.

Тема 6. Передача інформації через дискретний канал із шумом . Кількість інформації за умов передачі в дискретному каналі з шумом. Передача інформації через неперервний канал із шумом. Кількість інформації за умов передачі в неперервному каналі з шумом.

Тема 7. Завадостійке кодування. Основні терміни та визначення. Геометрична інтерпретація коду. Коригувальна здатність коду. Режими декодування. Імовірнісні характери-тики передачі інформації завадостійкими кодами при різних режимах декодування.

Тема 8. Правила побудови завадостійких кодів. Коди блочні та неперервні. Інверсний код (Бауера). Код Хеммінга. Ітеративні коди. Лінійні (групові) коди. Циклічні коди.

Практичні заняття – 64 бали, модульний контроль – 20 балів, лекційні заняття – 16 балів.