Теорія інформації (152)

Розглядаються та вивчаються методи теорії інформації, принципи роботи систем передачі інформації; основні інформаційні характеристики дискретних і безперервних джерел; теореми Шеннона про кодування джерела; основні принципи та алгоритми стиснення інформації; види каналів зв'язку, методи їх опису, характеристики швидкості передачі інформації і надійності; основи завадостійкого кодування.

Метою дисципліни є вивчення студентами основних понять теорії інформації та її додатків до теорії і практиці кодування і декодування повідомлень, формування навичок інформаційного підходу до аналізу і синтезу інформаційно-вимірювальних систем.

Знати основні напрями досліджень у галузі теорії інформації та кодування; застосування теорії інформації для розв'язання практичних задач в різних галузях професійної діяльності; основні характеристики джерел інформації. принципи оцінки кількості інформації.

Уміти розрахувати інформаційні характеристики джерел повідомлень з відомими статистичними властивостями;   застосовувати найпростіші алгоритми ефективного кодування;  розраховувати основні характеристики каналів зв'язку;   застосовувати основні методи завадостійкого кодування і оцінювати їх можливості по виявленню і виправленню помилок.

Тема 1. Вступ. Предмет та задачі дисципліни “Теорія інформації”, її місце серед інших дисциплін навчального плану. Короткий історичний огляд розвитку теорії інформації. Вимірювальна інформація, її функції та властивості.

Тема 2. Дискретне джерело і його інформаційні характеристики, ентропія Шеннона. Інформаційні характеристики сукупності дискретних джерел. Кількість інформації в повідомленні дискретного джерела при наявності перешкод. Кількість інформації в інформаційній послідовності. Коефіцієнт надмірності.

Тема 3. Безперервне джерело і його інформаційні характеристики. Диференціальна ентропія безперервного джерела. Характеристики сукупності безперервних джерел, взаємна інформація безперервних джерел. Кількість інформації в повідомленні безперервного джерела при наявності перешкод..

Тема 4. Кодування. Цілі кодування, основні терміни. Потенційні можливості ефективного кодування. Перша теорема Шеннона (теорема для каналу без шуму).

Тема 5. Ефективне кодування. Використання нерівномірних двійкових кодів для ефективного (економного, статистичного) кодування. Умови однозначного декодування нерівномірних кодів. Методики Шеннона-Фано та Хаффмена побудови ефективних кодів.

Практичні заняття – 64 бали, модульний контроль – 20 балів, лекційні заняття – 16 балів.