Uniwersytet Warszawski - Centralny System UwierzytelnianiaNie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Teoria informacji

Informacje ogólne

Kod przedmiotu: 1000-2N03TI Kod Erasmus / ISCED: 11.303 / (0612) Database and network design and administration
Nazwa przedmiotu: Teoria informacji
Jednostka: Wydział Matematyki, Informatyki i Mechaniki
Grupy: Przedmioty monograficzne dla III - V roku informatyki
Przedmioty obieralne dla informatyki
Przedmioty obieralne stałe dla informatyki
Punkty ECTS i inne: 6.00
zobacz reguły punktacji
Język prowadzenia: angielski
Rodzaj przedmiotu:

monograficzne

Skrócony opis:

Wprowadzenie w teorię przydatną w wielu zastosowaniach informatyki, jak m.in. w kryptografii, przy modelowaniu języka naturalnego, czy w bio-informatyce. Teoria ta określa ilościowe miary informacji zawartej w zmiennej losowej lub w ciągu bitów. Wprowadza także kryteria optymalnego kompresowania (kodowania) informacji i przesyłania wiadomości przez niepewny kanał.

W przypadku braku studentów obcojęzycznych, zajęcia będą prowadzone po polsku.

Pełny opis:

1.Od gry w 20 pytań do pojęcia entropii. Nierówność Krafta. Kody Huffmana i Shannona-Fano.

2.Entropia warunkowa, informacja.

3.Pierwsze twierdzenie Shannona o optymalnym kodowaniu.

4.Kanały, utrata informacji, poprawa wydajności, przepustowość.

5.Główne twierdzenie Shannona o optymalnym przesyłaniu informacji.

6.Złożoność informacyjna Kołmogorowa . Liczba Chaitina.

7.Złożoność informacyjna Kołmogorowa a entropia Shannona - uniwersalny test Martina Loffa.

W przypadku braku studentów obcojęzycznych, zajęcia będą prowadzone po polsku.

Literatura:

1. "Information and Coding Theory" by Gareth A. Jones and J. Mary Jones, Springer, 2000.

2. "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas,

Wiley Series in Telecommunications, 1991.

Efekty uczenia się:

Wiedza

Student

-- rozumie podstawowe pojęcia teorii informacji: entropia, informacja wzajemna, kanały komunikacyjne, przepustowość kanału, złożoność Kołmogorowa,

-- rozumie teoretyczne ograniczenia na efektywność zapisu (kompresji) informacji i na niezawodność komunikacji,

-- rozumie zasady działania algorytmów kompresji i algorytmów korekcji błędów.

Umiejętności

Student

-- potrafi zastosować pojęcie entropii w analizie danych,

-- potrafi wyznaczyć przepustowość kanału informacyjnego,

-- potrafi zastosować praktycznie algorytmy kompresji i metody korekcji błędów.

Kompetencje

Student dobrze rozumie matematyczny aspekt pojęcia informacji i potrafi wykorzystać

tę wiedzę zarówno w samej informatyce np. przy projektowaniu sieci i systemów rozproszonych,

zarządzaniu pamięcią masową itp., jak i w zastosowaniach informatyki, w szczególności

w analizie danych, kryptografii i bioinformatyce.

Metody i kryteria oceniania:

Na ocenę końcową składają się wyniki systematycznej pracy w ciągu semestru, wyniki kolokwium oraz wyniki egzaminu pisemnego.

Zajęcia w cyklu "Semestr zimowy 2018/19" (zakończony)

Okres: 2018-10-01 - 2019-01-25
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Damian Niwiński
Prowadzący grup: Łukasz Dębowski, Tomasz Gogacz, Damian Niwiński
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin

Zajęcia w cyklu "Semestr zimowy 2019/20" (w trakcie)

Okres: 2019-10-01 - 2020-01-27
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Tomasz Gogacz
Prowadzący grup: Tomasz Gogacz, Eryk Kopczyński
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Warszawski.