Uniwersytet Warszawski - Centralny System Uwierzytelniania
Strona główna

Teoria informacji

Informacje ogólne

Kod przedmiotu: 1000-2N03TI
Kod Erasmus / ISCED: 11.303 Kod klasyfikacyjny przedmiotu składa się z trzech do pięciu cyfr, przy czym trzy pierwsze oznaczają klasyfikację dziedziny wg. Listy kodów dziedzin obowiązującej w programie Socrates/Erasmus, czwarta (dotąd na ogół 0) – ewentualne uszczegółowienie informacji o dyscyplinie, piąta – stopień zaawansowania przedmiotu ustalony na podstawie roku studiów, dla którego przedmiot jest przeznaczony. / (0612) Database and network design and administration Kod ISCED - Międzynarodowa Standardowa Klasyfikacja Kształcenia (International Standard Classification of Education) została opracowana przez UNESCO.
Nazwa przedmiotu: Teoria informacji
Jednostka: Wydział Matematyki, Informatyki i Mechaniki
Grupy: Przedmioty obieralne dla informatyki
Przedmioty obieralne na studiach drugiego stopnia na kierunku bioinformatyka
Punkty ECTS i inne: 6.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.

zobacz reguły punktacji
Język prowadzenia: angielski
Rodzaj przedmiotu:

monograficzne

Skrócony opis:

Wprowadzenie w teorię przydatną w wielu zastosowaniach informatyki, jak m.in. w kryptografii, przy modelowaniu języka naturalnego, czy w bio-informatyce. Teoria ta określa ilościowe miary informacji zawartej w zmiennej losowej lub w ciągu bitów. Wprowadza także kryteria optymalnego kompresowania (kodowania) informacji i przesyłania wiadomości przez niepewny kanał.

W przypadku braku studentów obcojęzycznych, zajęcia będą prowadzone po polsku.

Pełny opis:

1.Od gry w 20 pytań do pojęcia entropii. Nierówność Krafta. Kody Huffmana i Shannona-Fano.

2.Entropia warunkowa, informacja.

3.Pierwsze twierdzenie Shannona o optymalnym kodowaniu.

4.Kanały, utrata informacji, poprawa wydajności, przepustowość.

5.Główne twierdzenie Shannona o optymalnym przesyłaniu informacji.

6.Złożoność informacyjna Kołmogorowa . Liczba Chaitina.

7.Złożoność informacyjna Kołmogorowa a entropia Shannona - uniwersalny test Martina Loffa.

W przypadku braku studentów obcojęzycznych, zajęcia będą prowadzone po polsku.

Literatura:

1. "Information and Coding Theory" by Gareth A. Jones and J. Mary Jones, Springer, 2000.

2. "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas,

Wiley Series in Telecommunications, 1991.

Efekty uczenia się:

Wiedza

Student

-- rozumie podstawowe pojęcia teorii informacji: entropia, informacja wzajemna, kanały komunikacyjne, przepustowość kanału, złożoność Kołmogorowa,

-- rozumie teoretyczne ograniczenia na efektywność zapisu (kompresji) informacji i na niezawodność komunikacji,

-- rozumie zasady działania algorytmów kompresji i algorytmów korekcji błędów.

Umiejętności

Student

-- potrafi zastosować pojęcie entropii w analizie danych,

-- potrafi wyznaczyć przepustowość kanału informacyjnego,

-- potrafi zastosować praktycznie algorytmy kompresji i metody korekcji błędów.

Kompetencje

Student dobrze rozumie matematyczny aspekt pojęcia informacji i potrafi wykorzystać

tę wiedzę zarówno w samej informatyce np. przy projektowaniu sieci i systemów rozproszonych,

zarządzaniu pamięcią masową itp., jak i w zastosowaniach informatyki, w szczególności

w analizie danych, kryptografii i bioinformatyce.

Metody i kryteria oceniania:

Na ocenę końcową składają się wyniki systematycznej pracy w ciągu semestru, wyniki kolokwium oraz wyniki egzaminu pisemnego.

Zajęcia w cyklu "Semestr zimowy 2023/24" (zakończony)

Okres: 2023-10-01 - 2024-01-28
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Ćwiczenia, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Damian Niwiński
Prowadzący grup: Eryk Kopczyński, Damian Niwiński
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Warszawski.
Krakowskie Przedmieście 26/28
00-927 Warszawa
tel: +48 22 55 20 000 https://uw.edu.pl/
kontakt deklaracja dostępności USOSweb 7.0.3.0 (2024-03-22)