Przetwarzanie języka naturalnego

Celem wykładu jest przedstawienie metod przetwarzania nieustrukturalizowanych danych tekstowych, przede wszystkim metod opartych na paradygmacie maszynowego uczenia się. Główny akcent położony zostanie na przetwarzanie składniowe i semantyczne, a także na wykorzystanie przetwarzania języka w aplikacjach takich jak wydobywanie informacji z tekstów czy tłumaczenie maszynowe.

Tematem zajęć są zagadnienia dotyczące sposobu opisu wyrażeń języka naturalnego (polskiego, angielskiego…) na rożnych poziomach lingwistycznych (w tym składniowym i semantycznym) i z wykorzystaniem różnorodnych formalizmów. Przedstawiane są najważniejsze istniejące zasoby lingwistyczne, które mogą być wykorzystywane przy tworzeniu nowych aplikacji, jak i istniejące narzędzia programistyczne pozwalające na dokonanie podstawowej analizy lingwistycznej tekstu. Zaprezentowane będą także różne typy aplikacji działających na danych tekstowych: wydobywanie informacji, rozpoznawania nazw własnych, ekstrakcji terminologii czy tłumaczenia maszynowego.

1. Wstęp. Zadania przetwarzania języka naturalnego, terminologia i zakres tematyczny dziedzin pokrewnych. Historia dziedziny, dwa nurty: symboliczny i statystyczny. Przedstawienie przykładowych aplikacji. (1 wykład)

2. Korpusy tekstowe. Segmentacja tekstu, analiza morfologiczna, ujednoznacznianie analizy morfologicznej. (1 wykład)

3. Rozpoznawanie nazw własnych i rozpoznawanie koreferencji w tekstach. (1 wykład)

4. Gramatyki zależnościowe, metody przetwarzania zależnościowego. (2 wykłady)

5. Semantyka leksykalna, ujednoznacznianie sensów słów. (2 wykłady)

6. Leksykalna i kompozycyjna semantyka dystrybucyjna. (3 wykłady)

7. Wybrane zastosowania przetwarzania języka naturalnego (np. ekstrakcja informacji, odpowiadanie na pytania itp.). (2–3 wykłady)

8. Tłumaczenie maszynowe. (2 wykłady)

Laboratorium poświęcone będzie implementacji wybranych zagadnień omawianych na wykładzie. Wykorzystana w tym celu zostanie przede wszystkim pythonowa platforma NLTK (Natural Language Toolkit).

Nabyta wiedza:

znajomość podstawowych problemów związanych z przetwarzaniem danych tekstowych, w szczególności danych w języku polskim,

wiedza dotycząca zasad analizy składniowej i semantycznej zdań w języku naturalnym oraz otrzymywanych w ich wyniku rezultatach,

wiedza dotycząca wyników parsowania zależnościowego zdań w języku naturalnym,

znajomość istniejących narzędzi programistycznych pozwalających na dokonywanie podstawowej analizy lingwistycznej polskiego tekstu,

wiedza na temat aktualnego stanu zaawansowania aplikacji analizujących dane tekstowe.

Nabyte umiejętności:

umiejętność oceny stopnia trudności zadania związanego z analizą tekstu

umiejętność doboru potrzebnych narzędzi i źródeł danych do zrealizowania zadania wymagającego analizy tekstu,

umiejętność wykorzystania wyników dostępnych narzędzi do przetwarzania lingwistycznego danych tekstowych,

umiejętność stosowania metod automatycznego uczenia się do problemów analizy tekstu w języku polskim.

Nabyte kompetencje społeczne:

umiejętność uważnego, aktywnego słuchania innych i śledzenia ich toku myśli,

umiejętność selekcjonowania i porządkowania informacji uzyskanych w procesie komunikacji,

umiejętność jasnego komunikowania technicznie skomplikowanych zagadnień,

umiejętność pracy w grupie i samodzielnej.

Wykład: Na końcową ocenę z przedmiotu składa się ocena z ćwiczeń (50%) i ocena z egzaminu pisemnego (50%).

Laboratorium/ćwiczenia: ćwiczenia do wykonania w domu teoretyczne i praktyczne (40% punktów) oraz projekt (60%).