Big Data w biznesie

ogólnouniwersyteckie

Wymagania wstępne (w tym formalne) Znajomość języka Python na poziomie średnio-zaawansowanym, obsługa systemu Linux / Windows na poziomie konsoli.

Studenci powinni mieć własne komputery (jeśli to niemożliwe prosimy o kontakt) z pakietem Anaconda Python.

W zajęciach uczestniczyć mogą wyłącznie:

- studenci drugiego lub trzeciego roku studiów licencjackich,

- pierwszego lub drugiego roku studiów magisterskich,

- czwartego lub piątego roku studiów jednolitych magisterskich.

Zajęcia dofinansowane zostały ze środków Europejskiego Funduszu Społecznego w ramach PO WER, ścieżka 3.5 i z tego powodu studenci zobowiązani są do wypełnienia dokumentacji projektowej. Odmowa ich wypełnienia oznacza rezygnację z zajęć.

Warunkiem udziału w zajęciach jest zatem:

- wypełnienie najpóźniej na początku pierwszych zajęć deklaracji oraz oświadczenia uczestnika projektu finansowanego w ramach Programu ZIP

- wypełnienie pre-testu służącego ocenie przyrostu kompetencji (bilans kompetencji).

Warunkiem akceptacji grupy na etap początku zajęć jest min. 10 studentów, którzy wypełnią powyższą deklarację i pre-test.

Znajomość języka Python na poziomie średnio-zaawansowanym, obsługa systemu Linux / Windows na poziomie konsoli.

Studenci powinni mieć własne komputery (jeśli to niemożliwe prosimy o kontakt) z pakietem Anaconda Python.

W zajęciach uczestniczyć mogą wyłącznie:

- studenci drugiego lub trzeciego roku studiów licencjackich,

- pierwszego lub drugiego roku studiów magisterskich,

- czwartego lub piątego roku studiów jednolitych magisterskich.

Zajęcia dofinansowane zostały ze środków Europejskiego Funduszu Społecznego w ramach PO WER, ścieżka 3.5 i z tego powodu studenci zobowiązani są do wypełnienia dokumentacji projektowej. Odmowa ich wypełnienia oznacza rezygnację z zajęć.

Po zajęciach studenci będą doskonale zapoznani z tematem Big Data, w szczególności z zdobywaniem, przechowywaniem, procesowaniem, podstawową analizą oraz wizualizacją oraz bezpieczeństwem danych przy użyciu obecnie stosowanych technologii takich jak SQL czy Spark.

Pełny opis przedmiotu

Tydzień 1:

1. Co to jest Big Data? Jakie są zadania, role oraz technologie do rozwiązywania tych zadań.

2. Narzędzia kontroli wersji oraz przenośności oprogramowania.

3. Technologie kontenerowania.

Technologie: Git, bash, Docker / Kubernetes.

Tygodnie 2-8 “Small data”:

1. Co można zrobić z danymi?

2. Pozyskiwanie danych z Internetu.

3. Jakie informacje można wyciągnąć z danych?

4. Jak przygotować dane do eksploracji.

5. Wizualizacja danych,

6. (Relacyjne) bazy danych.

7. Wstęp do uczenia maszynowego (regresja liniowa, regresja logistyczna, klasteryzacja).

8. Technologie: Python, pandas, podstawy SQL, Matplotlib, Plotly, BeautifulSoup, scikitlearn , Tableau.

9. Pierwszy projekt.

Tygodnie 9-13 Big data:

1. Modelowanie danych w ramach paradygmatu Big Data. Architektury Data Warehouse / Data Lake.

2. Integrowanie i Procesowanie Danych.

3. Przeniesienie rozwiązań uczenia maszynowego do Big Data.

4. Automatyzacja przetwarzania danych

5. Drugi projekt

Technologie: Handoop, (Py)-Spark, Cloudera VM

Tydzień 14-15: Technologie chmurowe i podsumowanie

1. Poznanie środowiska chmurowego i poszczególnych zastosowań pakietów.

2. Projekt końcowy

Technologie: AWS / Azure / GoogleCloud

Zajęcia umożliwiają uzyskanie kompetencji informatycznych oraz analitycznych.

Literatura podana przez wykładowcę

Po zajęciach studenci będą doskonale zapoznani z tematem Big Data, w szczególności z zdobywaniem, przechowywaniem, procesowaniem, podstawową analizą oraz wizualizacją oraz bezpieczeństwem danych.

Metody i kryteria oceniania

Warunki zaliczenia zajęć:

- obecność studenta na co najmniej 80% wszystkich spotkań

- wypełnienie po zakończeniu ostatnich zajęć post-testu (gdzie uczestnik określa poziom swojej wiedzy i umiejętności po zakończeniu zajęć).

Warunkiem finalnej akceptacji grupy jest wypełnienie wszystkich w/w wymagań przez co najmniej 10 studentów.

Rozwiązanie zadań na zajęciach oraz zaliczenie projektu końcowego (być może w formie Hackatonu).

Zaliczenie na podstawie wykonywanych zadań podczas kursu (40%), grupowy projekt końcowy 60% (być może odbędzie się to w ramach weekendowego Hackatonu).