Logo
Zostań autorem

Koszyk jest pusty

0

Kategorie

  • Chcesz się dzielić wiedzą?

Zaloguj się

Nie pamiętasz hasła? Kliknij tutaj

Big Data, Hadoop oraz MapReduce w języku Python - 2020

Opanuj budowanie MapReduce Jobs używając biblioteki MRJob oraz usługi Amazon Elastic MapReduce!

Autor: Paweł Krakowiak

Aktualizacja: 08/10/2020

00:00
00:00
x

Darmowe lekcje

down
Trailer
Wprowadzenie do Big Data
03:49
Jak składowany jest plik w systemie plików HDFS?
06:40
Trailer
Wprowadzenie do Big Data
Jak składowany jest plik w systemie plików HDFS?
49.00 zł
calendargwarancja zwrotu pieniędzy
updateregularne aktualizacje
helpwsparcie autora
questionZadaj pytanie autorowi

Czego się nauczysz?

  • Paradygmat programowania MapReduce do rozwiązań Big Data
  • Omówienie podstawowych elementów ekosystemu Hadoop
  • Budowanie MapReduce Jobs w oparciu o bibliotekę MRJob
  • Uruchomienie programów MapReduce lokalnie
  • Uruchomienie programów MapReduce z wykorzystaniem chmury - Amazon Web Services (AWS)
  • Usługa Amazon Elastic MapReduce
  • Analiza zawartości tekstowej Iliady, danych dotyczących linii lotniczych oraz ruchu taksówek
  • Analiza danych dotyczących recenzji produktów na sklepie internetowym Amazon, NLP w Big Data

Wymagania

podstawowa znajomość języka Python (najlepiej ukończony kurs Programowanie w języku Python)

ukończony kurs 200+ Ćwiczeń - Programowanie w języku Python (opcjonalnie)

ukończony kurs Wprowadzenie do data science w języku Python - Pandas

ukończony kurs Interaktywne wizualizacje danych w języku Python - Plotly

Opis kursu

Umiejętność analizowania dużych zbiorów danych (Big Data) jest niezwykle gorącym tematem i zarazem jedną z najbardziej poszukiwanych umiejętności na rynku. Ponieważ cały ekosystem rozwiązań Big Data jest ogromny w tym kursie skupimy się głównie na paradygmacie programowania MapReduce, który jest podwaliną analiz Big Data.


Zbudujemy kilkanaście MapReduce Jobów, m. in. przeanalizujemy ruch lotniczy nad Stanami Zjednoczonymi, czy ruch taksówek w Nowym Jorku.

Znajdziemy średni dystans pokonywamy przez połączenia lotnicze, czy chociażby najbardziej popularny punkt odbioru nowojorskich taksówek.


W celu uruchomienia naszych Jobów postawimy klaster Hadoopowy w chmurze Amazona wykorzystując usługę EMR - Elastic MapReduce.

Spis treści

  • Czas trwania: 07:31:16
  • Pytania w testach: 3
  • Slajdy: 16
Wprowadzenie do Big Data
5 wykładydown
Ekosystem Big Data
5 wykładydown
HDFS - Hadoop Distributed File System
4 wykładydown
MapReduce
4 wykładydown
Przygotowanie środowiska
4 wykładydown
MapReduce w języku Python - mrjob
7 wykładydown
MapReduce w języku Python - Iliada
4 wykładydown
MapReduce: Map + Combine + Reduce
3 wykładydown
MapReduce w języku Python - Airplane dataset
16 wykładydown
MapReduce w języku Python - Taxi dataset
6 wykładydown
Hadoop w chmurze AWS - usługa EMR (Elastic MapReduce)
7 wykładydown
MapReduce w języku Python - Taxi dataset c.d.
5 wykładydown
MapReduce w języku Python - Food reviews dataset
9 wykładydown

O autorze

avatar
Paweł KrakowiakData Scientist / Securities Broker
Kursy: 19
O mnie
Data Scientist, Securities Broker Miłośnik nowych technologii, szczególnie w obszarze sztucznej inteligencji, big data oraz rozwiązań chmurowych. Absolwent podyplomowych studiów ...Czytaj więcej
Zobacz profil autora
49.00 zł