Data Engineering on Microsoft Azure

• Azure Synapse Analytics

• Azure Databricks

• Azure Data Lake Storage

• Azure Stream Analytics

Głównymi odbiorcami tego kursu są specjaliści ds. danych, architekci danych i specjaliści od analizy biznesowej, którzy chcą dowiedzieć się więcej o inżynierii danych i tworzeniu rozwiązań analitycznych przy użyciu technologii platform danych istniejących na platformie Microsoft Azure. Druga grupa docelowa to analitycy danych i naukowcy zajmujący się danymi, którzy pracują z rozwiązaniami analitycznymi opartymi na Microsoft Azure

Na  kursie DP-203 student zapozna się z wzorcami i praktykami inżynierii danych w zakresie pracy z rozwiązaniami analitycznymi w trybie wsadowym i w czasie rzeczywistym przy użyciu technologii platformy danych Azure.

Studenci:

• rozpoczną od zrozumienia podstawowych technologii obliczeniowych i pamięci masowej, które są używane do tworzenia rozwiązania analitycznego.

• Następnie zbadają, jak zaprojektować analityczne warstwy obsługujące i skupią się na zagadnieniach inżynierii danych podczas pracy z plikami źródłowymi.

• dowiedzą się, jak interaktywnie eksplorować dane przechowywane w plikach w jeziorze danych.

• Nauczą się różnych technik pozyskiwania, których można używać do ładowania danych przy użyciu funkcji Apache Spark dostępnej w usłudze Azure Synapse Analytics lub Azure Databricks, lub jak pozyskiwać dane przy użyciu potoków Azure Data Factory lub Azure Synapse.

• poznają również różne sposoby przekształcania danych przy użyciu tych samych technologii, które są używane do pozyskiwania danych.

Student poświęci czas na kurs, ucząc się, jak monitorować i analizować wydajność systemu analitycznego, aby móc optymalizować wydajność ładowania danych lub zapytań, które są wysyłane do systemów. Zrozumieją, jak ważne jest wdrożenie zabezpieczeń, aby zapewnić ochronę danych w spoczynku lub podczas przesyłania. Następnie student pokaże, jak dane w systemie analitycznym mogą służyć do tworzenia pulpitów nawigacyjnych lub tworzenia modeli predykcyjnych w usłudze Azure Synapse Analytics.

Egzamin w formie on-line. Zapis na stronie https://home.pearsonvue.com/Clients/Microsoft.aspx

Po kursie DP-203 można przystąpić do certyfikowanego egzaminu Microsoft. Szczegóły na: https://docs.microsoft.com/pl-pl/learn/certifications/exams/dp-203

• Znajomość przetwarzania w chmurze

• Znajomość podstawowych koncepcji danych

Szkolenia poprzedzające: AZ-900, DP-900

Kurs DP-203 należy do ścieżek:

• AI Engineer

• Data Engineer

Dla zwiększenia komfortu pracy oraz efektywności szkolenia zalecamy skorzystanie z dodatkowego ekranu. Brak dodatkowego ekranu nie jest przeciwwskazaniem do udziału w szkoleniu, ale w znaczący sposób wpływa na komfort pracy podczas zajęć.

Informacje oraz wymagania dotyczące uczestniczenia w szkoleniach w formule zdalnej dostępne na: https://www.altkomakademia.pl/distance-learning/#FAQ

• Szkolenie: polski

• Materiały: angielski

* podręcznik w formie elektronicznej dostępny na platformie:

https://learn.microsoft.com/pl-pl/training/

* dostęp do portalu słuchacza Altkom Akademii

Metoda szkolenia:

• teoria

• dema

• labolatoria indywidualne

• 50% teoria

• 50% praktyka

 1: Poznaj opcje obliczeniowe i pamięci masowej dla obciążeń związanych z inżynierią danych

• Wprowadzenie do usługi Azure Synapse Analytics

• Opisz usługę Azure Databricks

• Wprowadzenie do usługi Azure Data Lake Storage

• Opisz architekturę jeziora Delta

• Pracuj ze strumieniami danych przy użyciu usługi Azure Stream Analytics

 2: Zaprojektuj i zaimplementuj warstwę obsługi

• Zaprojektuj wielowymiarowy schemat, aby zoptymalizować obciążenia analityczne

• Bezkodowa transformacja na dużą skalę dzięki usłudze Azure Data Factory

• Wypełniaj wolno zmieniające się wymiary w potokach usługi Azure Synapse Analytics

 3: Data engineering considerations for source files

• Design a Modern Data Warehouse using Azure Synapse Analytics

• Secure a data warehouse in Azure Synapse Analytics

 4: Uruchamiaj interaktywne zapytania przy użyciu bezserwerowych pul SQL Azure Synapse Analytics

• Poznaj możliwości bezserwerowych pul SQL w usłudze Azure Synapse

• Wykonywanie zapytań dotyczących danych w jeziorze przy użyciu bezserwerowych pul SQL usługi Azure Synapse

• Twórz obiekty metadanych w bezserwerowych pulach SQL Azure Synapse

• Zabezpiecz dane i zarządzaj użytkownikami w bezserwerowych pulach SQL Azure Synapse

 5: Eksploracja i transformacja danych w Azure Databricks

• Opisz usługę Azure Databricks

• Odczytywanie i zapisywanie danych w usłudze Azure Databricks

• Pracuj z DataFrames w Azure Databricks

• Pracuj z zaawansowanymi metodami DataFrames w usłudze Azure Databricks

 6: Pobieranie i ładowanie danych do hurtowni danych

• Użyj najlepszych rozwiązań dotyczących ładowania danych w usłudze Azure Synapse Analytics

• Pozyskiwanie w skali petabajtów za pomocą usługi Azure Data Factory

 7: Przekształcaj dane za pomocą Azure Data Factory lub Azure Synapse Pipelines

• Integracja danych z Azure Data Factory lub Azure Synapse Pipelines

• Bezkodowa transformacja na dużą skalę dzięki usłudze Azure Data Factory lub Azure Synapse Pipelines

 8: Orkiestracja przenoszenia i transformacji danych w Azure Synapse Pipelines

• Organizuj przenoszenie i transformację danych w usłudze Azure Data Factory

 9: Optymalizacja wydajności zapytań dzięki dedykowanym pulom SQL w usłudze Azure Synapse

• Zoptymalizuj wydajność zapytań magazynu danych w usłudze Azure Synapse Analytics

• Zapoznaj się z funkcjami deweloperów magazynu danych w usłudze Azure Synapse Analytics

10 Analiza i optymalizacja przechowywania danych w hurtowni danych

11: Obsługa hybrydowego transakcyjnego przetwarzania analitycznego (HTAP) za pomocą łącza Azure Synapse

• Projektuj hybrydowe przetwarzanie transakcyjne i analityczne przy użyciu usługi Azure Synapse Analytics

• Skonfiguruj łącze Azure Synapse za pomocą usługi Azure Cosmos DB

• Wysyłaj zapytania do Azure Cosmos DB za pomocą pul Apache Spark

• Wysyłaj zapytania do usługi Azure Cosmos DB za pomocą bezserwerowych pul SQLAnalizuj i optymalizuj magazyn danych w usłudze Azure Synapse Analytics

 12: Kompleksowe zabezpieczenia dzięki usłudze Azure Synapse Analytics

• Zabezpiecz magazyn danych w usłudze Azure Synapse Analytics

• Konfiguruj wpisy tajne i zarządzaj nimi w Azure Key Vault

• Wdrażaj kontrolę zgodności danych wrażliwych

 13: Przetwarzanie strumieniowe w czasie rzeczywistym z usługą Stream Analytics

• Włącz niezawodną obsługę wiadomości dla aplikacji Big Data przy użyciu usługi Azure Event Hubs

• Pracuj ze strumieniami danych przy użyciu usługi Azure Stream Analytics

• Przetwarzaj strumienie danych za pomocą usługi Azure Stream Analytics

14: Tworzenie rozwiązania przetwarzania strumieniowego za pomocą usługi Event Hubs i Azure Databricks

• Przetwarzaj dane przesyłania strumieniowego za pomocą strukturalnego przesyłania strumieniowego usługi Azure Databricks

 15: Tworzenie raportów przy użyciu integracji usługi Power BI z usługą Azure Synpase Analytics

• Twórz raporty za pomocą usługi Power BI, korzystając z jej integracji z usługą Azure Synapse Analytics

16: Wykonywanie zintegrowanych procesów uczenia maszynowego w usłudze Azure Synapse Analytics

• Użyj zintegrowanego procesu uczenia maszynowego w usłudze Azure Synapse Analytics