Implement data engineering solutions using Azure Databricks

Szkolenie jest przeznaczone dla osób odpowiedzialnych za projektowanie, wdrażanie i utrzymywanie rozwiązań data engineering w środowisku Azure Databricks, w tym za pracę z Unity Catalog, potokami danych, jakością danych i obciążeniami Lakehouse.

W szczególności kurs sprawdzi się dla:

• inżynierów danych rozwijających kompetencje w zakresie pracy z Azure Databricks,

• specjalistów data engineering odpowiedzialnych za przygotowanie, przetwarzanie i ładowanie danych,

• osób projektujących i wdrażających modele danych oraz potoki danych w środowisku Azure Databricks,

• specjalistów odpowiedzialnych za organizację, zabezpieczanie i zarządzanie obiektami w Unity Catalog,

• członków zespołów danych zajmujących się monitorowaniem, rozwiązywaniem problemów i optymalizacją obciążeń w Azure Databricks.

1. Konfiguracja Azure Databricks – poznasz, jak przygotować środowisko pracy, skonfigurować zasoby obliczeniowe oraz organizować obiekty w Unity Catalog.

2. Praca z Unity Catalog – nauczysz się, jak zarządzać obiektami katalogu oraz wdrażać zabezpieczenia na potrzeby środowisk danych.

3. Modelowanie danych – poznasz, jak projektować i wdrażać modele danych z wykorzystaniem Azure Databricks.

4. Przygotowanie danych – nauczysz się, jak pobierać, oczyszczać, przekształcać i ładować dane do Unity Catalog.

5. Jakość danych – dowiesz się, jak implementować i zarządzać wymaganiami jakości danych w Azure Databricks.

6. Potoki danych – poznasz, jak projektować i wdrażać potoki danych oraz Lakeflow Jobs.

7. Utrzymanie obciążeń – nauczysz się, jak monitorować, rozwiązywać problemy i optymalizować obciążenia w Azure Databricks.

1. Konfiguracja środowiska Azure Databricks:

• Omówienie Azure Databricks.

• Przegląd architektury Azure Databricks.

• Omówienie integracji Azure Databricks.

• Konfiguracja zasobów obliczeniowych Azure Databricks.

• Tworzenie i organizacja obiektów w Unity Catalog.

2. Zabezpieczanie i zarządzanie obiektami w Unity Catalog w Azure Databricks:

• Zabezpieczanie obiektów Unity Catalog.

• Zarządzanie obiektami Unity Catalog.

3. Przygotowanie i przetwarzanie danych za pomocą Azure Databricks:

• Projektowanie i wdrażanie modelowania danych za pomocą Azure Databricks.

• Pobieranie danych do Unity Catalog.

• Oczyszczanie, przekształcanie i ładowanie danych do Unity Catalog.

• Implementacja i zarządzanie wymogami jakości danych za pomocą Azure Databricks.

4. Wdrażanie i utrzymanie potoków danych oraz obciążeń z Azure Databricks:

• Projektowanie i implementacja potoków danych za pomocą Azure Databricks.

• Implementacja Lakeflow Jobs z Azure Databricks.

• Implementacja procesów cyklu życia i tworzenia w Azure Databricks.

• Monitorowanie, rozwiązywanie problemów i optymalizacja obciążeń w Azure Databricks.

• Grupą docelową są inżynierowie danych, którzy mają podstawową wiedzę na temat koncepcji analizy danych, podstawową wiedzę o przechowywaniu w chmurze oraz zasady organizacji danych. Powinni czuć się pewnie w pracy z SQL i mieć doświadczenie w Pythonie, w tym z notebookami, do zadań związanych z data engineering.

• Oczekuje się, że uczestnicy będą dobrze rozumieć przestrzenie robocze Azure Databricks i Unity Catalog, a także znać wzorce dostępu do danych oraz podstawowe koncepcje inżynierii danych i hurtowni danych. Ponadto powinni mieć podstawową wiedzę z zakresu bezpieczeństwa Azure, w tym Microsoft Entra ID, oraz znać podstawy kontroli wersji Git-a.

  Dla zwiększenia komfortu pracy oraz efektywności szkolenia zalecamy skorzystanie z dodatkowego ekranu. Brak dodatkowego ekranu nie jest przeciwwskazaniem do udziału w szkoleniu, ale w znaczący sposób wpływa na komfort pracy podczas zajęć.
  Informacje oraz wymagania dotyczące uczestniczenia w szkoleniach w formule zdalnej dostępne na: https://www.altkomakademia.pl/jak-dzialamy/o-szkoleniach/?distance-learning

* podręcznik w formie elektronicznej dostępny na platformie: https://learn.microsoft.com/pl-pl/training/
* dostęp do portalu słuchacza Altkom Akademii

• Wykład: polski

• Materiały: angielski