Apache Airflow

Znasz język Phyton i szukasz narzędzia, który ułatwi Ci planowanie, zarządzanie i monitorowanie przepływów danych i zadań Twoich pracowników? Zobacz jak możemy Ci pomóc wykorzystując narzędzie Apache Airflow.

Dowiedz się więcej >

Czym jest Airflow?

Apache Airflow (lub po prostu Airflow) to jedno z najpopularniejszych narzędzi napisanych w języku Python. Służy do harmonogramowania wielu zadań, przepływów pracy w projektach i organizacjach.
Ważną rzeczą do zapamiętania jest to, że Airflow nie jest narzędziem ETL. Za pomocą kodu definiujemy przepływy pracy i planujemy ich wykonanie.

Dowiedz się więcej >

Zalety Apache Airflow

Bezpłatna licencja

Szybka integracja
– dzięki gotowym konektorom, przeprowadzenie integracji staje się znacznie prostsze i szybsze

Przyjazny interface w aplikacji webowej
– Możesz zarządzać wszystkimi przepływami pracy DAG za pośrednictwem interfejsu Airflow WebUI. Dzięki aplikacji webowej mamy dostęp do statusu ukończonych i bieżących zadań wraz z wglądem w ich logi.

Wiersz poleceń
– Airflow umożliwia wykonywanie zadań za pośrednictwem interfejsu wiersza poleceń. Pozwoli Ci to ponownie uruchomić pracę od dowolnego punktu podczas procesu ETL

Prosta i nieskomplikowana konfiguracja Airflow
– Baza danych > Harmonogram> Wykonawca> Pracownicy

Skalowalność Airflow
– ma architekturę modułową i wykorzystuje komunikaty do organizowania pracy dla dowolnej liczby pracowników.

Gotowe integracje
– Airflow zapewnia wiele konektorów typu plug-and-play, które umożliwiają wykonywanie zadań w platformach m. in. w Google Cloud Platform, Amazon Web Services, Microsoft Azure.

Język Phyton
– aby przekształcać, dane zarządzać infrastrukturą, a nawet budować modele machine learning, wystarczy znajomość języka Phyton.

Apache Airflow ma sens jeżeli:

Wykonujesz skomplikowane zadania ETL lub ETL na dużej ilości danych.
Osobiście czujesz się dobrze z Pythonem i nie masz ochoty budować od podstaw własnego narzędzia ETL.

Dowiedz się więcej >

Wykres DAG

Podstawowym sposobem definiowania zadań w Airflow są acyklicze grafy skierowane (DAG), czyli określenie relacji między operatorami (sekwencji lub równoległości zadań), porządek i zależności. Oznacza to, że podczas tworzenia przepływu pracy należy zastanowić się, jak podzielić go na zadania, które mogą być wykonywane niezależnie od siebie. Następnie możesz połączyć te zadania w logiczną całość, układając je w wykres.

Kształt wykresu decyduje o ogólnej logice przepływu pracy. Airflow DAG może zawierać wiele gałęzi i możesz zdecydować, które z nich mają być przestrzegane, a które pominąć w czasie wykonywania przepływu pracy.

Tworzy to stabilną konstrukcję, ponieważ każde zadanie może być ponawiane wiele razy, jeśli wystąpi błąd. Airflow można nawet całkowicie zatrzymać, a uruchomione przepływy pracy zostaną wznowione po ponownym uruchomieniu ostatniego niezakończonego zadania.