Apache Airflow

Apache Airflow

기류는 프로그래밍 방식으로 데이터 파이프 라인을 작성, 예약 및 모니터링 할 수있는 플랫폼입니다.
기류는 프로그래밍 방식으로 데이터 파이프 라인을 작성, 예약 및 모니터링하기위한 플랫폼입니다.에어 플로우를 사용하여 워크 플로우를 지시 된 비순환 그래프 (DAG)로 작성합니다.Airflow 스케줄러는 지정된 종속성을 따르는 동안 일련의 작업자에 대해 작업을 실행합니다.풍부한 명령 줄 유틸리티로 DAG에 대한 복잡한 수술을 신속하게 수행 할 수 있습니다.풍부한 사용자 인터페이스를 통해 프로덕션 환경에서 실행중인 파이프 라인을 쉽게 시각화하고, 진행 상황을 모니터링하고 필요할 때 문제를 해결할 수 있습니다 .... 동적 : 파이프 라인은 코드 (Python)로 구성되어 동적 파이프 라인을 생성 할 수 있습니다.이를 통해 파이프 라인을 동적으로 인스턴스화하는 코드를 작성할 수 있습니다.확장 성 : 사용자 환경에 적합한 추상화 수준에 맞게 자신의 연산자, 실행 프로그램을 쉽게 정의하고 라이브러리를 확장하십시오.우아함 : 공기 흐름 파이프 라인이 간결하고 명시 적입니다.스크립트 매개 변수화는 강력한 Jinja 템플릿 엔진을 사용하여 Airflow의 핵심에 내장되어 있습니다.확장 성 : 기류는 모듈 식 아키텍처를 가지며 메시지 대기열을 사용하여 임의의 수의 작업자를 조정합니다.기류는 무한대로 확장 할 준비가되었습니다.
apache-airflow

상용 라이센스가있는 Clever Cloud 용 Apache Airflow 대체