Luigi의 목적은 일반적으로 장기 실행 배치 프로세스와 관련된 모든 배관을 해결하는 것입니다.많은 작업을 연결하고 자동화하면 실패가 발생합니다.이러한 작업은 무엇이든 가능하지만 일반적으로 Hadoop 작업, 데이터베이스에서 데이터를 덤프하거나 머신 러닝 알고리즘을 실행하는 등의 장기 실행 작업입니다.Hive, Pig 또는 Cascading과 같은 데이터 처리의 하위 수준에 중점을 둔 다른 소프트웨어 패키지가 있습니다.Luigi는이를 대체 할 프레임 워크가 아닙니다.대신 각 작업이 Hive 쿼리, Java의 Hadoop 작업, Scala 또는 Spark의 Spark 작업, Python 스 니펫, 데이터베이스에서 테이블을 덤프하는 등 다양한 작업을 함께 연결하는 데 도움이됩니다.수천 개의 작업으로 구성되고 완료하는 데 며칠 또는 몇 주가 걸리는 장기 실행 파이프 라인을 쉽게 구축 할 수 있습니다.Luigi는 작업 자체와 그 종속성에 집중할 수 있도록 많은 워크 플로 관리를 처리합니다. 원하는 거의 모든 작업을 빌드 할 수 있지만 Luigi에는 몇 가지 일반적인 작업 템플릿이 포함 된 도구 상자가 있습니다.사용하다.Hdoop 및 Pig 작업뿐만 아니라 Hadoop에서 Python mapreduce 작업 실행을 지원합니다.또한 HDFS에 대한 파일 시스템 추상화와 모든 파일 시스템 작업이 원 자성을 보장하는 로컬 파일과 함께 제공됩니다.이는 데이터 파이프 라인이 부분 데이터를 포함하는 상태에서 충돌하지 않기 때문에 중요합니다.