에어플로우5 [Airflow] 8. Airflow plugin 생성하기 velog 마이그레이션 원글 : [Airflow] 8. Airflow plugin 생성하기(2022년 9월 11일) airflow 2.0에서는 plugin system에 operator 를 추가해야한다. 존재하는 operator를 확장, 수정해서 Airflow 장점이 operator, views, hooks 등 모든 것을 커스텀할 수 있다는 점이다. 생성 방법 AirflowPlugin 클래스를상속하는 View, Operator,hook... 클래스를 생성한다 plugin 이름 등 속성을 설정한다 생성 후 Lazy Loaded 이기때문에 airflow 인스턴스를 재시작해야한다. web애서 elastic connection 생성 plugins/hooks/elastic/elastic_hook.py 생성 fro.. 2024. 3. 6. [Airflow] 2. Airflow 구성 자세히 살펴보기 velog 마이그레이션 원글 : [Airflow] 2. Airflow 구성 자세히 살펴보기(2022년 9월 11일) airflow 최초 설치 시 metadatabase 초기화 명령어? airflow initdb 스케줄러란? The scheduler component is responsible for creatging DagRuns DagRuns? Dag 생성 담당 그래프뷰 DAG종속성 확인하기 가장 좋은 뷰 Landing Times View 여러 DAG 실행에서 작업을 완료하는 데 걸리는 시간을 모니터링하는 가장 좋은 방법은 무엇입니까? 간트 뷰 Dag 병목 현상 감지하는제 가자 유용 코드 뷰 수정 사항이 DAG에 적용되었는지 여부를 확인하는 데 사용할 수 있는 보기는 무엇입니까? Executor 란? .. 2024. 3. 5. [Airflow] 1. Apache Airflow란? velog 마이그레이션 원글 : [Airflow] 1. Apache Airflow란?(2022년 9월 11일) ✏️ Airflow란? Airlfow는 Workflow 관리 도구이다. (Airflow는 데이터 스트리밍 솔루션도 아니고, data processing framework도 아니다.) Airbnb에서 개발했고, 2016년에 Apache 프로젝트가 되었다. 🤷 그럼 Workflow는 뭔데? Workflow란 말 그래도 작업 흐름이다. 데이터 ETL을 예시로 들어보면, Extract, Transform, Load 작업이 순서대로 실행된다. 이렇게 순서가 있는 작업 과정을 workflow라고 한다. Airflow로 workflow를 Python 코드로 작성하고, UI로 스케줄링, 모니터링 할 수있다. .. 2024. 3. 5. [Airflow] 데몬으로 실행 설정 오류 : The unit airflow-webserver.service has entered the 'failed' state with result 'resources' 0. 실행 환경 OS : Ubuntu 22.04.2 LTS 1. Error 메세지 원인 airflow-scheduler.service > [Service] 에 EnvironmentFile 경로가 잘못 지정되어있거나, AIRFLOW_CONFIG, AIRFLOW_HOME 이 지정되어있지 않아서 발생한다. 해결 방법 Ubuntu(데비안 계열)이라면 /etc/environment, Redhat 계열이라면 /etc/sysconfig/airflow 로 설정되어있고, AIRFLOW_CONFIG, AIRFLOW_HOME 경로 바르게 설정하면 된다. sudo journalctl -xeu airflow-webserver. service A stop job for unit airflow-webserver. service h.. 2023. 4. 23. [Airflow] Airflow를 데몬(서비스)로 실행 설정 (Ubuntu) 0. 실행 환경 OS : Ubuntu 22.04.2 LTS Airflow version : 2.5.0 1. 설정하기 Airflow How-to Guides 에보면 /usr/lib/systemd/system 에있는 파일 복사해다 쓰고, AIRFLOW_HOME과 AIRFLOW_CONFIG 를 수정하면 된다고 나와있다. 근데 Redhat 기반 시스템 기준이고 그렇지 않은 경우에는 적절한 변경이 필요하다고한다. 1) 서비스 생성 아래처럼 /etc/sysconfig/system에 .service 파일을 만든다. (/lib/systemd/system 에 있는 파일 복사해서 수정해도된다.) # airflow-scheduler 서비스 생성 sudo touch /etc/systemd/system/airflow-sched.. 2023. 4. 23. 이전 1 다음
