본문 바로가기

airflow9

[Airflow] 8. Airflow plugin 생성하기 velog 마이그레이션 원글 : [Airflow] 8. Airflow plugin 생성하기(2022년 9월 11일) airflow 2.0에서는 plugin system에 operator 를 추가해야한다. 존재하는 operator를 확장, 수정해서 Airflow 장점이 operator, views, hooks 등 모든 것을 커스텀할 수 있다는 점이다. 생성 방법 AirflowPlugin 클래스를상속하는 View, Operator,hook... 클래스를 생성한다 plugin 이름 등 속성을 설정한다 생성 후 Lazy Loaded 이기때문에 airflow 인스턴스를 재시작해야한다. web애서 elastic connection 생성 plugins/hooks/elastic/elastic_hook.py 생성 fro.. 2024. 3. 6.
[Airflow] 2. Airflow 구성 자세히 살펴보기 velog 마이그레이션 원글 : [Airflow] 2. Airflow 구성 자세히 살펴보기(2022년 9월 11일) airflow 최초 설치 시 metadatabase 초기화 명령어? airflow initdb 스케줄러란? The scheduler component is responsible for creatging DagRuns DagRuns? Dag 생성 담당 그래프뷰 DAG종속성 확인하기 가장 좋은 뷰 Landing Times View 여러 DAG 실행에서 작업을 완료하는 데 걸리는 시간을 모니터링하는 가장 좋은 방법은 무엇입니까? 간트 뷰 Dag 병목 현상 감지하는제 가자 유용 코드 뷰 수정 사항이 DAG에 적용되었는지 여부를 확인하는 데 사용할 수 있는 보기는 무엇입니까? Executor 란? .. 2024. 3. 5.
[Airflow] 1. Apache Airflow란? velog 마이그레이션 원글 : [Airflow] 1. Apache Airflow란?(2022년 9월 11일) ✏️ Airflow란? Airlfow는 Workflow 관리 도구이다. (Airflow는 데이터 스트리밍 솔루션도 아니고, data processing framework도 아니다.) Airbnb에서 개발했고, 2016년에 Apache 프로젝트가 되었다. 🤷 그럼 Workflow는 뭔데? Workflow란 말 그래도 작업 흐름이다. 데이터 ETL을 예시로 들어보면, Extract, Transform, Load 작업이 순서대로 실행된다. 이렇게 순서가 있는 작업 과정을 workflow라고 한다. Airflow로 workflow를 Python 코드로 작성하고, UI로 스케줄링, 모니터링 할 수있다. .. 2024. 3. 5.
[프로젝트] Lightening Data Masters 1기 - Wing Price 프로젝트 개요 프로젝트명 : Wing Price 주제 : 항공권 가격 비교 서비스 목표 : 배치 데이터 파이프라인 구축 프로젝트 기간 : 2023.03.03 ~ 2023.06.05 장소 : 스터디위드 사당점 기술 스택 / 툴 : Airflow, Hive, Hadoop, Spark, MySQL, Flask, Python, Github, Notion 후기 생각지도 못한 곳에서 시간을 잡아먹어서 시간이 부족했다. 이건 모든 프로젝트에 적용되겠지만. Linux : 늘 root로만 로그인해서 작업해서 막힐 것이 없었는데 root가 아닌 사용자로 작업하면서 사용자 권한에 관해 다시 공부했다. 최종 결과물이 출발 날짜, 도착 날짜, 공항 코드 세가지만 입력받는데 최초 계획은 다른 항공권 비교 사이트처럼 편도/왕복 여.. 2024. 3. 3.
728x90
반응형

티스토리툴바