Data/Data Engineering & Analystics42 [Airflow] 6-2. SubDagOperator -> TaskGroup 변환하기 (ImportError : SubDagOperator ) velog 마이그레이션 원글: [Airflow] 6-1. SubDagOperator -> TaskGroup 변환하기 (ImportError : SubDagOperator ) (2022년 9월 11일) Task를 그룹화하기 위해 SubDagOperator를 사용하면 아래와 같은 오류가 발생한다. Broken DAG: [/opt/airflow/dags/group_dag.py] Traceback (most recent call last): File "", line 219, in _call_with_frames_removed File "/opt/airflow/dags/group_dag.py", line 3, in from airflow.operators.bash import SubDagOperator Impor.. 2024. 3. 6. [Airflow] 6-1. TaskGroup으로 Task 그룹화하기 velog 마이그레이션 원글 : [Airflow] 6. TaskGroup으로 Task 그룹화하기(2022년 9월 11일) group_dag.py from airflow import DAG from airflow.operators.bash import BashOperator from datetime import datetime with DAG('group_dag', start_date=datetime(2022, 9, 1), schedule_interval='@daily', catchup=False) as dag: sleep_a = BashOperator( task_id='sleep_a', bash_command='sleep 10' ) sleep_b = BashOperator( task_id='sleep_b.. 2024. 3. 6. [Airflow] 5-3. 데이터 파이프라인 구성하기 : Executor velog 마이그레이션 원글 : [Airflow] 5-3. 데이터 파이프라인 구성하기 : Executor (2022년 9월 11일) Executor 란? @ airflow.cfg executor = SequentialExecutor @ docker-compose.yaml environment: AIRFLOW_CORE_EXECUTOR: CeleryExecutor => AIRFLOW_DORE_EXECUTOR 값이 executor 값을 오버라이드한다 SequentialExecutor Airflow의 기본 Executor 1번에 1 task 실행. 동시에 여러개 실행 불가 t1 - t2 - t4 인 경우 ㅤ \ t3 / t1 > t2 > t3 > t4 순서로 실행된다 LocalExecutor task 병렬 실행.. 2024. 3. 6. [Airflow] 3. Airflow 설치하기 (docker) velog 마이그레이션 원글 : [Airflow] 2. Airflow 설치하기 (docker) 0. 인스턴스 정보 OS : Ubuntu-Jammy-22.04-amd64-server 인스턴스 유형 : t2.xlarge 1. Docker 설치 Docker 설치하기 docker compose 설치 2. Airflow 컨테이너 2-1. Docker compose file 다운로드 Airflow Tutorial에 docker-compose.yaml 파일이 있는데 인터넷이 연결되어있다면 curl로 다운로드 받을 수 있다. 아니라면 파일을 생성해서 복붙한다. Airflow Tutorial - docker pwd # /home/ubuntu mkdir -p Documets/materials cd Documets/mate.. 2024. 3. 5. [Airflow] 2. Airflow 구성 자세히 살펴보기 velog 마이그레이션 원글 : [Airflow] 2. Airflow 구성 자세히 살펴보기(2022년 9월 11일) airflow 최초 설치 시 metadatabase 초기화 명령어? airflow initdb 스케줄러란? The scheduler component is responsible for creatging DagRuns DagRuns? Dag 생성 담당 그래프뷰 DAG종속성 확인하기 가장 좋은 뷰 Landing Times View 여러 DAG 실행에서 작업을 완료하는 데 걸리는 시간을 모니터링하는 가장 좋은 방법은 무엇입니까? 간트 뷰 Dag 병목 현상 감지하는제 가자 유용 코드 뷰 수정 사항이 DAG에 적용되었는지 여부를 확인하는 데 사용할 수 있는 보기는 무엇입니까? Executor 란? .. 2024. 3. 5. 이전 1 2 3 4 5 6 7 8 9 다음
