본문 바로가기

apache11

[Airflow] 2. Airflow 구성 자세히 살펴보기 velog 마이그레이션 원글 : [Airflow] 2. Airflow 구성 자세히 살펴보기(2022년 9월 11일) airflow 최초 설치 시 metadatabase 초기화 명령어? airflow initdb 스케줄러란? The scheduler component is responsible for creatging DagRuns DagRuns? Dag 생성 담당 그래프뷰 DAG종속성 확인하기 가장 좋은 뷰 Landing Times View 여러 DAG 실행에서 작업을 완료하는 데 걸리는 시간을 모니터링하는 가장 좋은 방법은 무엇입니까? 간트 뷰 Dag 병목 현상 감지하는제 가자 유용 코드 뷰 수정 사항이 DAG에 적용되었는지 여부를 확인하는 데 사용할 수 있는 보기는 무엇입니까? Executor 란? .. 2024. 3. 5.
[Airflow] 1. Apache Airflow란? velog 마이그레이션 원글 : [Airflow] 1. Apache Airflow란?(2022년 9월 11일) ✏️ Airflow란? Airlfow는 Workflow 관리 도구이다. (Airflow는 데이터 스트리밍 솔루션도 아니고, data processing framework도 아니다.) Airbnb에서 개발했고, 2016년에 Apache 프로젝트가 되었다. 🤷 그럼 Workflow는 뭔데? Workflow란 말 그래도 작업 흐름이다. 데이터 ETL을 예시로 들어보면, Extract, Transform, Load 작업이 순서대로 실행된다. 이렇게 순서가 있는 작업 과정을 workflow라고 한다. Airflow로 workflow를 Python 코드로 작성하고, UI로 스케줄링, 모니터링 할 수있다. .. 2024. 3. 5.
[Airflow] Airflow 설치하기(pip) 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Airflow : 2.5.0 1. 설치하기 # python3.6이상, anaconda3 경로에 pip 인지 확인 pip --version # 설치 pip install apache-airflow # home에 airflow 가 생성되었다 cd /home/ec2-user/airflow # db초기화 airflow db init # webserver 8080포트로 실행 airflow webserver -p 8080 # 새 세션에서 실행. ssh 포트포워딩 ssh -i "" -L 8080:localhost:8080 ec2-user@ # admin 계정 생성 airflow users create --role A.. 2023. 1. 8.
[ERROR] (Not Solved) Airflow HttpSensor 400 Client Error: Bad Request for url 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Airflow : 2.5.0 1. Code with DAG( is_api_available = HttpSensor( task_id = 'is_api_available', http_conn_id = 'spotify_api', # method="GET", headers = { # 'Accept': 'application/json', # 'Content-Type': 'application/json', 'Authorization': 'Bearer ', }, request_params = { 'q': 'BTS', 'type': 'artist', 'limit': '1', }, method="GET", endpoin.. 2023. 1. 8.
728x90
반응형

티스토리툴바