본문 바로가기

airflow9

[Airflow] Airflow를 데몬(서비스)로 실행 설정 (Ubuntu) 0. 실행 환경 OS : Ubuntu 22.04.2 LTS Airflow version : 2.5.0 1. 설정하기 Airflow How-to Guides 에보면 /usr/lib/systemd/system 에있는 파일 복사해다 쓰고, AIRFLOW_HOME과 AIRFLOW_CONFIG 를 수정하면 된다고 나와있다. 근데 Redhat 기반 시스템 기준이고 그렇지 않은 경우에는 적절한 변경이 필요하다고한다. 1) 서비스 생성 아래처럼 /etc/sysconfig/system에 .service 파일을 만든다. (/lib/systemd/system 에 있는 파일 복사해서 수정해도된다.) # airflow-scheduler 서비스 생성 sudo touch /etc/systemd/system/airflow-sched.. 2023. 4. 23.
[Airflow] Airflow 설치하기(pip) 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Airflow : 2.5.0 1. 설치하기 # python3.6이상, anaconda3 경로에 pip 인지 확인 pip --version # 설치 pip install apache-airflow # home에 airflow 가 생성되었다 cd /home/ec2-user/airflow # db초기화 airflow db init # webserver 8080포트로 실행 airflow webserver -p 8080 # 새 세션에서 실행. ssh 포트포워딩 ssh -i "" -L 8080:localhost:8080 ec2-user@ # admin 계정 생성 airflow users create --role A.. 2023. 1. 8.
[ERROR] (Not Solved) Airflow HttpSensor 400 Client Error: Bad Request for url 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Airflow : 2.5.0 1. Code with DAG( is_api_available = HttpSensor( task_id = 'is_api_available', http_conn_id = 'spotify_api', # method="GET", headers = { # 'Accept': 'application/json', # 'Content-Type': 'application/json', 'Authorization': 'Bearer ', }, request_params = { 'q': 'BTS', 'type': 'artist', 'limit': '1', }, method="GET", endpoin.. 2023. 1. 8.
[ERROR] ImportError: cannot import name 'AWSAthenaOperator' ImportError: cannot import name 'AWSAthenaOperator' from 'airflow.providers.amazon.aws.operators.athena' (/home/airflow/.local/lib/python3.7/site-packages/airflow/providers/amazon/aws/operators/athena.py) 패키지를 찾을 수 없다는 오류이다. pip로 패키지를 설치하면 되지만 docker로 airflow를 실행하기 때문에 그냥 설치하면 안된다. pip install apache-airflow-providers-amazon Apache Airflow Docs https://airflow.apache.org/docs/apache-airflow-prov.. 2022. 11. 20.

티스토리툴바