반응형
velog 마이그레이션
원글 : [Airflow] Airflow 설치하기(pip)(2022년 12월 30일)
0. 실행 환경
AWS EC2 t2.xlarge
OS : Red Hat 9.1
Python : 3.9
Airflow : 2.5.0
1. 설치하기
# python3.6이상, anaconda3 경로에 pip 인지 확인
pip --version
# 설치
pip install apache-airflow
# home에 airflow 가 생성되었다
cd /home/ec2-user/airflow
# db초기화
airflow db init
# webserver 8080포트로 실행
airflow webserver -p 8080
# 새 세션에서 실행. ssh 포트포워딩
ssh -i "<my_key.pem>" -L 8080:localhost:8080 ec2-user@<my.instance.ip>
# admin 계정 생성
airflow users create --role Admin --username <USERNAME> \
--password <PASSWORD> --firstname <FIRSTNAME> \
--lastname <LASTNAME> --email <MYEMAIL>
flask 로 web서버 구성
local이 아니라 aws에 설치한거라 ssh 포트포워딩이 필요하다
참고 자료
728x90
반응형
'Data > Data Engineering' 카테고리의 다른 글
[Snowflake] S3 Load Data (0) | 2024.03.06 |
---|---|
[Kafka] Kafka-python 설치 (0) | 2024.03.06 |
[Airflow] 8. Airflow plugin 생성하기 (0) | 2024.03.06 |
[Airflow] 6-2. SubDagOperator -> TaskGroup 변환하기 (ImportError : SubDagOperator ) (0) | 2024.03.06 |
[Airflow] 6-1. TaskGroup으로 Task 그룹화하기 (0) | 2024.03.06 |