반응형
0. 실행 환경
AWS EC2 t2.xlarge
OS : Red Hat 9.1
Python : 3.9
Airflow : 2.5.0
1. 설치하기
# python3.6이상, anaconda3 경로에 pip 인지 확인
pip --version
# 설치
pip install apache-airflow
# home에 airflow 가 생성되었다
cd /home/ec2-user/airflow
# db초기화
airflow db init
# webserver 8080포트로 실행
airflow webserver -p 8080
# 새 세션에서 실행. ssh 포트포워딩
ssh -i "<my_key.pem>" -L 8080:localhost:8080 ec2-user@<my.instance.ip>
# admin 계정 생성
airflow users create --role Admin --username <USERNAME> \
--password <PASSWORD> --firstname <FIRSTNAME> \
--lastname <LASTNAME> --email <MYEMAIL>
flask 로 web서버 구성
local이 아니라 aws에 설치한거라 ssh 포트포워딩이 필요하다
참고 자료
728x90
반응형
'Data > Data Engineering' 카테고리의 다른 글
[Snowflake] Data Applications 뱃지 획득 (0) | 2023.04.13 |
---|---|
[Snowflake] Badge 1 획득 (0) | 2023.01.08 |
[Spark] Spark Streaming (1) | 2022.12.18 |
[Spark] SQL 연습하기 (1) | 2022.12.18 |
[MongoDB] DB, Data 기본 CRUD 명령어 정리 (0) | 2022.11.26 |