[프로젝트] Lightening Data Masters 1기 - Wing Price

프로젝트 개요

• 프로젝트명 : Wing Price
• 주제 : 항공권 가격 비교 서비스
• 목표 : 배치 데이터 파이프라인 구축
• 프로젝트 기간 : 2023.03.03 ~ 2023.06.05
• 장소 : 스터디위드 사당점
• 기술 스택 / 툴 : Airflow, Hive, Hadoop, Spark, MySQL, Flask, Python, Github, Notion

 

후기

생각지도 못한 곳에서 시간을 잡아먹어서 시간이 부족했다. 이건 모든 프로젝트에 적용되겠지만.

Linux : 늘 root로만 로그인해서 작업해서 막힐 것이 없었는데 root가 아닌 사용자로 작업하면서 사용자 권한에 관해 다시 공부했다. 

최종 결과물이 출발 날짜, 도착 날짜, 공항 코드 세가지만 입력받는데 최초 계획은 다른 항공권 비교 사이트처럼 편도/왕복 여부, 경유 여부 등도 입력받으려고했는데 시간이 없어서 하나씩 줄어들었다.

airflow는 컨테이너를 이용하자. 마지막까지 airflow 서비스 실행이 애를 먹였지만 그래도 결과물이 잘 나온가같다. 프로젝트 기록은 미루지 말고 바로바로 하자!

 

 

결과 영상은 여기에

https://almighty-denver.tistory.com/entry/%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EC%99%84%EC%84%B1