[Quantly] 작업 내역

6/28

- Web 로그인 페이지 완성

 

6/29

- S&P500, NASDAQ 비중 순위 데이터 크롤링 스크립트 완성

- NASDAQ 회사의 symbol-sector 표 크롤링 스크립트 완성

- 주식 지수 업데이트 스크립트 완성(yfinance)

 

7/1

- Airflow 실행 (Docker)

 

우선 서버에서 실행하도록 구현 후에 AWS 서비스로 전환 예정

(서버에서 Airflow로 크롤링 스크립트 실행 -> MWAA / lambda로 전환)

 

 

To Do

• 데이터
  • 자산(주식, 코인, 금속) 정보 데이터 가져오는 스크립트 만들기
  • DB 뭐로 쓸지 정하기 (우선 CSV로 저장) Postgres???
• 웹 /대시보드
  • 대시보드 페이지 만들기
  • 지수 heatmap 만들기
  • NASDAQ, S&P 순위 변화 대시보드 만들기
  • 시각화 무슨 툴로할지?
    

    Spring + REST API + Chart.js	데이터 직접 가져와 시각화. 가장 유연하고 통합 UI
    Spring + iframe + Superset/Streamlit	독립 시각화 도구를 빠르게 붙이고 싶을 때
    Spring + Nginx reverse proxy + Dash/Superset	URL 일관성, 보안 제어 원하는 경우

 

온프레미스 (EC2) 구성도

┌───────────────────────────────────────────────┐
│                  EC2 (리눅스)                 │
│                                               │
│  ┌──────────────┐    ┌────────────┐           │
│  │  Airflow     │───▶│ PostgreSQL │◀──┐       │
│  │  (크론 + DAG)│    └────────────┘   │       │
│  └──────────────┘                     │       │
│                                       ▼       │
│  ┌──────────────┐    ┌─────────────────────┐  │
│  │  크롤링 코드 │───▶│   크롤링된 데이터 저장 │ │
│  └──────────────┘    └─────────────────────┘  │
│                                               │
│  ┌──────────────────────────────┐             │
│  │ 시각화 도구 (Streamlit/Dash │◄──────────┐ │
│  │        or Superset)         │           │ │
│  └──────────────────────────────┘           │ │
│                                             ▼ │
│        ┌──────────────────────────────┐     │ │
│        │  Spring Web (iframe or API) │◄────┘ │
│        └──────────────────────────────┘       │
└───────────────────────────────────────────────┘

 

AWS/SaaS 구성도

┌───────────────────────────────┐
│         AWS Cloud            │
│                               │
│ ┌──────────────┐             │
│ │   MWAA       │             │
│ │ (Airflow)    │             │
│ └────┬─────────┘             │
│      │                       │
│      ▼                       │
│ ┌───────────────┐            │
│ │  S3 / RDS     │◀─────┐     │
│ └───────────────┘      │     │
│                        ▼     │
│              ┌─────────────────────┐
│              │ QuickSight /       │
│              │ Tableau Cloud /    │
│              │ Power BI Service   │
│              └─────────────────────┘
└──────────────┬──────────────────────────────┘
               │
               ▼
     ┌──────────────────────────────┐
     │     Spring Web (EC2 or ECS) │
     │     └ iframe or REST 연동   │
     └──────────────────────────────┘