분류 전체보기222 [Quantly] 작업 내역 6/28- Web 로그인 페이지 완성 6/29- S&P500, NASDAQ 비중 순위 데이터 크롤링 스크립트 완성- NASDAQ 회사의 symbol-sector 표 크롤링 스크립트 완성- 주식 지수 업데이트 스크립트 완성(yfinance) 7/1- Airflow 실행 (Docker) 우선 서버에서 실행하도록 구현 후에 AWS 서비스로 전환 예정(서버에서 Airflow로 크롤링 스크립트 실행 -> MWAA / lambda로 전환) To Do데이터자산(주식, 코인, 금속) 정보 데이터 가져오는 스크립트 만들기DB 뭐로 쓸지 정하기 (우선 CSV로 저장) Postgres???웹 /대시보드대시보드 페이지 만들기지수 heatmap 만들기NASDAQ, S&P 순위 변화 대시보드 만들기시각화 무슨 툴로할지?Spri.. 2025. 7. 1. [Quantly] Ollama 로 개인형 LLM 서버 구성하기 0. 사용 환경AWS EC2 t3.largeOS : Amazon Linux 2023 1. 설치1) docker 설치// 패키지 업데이트 확인 후 새로운 파일로 수정sudo yum updatesudo yum upgrade// Docker 설치sudo yum install docker -y// Docker 서비스 시작sudo service docker start// Docker 서비스 실행 확인systemctl status docker.service// 인스턴스 실행시 실행sudo systemctl enable docker.service//Docker 그룹 권한 설정sudo usermod -a -G docker ec2-user// 실행 확인docker ps//permission denied while tr.. 2025. 5. 27. 비트코인 최대 하락률과 최대 상승률 분석하기 비트코인의 24시간 최대 하락률과 최대 상승률을 분석해보았다.그렇다.. 물렸다.. 🗂 데이터데이터는 kaggle에서 바이낸스 BTC-USD 15분봉 데이터를 활용하였다.Open time, Open, High, Low, Close 등의 열이 있다.5월 24일에 다운받았는데 전날인 5월 23일 00시 데이터까지 들어있다. 1일봉 데이터를 사용하면 00시 기준으로 데이터가 나뉜다.내가 알고싶은 것은 일 단위가 아닌 24시간단위이기 때문에 15분봉 데이터를 활용하였다. 2018년 1월 1일부터 2025년 5월 23일 00시 까지 데이터가있다.2,698일치 데이터이므로 259,008개의 데이터가 있어야하는데 (=2,698*24시*4(15분봉))길이가 258,573 으로, 435개가 빠졌다. 🔎 분석하기분석 .. 2025. 5. 24. AWS Certified Data Engineer - Associate (DEA-C01) 취득 AWS Certified Data Engineer - Associate(DEA-C01) 취득했다. pearson vue 통해 시험을 여러번 봤는데 이번에 준비물을 살펴보니 신분증을 2종류 준비해야하더라. 주민등록증은 잃어버렸고, 여권은 만료되었고, 운전면허증은 예전꺼라 영문버전이 없다.운전면혀증만 가져갔는데 다행히 문제되지 않았다. 작년에 Developer를 혼자 준비하려고했는데 오랜만에 강의들으려하니 엉덩이가 들썩들썩하고혼자하다보니 점점 안하게되었다. (+ udemy 강의가 한 주제가 3~15분 짜리 강의로 많게는 20여개로 쪼개져있는데 개인적으로 흐름이 쭉 진행되는게 아니라 계속 끊겨서 집중하기 힘들었다 + 짧게 여러개를 듣다보니 굉장히 많이 들은 기분인데 20분 지났다거나...) 스터디 그룹에 .. 2025. 4. 19. 데이터 스트리밍에서 "재생 가능성(Replayability)" 재생 가능성(Replayability) 재생 가능성(Replayability)의 개념 재생 가능성이란?이미 처리된 데이터를 다시 처리하거나 재수집할 수 있는 능력을 의미한다.데이터 처리 과정에서 오류가 발생하거나 변경 사항이 생겼을 때, 데이터를 올바르게 다시 처리할 수 있도록 보장한다. 재생 가능성이 중요한 이유- 오류 처리: 데이터 손실이나 오류 발생 시 재처리가 가능하다.- 데이터 일관성 유지: 데이터를 동기화하고 정확성을 유지한다.- 변경 사항 적용: 데이터 유형 또는 스키마 변경 시 쉽게 적응할 수 있다.- 개발 및 테스트 지원: 실제 데이터를 활용하여 새로운 기능을 테스트하거나 버그를 수정할 수 있다. 기술적 구현 방법- 멱등 연산(Idempotent Operations): 동일한 작업이 여.. 2025. 2. 4. 이전 1 2 3 4 ··· 45 다음
