본문 바로가기

데이터6

비트코인 최대 하락률과 최대 상승률 분석하기 비트코인의 24시간 최대 하락률과 최대 상승률을 분석해보았다.그렇다.. 물렸다.. 🗂 데이터데이터는 kaggle에서 바이낸스 BTC-USD 15분봉 데이터를 활용하였다.Open time, Open, High, Low, Close 등의 열이 있다.5월 24일에 다운받았는데 전날인 5월 23일 00시 데이터까지 들어있다. 1일봉 데이터를 사용하면 00시 기준으로 데이터가 나뉜다.내가 알고싶은 것은 일 단위가 아닌 24시간단위이기 때문에 15분봉 데이터를 활용하였다. 2018년 1월 1일부터 2025년 5월 23일 00시 까지 데이터가있다.2,698일치 데이터이므로 259,008개의 데이터가 있어야하는데 (=2,698*24시*4(15분봉))길이가 258,573 으로, 435개가 빠졌다. 🔎 분석하기분석 .. 2025. 5. 24.
[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 2. 데이터 전처리 이전 글[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까?  0. 분석 계기[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 1. 데이터 수집ASN_Safety_Database.csvcrawler_asn_data.py 로 수집한 항공 사고 요약 데이터이다.데이터는 사고 날짜(acc. date), 기종(type), 항공편명(reg.), 항공사(operator), 사망자 수(fat), 사고 위치(location), 데미지(dmg) 컬럼이 있다.  우선 필드명에 기호 '.'와 공백이 들어가므로 변경하면 좋을거같다.그리고 type은 제조사 + 기종인거같은데 이거도 분리하면 분석에 더 용아할 것이다.location 필드에 '횜stan책' 이런 이상한 값이 있는데, 국가 기호 때문인 것 같다. 이거.. 2024. 12. 30.
[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 0. 분석 계기 다음 글[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 1. 데이터 수집[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 2. 데이터 전처리   0. 분석 계기비행기 탈 때마다 비행기가 추락하면 어떡하지? 하는 걱정을 잠시나마 하곤한다.불과 2주 전에 비행기타고 제주도 여행을 갔다오면서도 같은 걱정이 들었지만, 설마 일어나겠어 하며 걱정을 지웠다.그런데 어제 가슴 아픈 사고가 일어났다.무안 제주 항공 사고 사망자 분들의 명복을 빕니다...  비행기가 가장 안전한 교통수단인지 데이터 분석을 해보려고한다.보잉 같은 항공기 제조사에서 매년 보고서를 내지만, 자사 비행기에 대한 보고서인지, 아닌지 확인이 안되어서 직접 해보려고한다. (자세히 안읽었다) 우선 데이터가 필요하다.Aviation .. 2024. 12. 30.
[Streaming Data 실시간 데이터 파이프라인 아키텍처] 1, 2장 요약 앤드류 살티스 저  '실시간 데이터 파이프라인 아키텍처' 를 요약 정리한 글 입니다. 1장 스트리밍 데이터 소개요약스트리밍 데이터 시스템 : 서버의 실시간 데이터를 클라이언트가 데이터를 필요로 하는 시점에 데이터 가져가서 처리하는 시스템.스트리밍 데이터 시스템 아키텍처 : 수집 - 메세지 큐 - 분석- 인메모리 데이터 저장소 - 데이터 접근정리 (펼치기)더보기1) 실시간 데이터 시스템과 스트리밍 데이터 시스템 차이점실시간 시스템은 지연 정도와 허용 가능한 지연에 따라 하드 리얼타임, 소프트 리얼타임(항공사 예약 시스템, 주식 시세 등), 니어 리얼타임(스마트 홈 등) 로 분류할 수 있음스트리밍 데이터 시스템 : 서버의 실시간 데이터를 클라이언트가 데이터를 필요로 하는 시점에 데이터 가져가서 처리하는 시스.. 2024. 3. 21.
[프로젝트] Lightening Data Masters 1기 - Wing Price 프로젝트 개요 프로젝트명 : Wing Price 주제 : 항공권 가격 비교 서비스 목표 : 배치 데이터 파이프라인 구축 프로젝트 기간 : 2023.03.03 ~ 2023.06.05 장소 : 스터디위드 사당점 기술 스택 / 툴 : Airflow, Hive, Hadoop, Spark, MySQL, Flask, Python, Github, Notion 후기 생각지도 못한 곳에서 시간을 잡아먹어서 시간이 부족했다. 이건 모든 프로젝트에 적용되겠지만. Linux : 늘 root로만 로그인해서 작업해서 막힐 것이 없었는데 root가 아닌 사용자로 작업하면서 사용자 권한에 관해 다시 공부했다. 최종 결과물이 출발 날짜, 도착 날짜, 공항 코드 세가지만 입력받는데 최초 계획은 다른 항공권 비교 사이트처럼 편도/왕복 여.. 2024. 3. 3.