Data60 [Quantly] Ollama 로 개인형 LLM 서버 구성하기 0. 사용 환경AWS EC2 t3.largeOS : Amazon Linux 2023 1. 설치1) docker 설치// 패키지 업데이트 확인 후 새로운 파일로 수정sudo yum updatesudo yum upgrade// Docker 설치sudo yum install docker -y// Docker 서비스 시작sudo service docker start// Docker 서비스 실행 확인systemctl status docker.service// 인스턴스 실행시 실행sudo systemctl enable docker.service//Docker 그룹 권한 설정sudo usermod -a -G docker ec2-user// 실행 확인docker ps//permission denied while tr.. 2025. 5. 27. 비트코인 최대 하락률과 최대 상승률 분석하기 비트코인의 24시간 최대 하락률과 최대 상승률을 분석해보았다.그렇다.. 물렸다.. 🗂 데이터데이터는 kaggle에서 바이낸스 BTC-USD 15분봉 데이터를 활용하였다.Open time, Open, High, Low, Close 등의 열이 있다.5월 24일에 다운받았는데 전날인 5월 23일 00시 데이터까지 들어있다. 1일봉 데이터를 사용하면 00시 기준으로 데이터가 나뉜다.내가 알고싶은 것은 일 단위가 아닌 24시간단위이기 때문에 15분봉 데이터를 활용하였다. 2018년 1월 1일부터 2025년 5월 23일 00시 까지 데이터가있다.2,698일치 데이터이므로 259,008개의 데이터가 있어야하는데 (=2,698*24시*4(15분봉))길이가 258,573 으로, 435개가 빠졌다. 🔎 분석하기분석 .. 2025. 5. 24. 데이터 스트리밍에서 "재생 가능성(Replayability)" 재생 가능성(Replayability) 재생 가능성(Replayability)의 개념 재생 가능성이란?이미 처리된 데이터를 다시 처리하거나 재수집할 수 있는 능력을 의미한다.데이터 처리 과정에서 오류가 발생하거나 변경 사항이 생겼을 때, 데이터를 올바르게 다시 처리할 수 있도록 보장한다. 재생 가능성이 중요한 이유- 오류 처리: 데이터 손실이나 오류 발생 시 재처리가 가능하다.- 데이터 일관성 유지: 데이터를 동기화하고 정확성을 유지한다.- 변경 사항 적용: 데이터 유형 또는 스키마 변경 시 쉽게 적응할 수 있다.- 개발 및 테스트 지원: 실제 데이터를 활용하여 새로운 기능을 테스트하거나 버그를 수정할 수 있다. 기술적 구현 방법- 멱등 연산(Idempotent Operations): 동일한 작업이 여.. 2025. 2. 4. 읽은/읽을 논문 목록 1. 리뷰한 논문 목록날짜논문 제목분야정리 글 2025.01.02Deep Neural Networks for YouTube Recommendations추천 2025.01.09Efficient Estimation of Word Representations in Vector SpaceLLM, NLP 2. 읽을 논문 목록Deep Learning based Recommender SystemDeep Learning Recommendation Model for Personalization and Recommendation Systems:Wide & Deep Learning for Recommender Systems 1. LLM (대규모 언어 모델) 관련 주요 논문Attention Is All Yo.. 2025. 1. 2. [데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 2. 데이터 전처리 이전 글[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 0. 분석 계기[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 1. 데이터 수집ASN_Safety_Database.csvcrawler_asn_data.py 로 수집한 항공 사고 요약 데이터이다.데이터는 사고 날짜(acc. date), 기종(type), 항공편명(reg.), 항공사(operator), 사망자 수(fat), 사고 위치(location), 데미지(dmg) 컬럼이 있다. 우선 필드명에 기호 '.'와 공백이 들어가므로 변경하면 좋을거같다.그리고 type은 제조사 + 기종인거같은데 이거도 분리하면 분석에 더 용아할 것이다.location 필드에 '횜stan책' 이런 이상한 값이 있는데, 국가 기호 때문인 것 같다. 이거.. 2024. 12. 30. 이전 1 2 3 4 ··· 12 다음
