Data58 데이터 스트리밍에서 "재생 가능성(Replayability)" 재생 가능성(Replayability) 재생 가능성(Replayability)의 개념 재생 가능성이란?이미 처리된 데이터를 다시 처리하거나 재수집할 수 있는 능력을 의미한다.데이터 처리 과정에서 오류가 발생하거나 변경 사항이 생겼을 때, 데이터를 올바르게 다시 처리할 수 있도록 보장한다. 재생 가능성이 중요한 이유- 오류 처리: 데이터 손실이나 오류 발생 시 재처리가 가능하다.- 데이터 일관성 유지: 데이터를 동기화하고 정확성을 유지한다.- 변경 사항 적용: 데이터 유형 또는 스키마 변경 시 쉽게 적응할 수 있다.- 개발 및 테스트 지원: 실제 데이터를 활용하여 새로운 기능을 테스트하거나 버그를 수정할 수 있다. 기술적 구현 방법- 멱등 연산(Idempotent Operations): 동일한 작업이 여.. 2025. 2. 4. 읽은/읽을 논문 목록 1. 리뷰한 논문 목록날짜논문 제목분야정리 글 2025.01.02Deep Neural Networks for YouTube Recommendations추천 2025.01.09Efficient Estimation of Word Representations in Vector SpaceLLM, NLP 2. 읽을 논문 목록Deep Learning based Recommender SystemDeep Learning Recommendation Model for Personalization and Recommendation Systems:Wide & Deep Learning for Recommender Systems 1. LLM (대규모 언어 모델) 관련 주요 논문Attention Is All Yo.. 2025. 1. 2. [데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 2. 데이터 전처리 이전 글[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 0. 분석 계기[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 1. 데이터 수집ASN_Safety_Database.csvcrawler_asn_data.py 로 수집한 항공 사고 요약 데이터이다.데이터는 사고 날짜(acc. date), 기종(type), 항공편명(reg.), 항공사(operator), 사망자 수(fat), 사고 위치(location), 데미지(dmg) 컬럼이 있다. 우선 필드명에 기호 '.'와 공백이 들어가므로 변경하면 좋을거같다.그리고 type은 제조사 + 기종인거같은데 이거도 분리하면 분석에 더 용아할 것이다.location 필드에 '횜stan책' 이런 이상한 값이 있는데, 국가 기호 때문인 것 같다. 이거.. 2024. 12. 30. [데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 1. 데이터 수집 이전 글[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 0. 분석 계기 다음 글[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 2. 데이터 전처리 1. 크롤러 Aviation Safty Network 에서 데이터를 크롤링하는 프로그램을 만들었다. Github 링크우선 주기능만 되도록 구현했다. README, 주석, 로깅, 예외처리는 제대로 안됐지만 기능은 잘 수행한다. 구성 파일은 crawler_asn_data.py와 crawler_asn_data_detail.py 가 있다. 1) crawler_asn_data.py (1) 설명 crawler_asn_data.py : 간략한 사고 리스트 데이터베이스를 크롤링하는 코드이다. 아래 사진은 크롤링할 페이지 캡쳐 화면이다.데이터는 사고 .. 2024. 12. 30. [데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 0. 분석 계기 다음 글[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 1. 데이터 수집[데이터 분석] 정말 비행기가 가장 안전한 교통 수단일까? 2. 데이터 전처리 0. 분석 계기비행기 탈 때마다 비행기가 추락하면 어떡하지? 하는 걱정을 잠시나마 하곤한다.불과 2주 전에 비행기타고 제주도 여행을 갔다오면서도 같은 걱정이 들었지만, 설마 일어나겠어 하며 걱정을 지웠다.그런데 어제 가슴 아픈 사고가 일어났다.무안 제주 항공 사고 사망자 분들의 명복을 빕니다... 비행기가 가장 안전한 교통수단인지 데이터 분석을 해보려고한다.보잉 같은 항공기 제조사에서 매년 보고서를 내지만, 자사 비행기에 대한 보고서인지, 아닌지 확인이 안되어서 직접 해보려고한다. (자세히 안읽었다) 우선 데이터가 필요하다.Aviation .. 2024. 12. 30. 이전 1 2 3 4 ··· 12 다음
