Snowflake6 [2023 빅콘테스트] 클래식 공연 활성화를 위한 효과적 가격 모델 수립 처음 데이터 분석을 배울 때 2018년도에는 문제가 인덱스 개발, 값 예측 정도였는데 문제가 많이 다양해졌다.선택한 주제는 정형데이터 분석 분야 - 어드밴스드 리그 "클래식 공연 활성화를 위한 효과적 가격 모델 수립" 이다.배경 + 분석 목적2022 국민문화예술활동조사 보고서에 따르면, 가구 소득이 높을수록 문화예술행사 관람이 증가하고, 가장 많이 지출하는 분야는 영화였다. 아무래도 접근성이 좋고, 장르도 다양하고, 가격이 저렴안 영화가 1위였고 클래식은 중간정도 위치였다.목적이 "클래식 공연 활성화"이니 접근성이나 관심은 내가 해결할 수 있는 분야가 아니었고,나처럼 크게 관심 없는 사람이 어떻게 하면 클래식 공연을 보러갈까 라고생각해보니 가격으로 진입장벽을 낮추는 것이었다.러시아에있을 때 학생증만 있.. 2024. 5. 1. [Snowflake] Snowflake-python 연결 (Snowflake를 Python으로 사용하는 방법. Snowflake Connector for Python) 실행 . ./venv/bin/activate pip install snowflake-connector-python pip install "snowflake-connector-python[pandas]" Snowflake Connector for Python // models.py import os import snowflake.connector AWS_ACCESS_KEY_ID = os.getenv('') AWS_SECRET_ACCESS_KEY = os.getenv('') conn = snowflake.connector.connect( user='', password='', account='' ) cs = conn.cursor() def getTestDataAll() : query = "" data = c.. 2024. 3. 6. [Snowflake] S3 Load Data Snowflake 연동 Load Data -- create date format create or replace file format lightening_csv type = csv field_delimiter = ',' skip_header = 0 null_if = ('NULL', 'null') empty_field_as_null = true; -- WEB UI로 -- CREATE STAGE my_s3_stage -- STORAGE_INTEGRATION = s3_int -- URL = 's3://iron-heritage/' -- FILE_FORMAT = lightening_csv; -- create table CREATE TABLE test_table USING TEMPLATE ( SELECT ARRAY.. 2024. 3. 6. [프로젝트] Lightening Data Masters 2기 - Iron Heritage Travel 프로젝트 개요 프로젝트명 : Iron Heritage Travel 주제 : 인기 여행 테마 순위 목표 : ETL 데이터 파이프라인 구축 기간 : 2023.10.08 ~ 2023.12.07 장소 : 엘더스터디 영등포점 기술 스택 / 툴 : Kafka, AWS S3, Grafana, Snowflake, Flask, Python, Notion 2024. 3. 3. [Snowflake] Data Applications 뱃지 획득 Badge 2 : Data Application Builders Workshop 과정 수료하고 Data Applications 뱃지 획득했다. Snowflake를 백엔드로 사용하는 애플리케이션을 구축하는 과정인데 rivery 랑 연동해서 api 데이터 가져오고, streamlit이랑 연동해서 프론트로 보여주는 등을 다룬다. 작년 11월에 뱃지1따고 이어서하다가 말아서 두번째 한건데 지난번에 rivery에서 google forms 결과 가져오는데 결과가 한글로 저장되는거 때문에 애먹었는데 그래도 나름 두번째라고 금방 해결했다. 2023. 4. 13. 이전 1 2 다음
