본문 바로가기

Data/Data Engineering & Analystics42

[Airflow] Airflow 설치하기(pip) 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Airflow : 2.5.0 1. 설치하기 # python3.6이상, anaconda3 경로에 pip 인지 확인 pip --version # 설치 pip install apache-airflow # home에 airflow 가 생성되었다 cd /home/ec2-user/airflow # db초기화 airflow db init # webserver 8080포트로 실행 airflow webserver -p 8080 # 새 세션에서 실행. ssh 포트포워딩 ssh -i "" -L 8080:localhost:8080 ec2-user@ # admin 계정 생성 airflow users create --role A.. 2023. 1. 8.
[Spark] Spark Streaming velog에서 보기 Spark Docs에 나오는 Spark Streaming 예제 localhost:9999에서 입력받은 글자 단어 세기 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Spark : 3.3.1 Scala : 2.12.15 Java : OpenJDK 64-Bit Server VM, 1.8.0_352 1. Streaming Test 1-1. streaming.py 생성 vi streaming.py from pyspark.sql import SparkSession from pyspark.sql.functions import * # Create SparkSession spark = SparkSession \ .builder \ .appNam.. 2022. 12. 18.
[Spark] SQL 연습하기 velog에서 보기 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Spark : 3.3.1 Scala : 2.12.15 Java : OpenJDK 64-Bit Server VM, 1.8.0_352 1. SQL 연습 # create data list stockSchema = ["name", "ticker", "country", "price", "currency"] stocks = [ ('Google', 'GOOGL', 'USA', 2984, 'USD'), ('Netflix', 'NFLX', 'USA', 645, 'USD'), ('Amazon', 'AMZN', 'USA', 3518, 'USD'), ('Tesla', 'TSLA', 'USA', 1222, .. 2022. 12. 18.
[MongoDB] DB, Data 기본 CRUD 명령어 정리 mongosh use admin show dbs > 인증오류 DB 생성 mongosh admin -u "USERNAME" -p "PW" show dbs use test_db show dbs > test_db가 안보인다 데이터 추가 db.collection.insert() db.collection.insertOne({}) db.collection.insertMany([{},{}.....]) db.collection.insert({}) db > DB 이름 출력 show dbs 데이터 입력(Update) db.user.insert({}) 데이터 읽기 db.collection.find() DB 삭제(Delete) db.dropDatabase() 2022. 11. 26.
[MongoDB] root(admin) 계정 생성하기 0. 실행 환경AWS t2.xlargeOS : Redhat 8.6MongoDB Version : 6.0.31. 계정 생성# mongodb 실행mongosh# root권한가진 계정생성db.createUser({user:"USERNAME", pwd:"PW", roles:["root"]})#로그인mongosh admin -u USERNAME -p PW 2022. 11. 26.

티스토리툴바