본문 바로가기

apache11

[Spark] Spark Streaming velog에서 보기 Spark Docs에 나오는 Spark Streaming 예제 localhost:9999에서 입력받은 글자 단어 세기 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Spark : 3.3.1 Scala : 2.12.15 Java : OpenJDK 64-Bit Server VM, 1.8.0_352 1. Streaming Test 1-1. streaming.py 생성 vi streaming.py from pyspark.sql import SparkSession from pyspark.sql.functions import * # Create SparkSession spark = SparkSession \ .builder \ .appNam.. 2022. 12. 18.
[Spark] SQL 연습하기 velog에서 보기 0. 실행 환경 AWS EC2 t2.xlarge OS : Red Hat 9.1 Python : 3.9 Spark : 3.3.1 Scala : 2.12.15 Java : OpenJDK 64-Bit Server VM, 1.8.0_352 1. SQL 연습 # create data list stockSchema = ["name", "ticker", "country", "price", "currency"] stocks = [ ('Google', 'GOOGL', 'USA', 2984, 'USD'), ('Netflix', 'NFLX', 'USA', 645, 'USD'), ('Amazon', 'AMZN', 'USA', 3518, 'USD'), ('Tesla', 'TSLA', 'USA', 1222, .. 2022. 12. 18.
[Hive] Redhat8에 Hive 설치하기 0. 실행 환경 AWS EC2 t2.xlarge OS : Redhat 8.6 Hive Version : 3.1.3 1. 설치하기 1) Hive 다운로드 # /home/ec2-user/project/sw에서 실행 # 다운로드 wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz # 압축 풀기 tar xvf apache-hive-3.1.3-bin.tar.gz # 디렉토리명 변경 mv apache-hive-3.1.3-bin/ hive 2) 환경변수 설정 2-1) .bashrc 수정 vi ~/.bashrc 아래 내용 추가 export HIVE_HOME=/home/ec2-user/project/sw/hive export PATH=$P.. 2022. 11. 20.
[Kafka] Podman compose으로 Kafka 실행 0. 실행 환경 AWS t2.xlarge OS : Redhat 8.6 MySQL Version : 8.0.31 1. 실행하기 # docker-compose.yml 다운로드 curl -sSL https://raw.githubusercontent.com/bitnami/containers/main/bitnami/kafka/docker-compose.yml > docker-compose.yml # podman-compose로 이름 변경 mv docker-compose.yml podman-compse.yml # podman compose 실행 podman-compose up 참고 Docker Hub - bitnami/kafka 2022. 11. 20.
728x90
반응형

티스토리툴바