apache11 [ERROR] Hadoop Datanode 실행 안됨Initialization failed for Block pool <registering> 0. Exiting 실행 환경 OS : Redhat8 Hadoop Version : 3.3.4 ERROR start-dfs.sh를 실행하면 Namenode 만 실행되고 Datanode는 올라오지 않는다. 로그 로그는 /logs/hadoop-xxxx-datanode-xxxxx.internal.log를 확인하면 된다. tail -100 /logs/hadoop-ec2-user-datanode-ip-10-0-0-188.ap-northeast-2.compute.internal.log 2022-11-20 07:36:33,880 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid 2177b52c-9.. 2022. 11. 20. [Hadoop] Hadoop 설치하기 0. 실행 환경 AWS t2.xlarge OS : Red Hat Enterprise Linux 8.6 1. 설치하기 1) Java 설치 yum update sudo yum install -y java-1.8.0-openjdk java -version 2) SSH 설정 ssh-keygen -t rsa -P '' cat /home/ec2-user/.ssh/id_rsa.pub >> /home/ec2-user/.ssh/authorized_keys 3) Hadoop 다운로드 # 다운로드 wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4-src.tar.gz #압축 풀기 tar xvzf hadoop-3.3.4.tar.gz # hadoop으로 .. 2022. 11. 20. [ERROR] ImportError: cannot import name 'AWSAthenaOperator' ImportError: cannot import name 'AWSAthenaOperator' from 'airflow.providers.amazon.aws.operators.athena' (/home/airflow/.local/lib/python3.7/site-packages/airflow/providers/amazon/aws/operators/athena.py) 패키지를 찾을 수 없다는 오류이다. pip로 패키지를 설치하면 되지만 docker로 airflow를 실행하기 때문에 그냥 설치하면 안된다. pip install apache-airflow-providers-amazon Apache Airflow Docs https://airflow.apache.org/docs/apache-airflow-prov.. 2022. 11. 20. 이전 1 2 3 다음 728x90 반응형
