ALBERT SITE

1. 우선 hadoop 설치하기위하여 java가 설치되어있어야한다.

설치는 간단하니 건너뛰고 PATH에 JAVA_HOME 추가하여야한다.

JAVA 설치경로 확인

[kafka@localhost hadoop]$ which javac
/usr/bin/javac
[kafka@localhost hadoop]$ readlink -f /usr/bin/javac
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/bin/javac

JAVA_HOME 설정

[kafka@localhost ~]$ vi .bashrc
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre
export PATH=$PATH:$JAVA_HOME/bin

2. HADOOP 다운로드

https://hadoop.apache.org/releases.html 에서 

가장 최신 버전의 HADOOP 파일 다운로드함

하둡은 그냥 tar.gz 파일이므로 앞축해제하면 바로 설정에 들어갈 수 있다.

tar -zxvf hadoop-3.3.4.tar.gz

HADOOP_HOME 설정

export HADOOP_HOME=/home/kafka/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

위 두가지 설정 모두 .bashrc 파일에 설정

설정완료 후 적용

[kafka@localhost ~]$ source .bashrc

3. HADOOP 설정

[kafka@localhost ~]$ cd hadoop-3.3.4/etc/hadoop/

[kafka@localhost hadoop]$ vi core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
</configuration>

로컬로 테스트 용이므로 12.0.0.1 로 설정

만약 HOSTNAME 있으면 해당 HOSTNAME으로 변경

[kafka@localhost hadoop]$ vi hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

worker 추가

[kafka@localhost hadoop]$ vi workers
'내용에는 hostname 추가
localhost

4. sshkey 생성

[albert@localhost ~]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/albert/.ssh/id_rsa):
Created directory '/home/albert/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/albert/.ssh/id_rsa.
Your public key has been saved in /home/albert/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:9/8cqd5t687BKc97bC3UIIb48DawZVrwB50vjWNl/1o albert@localhost.localdomain
The key's randomart image is:
+---[RSA 2048]----+
|           . .   |
|        . . o o  |
|         + o * . |
|        + * O + .|
|        S@.+ + o.|
|        o.=.  o E|
|         . ..o X.|
|             .X.X|
|            .o+'B|
+----[SHA256]-----+

그냥 터미널에서 ssh-keygen 입력 및 계속 엔터키만 누르면 생성됨

5. hadoop 실행

최초 실행전 포맷

[kafka@localhost ~]$ hdfs namenode -format

hadoop 서비스 실행

[kafka@localhost ~]$ start-dfs.sh
[kafka@localhost ~]$ start-yarn.sh
[kafka@localhost ~]$ jps
14405 NodeManager
14267 ResourceManager
13580 NameNode
17996 Jps
13967 SecondaryNameNode

6. 확인

' NameNode
http://localhost:9870

' DataNode
http://localhost:9864

끝