hadoop2.7.2和jdk1.8.0_121集群搭建

hadoop2.7.2和jdk1.8.0_121集群搭建

1. 准备好物理机 一个桌面版 其他服务器版
2. .修改hostname vim /etc/hostname
3. 修改VM的虚拟IP起始地址 100-254
4. 修改静态IP vim /etc/network/interface
   iface eth0 inet static
   address 192.168.147.100-102 由机器数量决定
   gateway 192.168.147.2 网关
   netmask 255.255.255.0 子网掩码
   dns-nameservers 192.168.147.2 网关
   auto eth0
   sudo /et/inin.d/networking restart 重启网络服务
5. 修改hosts vim /etc/hosts 在每天电脑的hosts中输入所以电脑对应的hostname和设置的 静态IP 地址 重启虚拟机 sudo reboot 重启后 ，采用ping 命令 看各个虚拟机是否连同 ping ip地址
   192.168.147.100 master
   192.168.147.101 node1
   192.168.147.102 node2
6. 配置 ssh
   1.安装SSH sudo apt-get install openssh-server
   2.生成密钥Pair ssh-keygen -t rsa 输入之后一直选择enter即可。生成的秘钥位于 ~/.ssh文件夹下 可用cd 命令进入查看。
   3.在master上，将公匙id_dsa.pub导入authorized_keys
   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
   4.把master上的authorized_keys拷贝到其他主机的相应目录下
   scp authorized_keys ubuntu@node1:~/.ssh/
   scp authorized_keys ubuntu@node2:~/.ssh/
   5.修改各台主机上authorized_keys文件的权限：
   chmod 600 .ssh/authorized_keys 所有机器上，均执行该命令
7. 创建一个soft文件夹
   sudo mkdri /soft
8. 将文件权限赋予Ubuntu账户
   chown ubuntu:ubuntu /soft
9. 将jdk ｈａｄｏｏｐ 解压到soft文件夹中
   tar -zxvg jdk—-.tar tar -zxvf hadoop—.tar

10. 配置 jak hadoop environment
    vim /etc/envionment
    JAVA_HOME=/soft/jdk1.8.0_121
    HADOOP_HOME=/soft/hadoop-2.7.2
    添加path路径 /soft/jdk1.8.0_121/bin:/soft/hadoop-2.7.2/bin:/soft/hadoop-2.7.2/sbin
    保存退出后 source environment
    其他机器的jdk和hadoop 配置一样

11. 配置hadoop xml文件 cd hadoop/etc/hadoop 目录下修改配置文件
    vim yarn-env.sh
    yarn-env.sh
    export JAVA_HOME=/soft/java

    hadoop-env.sh
    export JAVA_HOME=/soft/java
    修改slaves vim slaves 将data节点hostname写入

    node1 node2

    core-site.xml

    
    
    fs.defaultFS
    hdfs://master:9000
    
    
    io.file.buffer.size
    131072
    
    
    hadoop.tmp.dir
    file:/soft/hadoop-2.7.2/tmp 文件地址路径是本地hadoop的tmp路径
    
    

    hdfs-site.xml
    
    
    dfs.namenode.secondary.http-address
    master:9001
    
    
    dfs.namenode.name.dir
    file:/soft/hadoop-2.7.2/dfs/name 本地hadoop的dfs/name路径
    
    
    dfs.datanode.data.dir
    file:/soft/hadoop-2.7.2/dfs/data 本地hadoop的dfs/data路径
    
    
    dfs.replication
    2 //date节点个数
    
    
    dfs.webhdfs.enabled
    true
    
    

mapred-site.xml


mapreduce.framework.name
yarn


mapreduce.jobhistory.address
master:10020


mapreduce.jobhistory.webapp.address
master:19888


yarn-site.xml


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
master:8032


yarn.resourcemanager.scheduler.address
master:8030


yarn.resourcemanager.resource-tracker.address
master:8031


yarn.resourcemanager.admin.address
master:8033


yarn.resourcemanager.webapp.address
master:8088

1. 将soft 文件夹拷贝到其他机器上
   scp -r /soft ubuntu@node1:/soft
   scp -r /soft ubuntu@node2:/soft

2. 用hadoop走到的Wordcountjar进行测试 bin/hdfs namenode -format 格式化节点 不要重复格式化，不然会出问题
   在HDFS上创建./b输入文件夹目录 input
   ./bin/hadoop fs -mkdir /input
   把当前目录下的 README.txt 介绍文件传进input 里面进行测试
   ./bin/hadoop fs -put REDAME.txt /input
   查看结果：
   ./bin/hadoop fs -ls /input*
   运行Hadoop自带的 wordcount 例子的jar包
   ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-exmples-2.7.2.jar wordcount /input /output/wordcount1