CentOS 8系统安装和基本配置以及Hadoop的伪分布式搭建

镜像下载

下载地址：

阿里CentOS 8下载
 清华CentOS 8下载
 CentOS 8官网下载

CentOS主要镜像文件类型介绍

常见的镜像文件类型主要有以下几种：

DVD ISO：普通光盘完整安装版镜像，可离线安装到计算机硬盘上，包含大量的常用软件，一般选择这种镜像类型即可。
Everything ISO：包含了完整安装版的内容，并对其进行补充，集成了所有软件。
Minimal ISO：这个版本为精简版的镜像，可以安装一个基本的CentOS系统，包含了可启动系统基本所需的最小安装包。
LiveCD/DVD ISO: 是一个光盘Centos系统，可通过光盘直接在电脑上启动系统，也可以将系统安装到计算机上使用，部分内容还需要再次下载。根据系统桌面不同live版的又可分为LiveGNOME
Netinstal：在线安装版本，启动后需要联网边下载边安装。

CentOS8系统安装

安装步骤如下截图：

在这里插入图片描述

1.在这里选择刚刚下载好的iso文件

在这里插入图片描述

2.设置用户名和密码

在这里插入图片描述

3.更改位置

在这里插入图片描述

4.为了加快处理器运行速度，这里将配置改成4核

在这里插入图片描述

5.如果物理机的内存是16G，这里选择8G，如果是8G则选择4G

在这里插入图片描述

6.以下都是默认就可以了

在这里插入图片描述

7.指定磁盘大小为200G（此处并不需要你的物理机上有200G内存）

在这里插入图片描述

8.键盘↑↓移动选择第一项开始安装

在这里插入图片描述

9.安装好后选择语言（根据自己的情况也可以选择中文）

在这里插入图片描述

10.设置网卡

在这里插入图片描述

11.设置时间

在这里插入图片描述

12.设置用户账号密码（不要创建普通用户且用普通用户登录，不然还得用su切换超级用户）

在这里插入图片描述

13.等待安装

在这里插入图片描述

14.安装完成以后选择接受协议

在这里插入图片描述

配置CentOS 8

1.先查看自己的ip地址

在这里插入图片描述

2.设置成自己的IP地址

process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5bCP77yj55qE5b-r5LmQ5pif55CD,size_20,color_FFFFFF,t_70,g_se,x_16)
在这里插入图片描述

3.修改主机名

hostnamectl set-hostname hadoop0

在这里插入图片描述

4.配置hosts文件

vi /etc/hosts

在末尾添加自己的ip地址，如果ip地址有改变，/etc/hosts中的ip必须也手动同步更改

5.关闭防护墙

systemctl stop firewalld.service
systemctl disable firewalld.service

在这里插入图片描述

6.禁用selinux

vi /etc/selinux/config

将图中地方改成disable
在这里插入图片描述

7.设置SSH免密码登录

cd /root/.ssh #进入密钥存放目录
rm -rf * #删除旧密钥
ssh-keygen -t dsa #生成新密钥
cat id_dsa.pub >> authorized_keys #将新生成的密钥文件id_dsa.pub复制到SSH指定的密钥文件authorized_keys中

在这里插入图片描述
测试SSH免密码登录是否成功

ssh hadoop0

在这里插入图片描述
要使修改主机名生效，记得重启主机

reboot

Hadoop伪分布式安装

1.安装WinSCP

WinSCP下载地址
在这里插入图片描述

在这里插入图片描述

2.安装PieTTY

PieTTY下载地址
在这里插入图片描述
无需安装，下载直接用，打开以后输入虚拟机的地址就可以看到下图了

3.安装JDK

JDK8Linux版下载地址
下载第一个即可
在这里插入图片描述
利用上面的WinSCP将本地下载好的JDKLinux安装包传到CentOS 8中
JDK8和OpenJDK没有太大区别，所以我这里用了之前下好的JDK8
注意！是放在 /usr/local目录下的！

解压JDK压缩包
- tar -xvf jdk-8u121-linux-x64.tar.gz #具体写你自己的JDK文件名
  
  此时的java -version不能使用
将解压后的文件夹重命名为jdk
- mv jdk1.8.0_121/ jdk#具体写你自己解压后的文件夹
使用vim /etc/profile 编辑profile文件
- vim /etc/profile
  注意：JAVA_HOME的路径是你实际解压后的JDK的路径，千万别写错了!!!

#set java environment
export JAVA_HOME=/usr/local/jdk 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

JAVA_HOME指明JDK安装路径，就是刚才安装时所选择的路径，
此路径下包括lib，bin，jre等文件夹（tomcat，Eclipse的运行都需要依靠此变量）。

CLASSPATH为java加载类(class or lib)路径，只有类在classpath中，java命令才能识别，
设：.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib。
CLASSPATH变量值中的.表示当前目录

PATH使得系统可以在任何路径下识别java命令，设为：$JAVA_HOME/bin:$JRE_HOME/bin。

特别注意：环境变量值的结尾没有任何符号，不同值之间用:隔开（windows中用;）

使环境变量立即生效
- source /etc/profile
测试配置是否成功
- java -version
  
  出现上图信息说明配置成功

4.安装Hadoop

Hadoop下载地址
在这里插入图片描述
利用上面的WinSCP将本地下载好的hadoop-3.3.1.tar.gz传到CentOS 8中
注意！是放在 /usr/local目录下的！

解压
- 先切换到 /usr/local目录下 cd /usr/local
- 解压文件tar -xvf hadoop-3.3.1.tar.gz
- 为方便记忆，改个文件名mv hadoop-3.3.1 hadoop
配置环境变量
- 使用vim /etc/profile 编辑profile文件vim /etc/profile

#set hadoop environment

export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_NAMENODE_USER=root
export HADOOP_DATANODE_USER=root
export HADOOP_SECONDARYNAMENODE=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

修改以后需要输入source /etc/profile使得环境变量立即生效

使用cd切换到/usr/loacal/hadoop/etc/hadoop目录下，接下来修改的配置文件都在该目录下操作
配置hadoop-env.shvim hadoop-env.sh

在37行解除注释并且将路径改为自己jdk的解压路径
配置core-site.xmlvim core-site.xml

在<configuration>节点内加入配置:

<configuration>

 <property>
   <property>
        <name>fs.default.FS</name>
        <value>hdfs://hadoop0:9000/</value>
        <description>NameNode URL</eescription>
   </property>

</configuration>

在这里插入图片描述

配置hdfs-site.xmlvim hdfs-site.xml

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///usr/local/hadoop/data/datanode</value>
        </property>
        <property>
                <name>dfs.namenode.dir</name>
                <value>file:///usr/local/hadoop/data/namenode</value>
        </property>
        <property>
                 <name>dfs.http-address</name>
                <value>hadopp0:50070</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                 <value>hadoop0:50090</value>
        </property>

在这里插入图片描述

配置yarn-site.xmlvim yarn-site.xml

   <property>
        <name>yarn.nodemanager.aux-service</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-service.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapreduce.ShuffleHandler</value>
   </property>
      <property>
        <name>yarn.resourcemanager.scheduler,address</name>
        <value>hadoop0:8030</value>
   </property>
   <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop0:8050</value>
   </property>

在这里插入图片描述
注意！每修改完一个配置文件都要记得输入source /etc/profile使得环境变量立即生效

5.Hadoop验证

Hadoop使用之前必须先格式化hadoop namenode -format

没报错则说明成功格式化
启动Hadoopstart-all.sh

出现上图则说明启动成功
查看Hadoop相关进程jps
浏览文件hadoop fs ls

原文链接：https://blog.csdn.net/weixin_45068278/article/details/122020334