大数据比赛笔记(一)基本环境配置

大数据比赛需要用到的命令

1.修改主机名

在master执行

hostnamectl set-hostname master

立即生效:

bash

修改slave1和slave2的

hostnamectl set-hostname slave1

hostnamectl set-hostname slave2

2.配置本地源

将本地源文件下载到/etc/yum.repos.d/目录下或者已有本地源,可以不做这一部分

 进入yum源配置文件

cd /etc/yum.repos.d

删除所有文件

rm -rf    *

下载yum源或者本地已有源

wget http://ip地址/bigdata.repo

清除YUM缓存

yum clean all

 配置hosts文件

根据赛题设置为master、slave1、slave2。

vim/etc/hosts

ip1 master

ip2 slave1

ip3 slave2

3.关闭防火墙

systemctl stop firewalld

查看状态

systemctl status firewalld

4.时间同步

echo "TZ='Asia/Shanghai'; export TZ" >> /etc/profile && source /etc/profile

查看时区 timedatectl | grep "Time zone"

5.安装ntp

yum install -y ntp

master作为ntp服务器

修改ntp配置文件

屏蔽掉默认的server,设置master作为时钟源,设置时间服务器的层级为10。

vim /etc/ntp.conf

#注释掉server 0 ~ n,新增

server  127.127.1.0

fudge  127.127.1.0 stratum 10

重启ntp服务(master上执行)

/bin/systemctl restart ntpd.service

slave1,slave2操作

ntpdate master

6.制作定时任务

crontab -e

输入i

添加定时任务

*/30 8-17 * * */usr/sbin/ntpdate master 早8晚五时间段每隔半个小时同步

*/10 * * * */usr/sbin/ntpdate master 每隔10分钟同步一次

*/30 10-17 * * */usr/sbin/ntpdate master 早十晚五时间段每隔半个小时同步

查看定时任务列表

crontab –l

7.配置ssh免密

在master上执行如下命令生成rsa或者dsa公私密钥:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

或者

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

公钥文添加到授权文件

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

或者

cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

授权文件发送到slave1,slave2

scp ~/.ssh/authorized_keysroot@slave1:~/.ssh/

scp ~/.ssh/authorized_keysroot@slave2:~/.ssh/

8.java jdk安装

建立工作路径/usr/java

mkdir -p /usr/java

cd /usr/java

下载java安装包(master上执行)或按比赛提示进入相应安装包

wget http://ip/bigdata/bigdata_tar/jdk-8u171-linux-x64.tar.gz

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/java/

rm -rf /usr/java/jdk-8u221-linux-x64.tar.gz

修改环境变量:

vim/etc/profile

添加内容如下:

export JAVA_HOME=/usr/java/jdk1.8.0_221

export CLASSPATH=$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

生效环境变量:

source /etc/profile

查看 java 版本:

java -version

在 master 中将安装好的 JDK 复制到 slave1 和 slave2 中

scp -r /usr/java root@slave1:/usr/

scp -r /usr/java root@slave2:/usr/

基础环境运维完毕。


版权声明:本文为u014692982原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。