搭建原生hadoop及cdh中所遇到的问题记录

hadoop启动报错
ERROR: Cannot set priority of datanode process

没有将集群格式化

./bin/hdfs namenode -format

修改yarn默认端口
加上之后要重启，因为不是热生效

数据库
报错1045

[root@test ~]# systemctl stop mariadb  ##关闭mysql
[root@test ~]# mysqld_safe --skip-grant-tables &      ##开启mysql登陆接口并忽略授权表
[root@test ~]# mysql       ##直接不用密码可以登陆
MariaDB [(none)]> update mysql.user set Password=password('123') where User='root';  ##更改密码
MariaDB [(none)]> quit
[root@test ~]# ps aux | grep mysql    ##过滤mysql的所有进程
[root@test ~]# kill -9 9334      ##结束进程
[root@test ~]# kill -9 9489      ##结束进程
[root@test ~]# systemctl start mariadb   ##重启mariadb
[root@test ~]# mysql -uroot -p123    ##登陆
登陆进去之后更改网络用户密码
MariaDB [(none)]> update mysql.user set Password=password('123') where User='white';
3.更改普通用户权限
MariaDB [mysql]> grant all on *.* to white@'%';  ##用户授权
MariaDB [mysql]> show grants for white@'%';   ##查看用户权力

启动或重启数据库时报错
Job for mariadb.service failed because the control process exited with error code. See “systemctl status mariadb.service” and “journalctl -xe” for details.

解决方法

1. ps -aux|grep mysql 找到他的进程把他杀掉就可以启动了
   kill -9 pid

hbase
出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的，解决办法有两种。这里使用第一种办法就解决了。
Can’t get master address from ZooKeeper; znode data == null

第一种
1.重启hbase
stop-hbase.sh然后
2.start-hbase.sh

2.解决方法2：

（1）原因：运行hbase(zookeeper)的用户无法写入zookeeper文件，导致znode data为空。解决：在hbase-site.xml指定一个运行hbase的用户有写入文件权限的目录作为zookeeper数据目录，如

 <property>   
 		 <name>hbase.zookeeper.property.dataDir</name>    
    	 <value>/home/user88/zk_data</value>  
 </property>
 （2）hbase-site.xml文件中的
 <property>  
 		<name>hbase.rootdir</name>   
   	<value>hdfs://hadoop1:49002/hbase</value>  
 </property>
 
rootdir中的IP设定很重要，需要设定对应的IP
与core-site.xml中fs.defaultFS中的路径不相同
<property>     
 <name>fs.defaultFS</name> 
     <value>hdfs://hadoop1:9000</value>  
</property>
   

3.解决方法2：格式化namenode 这里，不多赘述。但是一般没到没办法情况下，不要去格式化。

关闭虚拟内存检查
yarn-site.xml

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

zookeeper
提示端口占用，

这个报错检查一下myid是否对应，zoo.cfg文件，多余的空格要删掉，stop之后把进程kill掉

在CDH上启动zookeeper报错

Missing data directory /var/lib/zookeeper/version-2, automatic data directory creation is disabled (zookeeper.datadir.autocreate is false). Please create this directory manually

解决：在zookeeper目录下创建data，version-2 目录 ，并赋予最高权限

CDH环境
CDH启动hbase报错

Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

解决
第一步：su hdfs，进入hdfs。
第二步：hadoop fs -ls ，瞅瞅user的权限。

第三步：修改权限
hadoop fs -chmod 777 /hbase

还是在报错的就先搭建后面的组件，重启这个服务

hive metastore canary创建hue hdfs主目录失败问题
手动创建这个文件 cloudera_health_monitoring_canary_files

vim /etc/cloudera-scm-agent/config.ini
所有节点都改成0，
ps -aux|grep super
kill -9

yarn启动报错权限错误

IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: Permission denied

解决：修改 /var/lib/hadoop-yarn目录为最高权限

spark
执行spark-shell --master yarn报错

Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-allocation-mb’ and/or ‘yarn.nodemanager.resource.memory-mb’.

web页面上找到yarn,点击配置，搜索容器内存，将最大容器内存加到3吉节，最小加到2吉节