大数据CDH部署维护过程的一些问题记录

大数据CDH部署维护过程的一些问题记录

Q1:存在隐患 : 9 DataNodes are required for the erasure coding policies: RS-6-3-1024k. The number of DataNodes is only 3.

使用RS-6-3-1024k编码纠删码策略至少需要9个DataNodes，当前只安装了3个，所以再增加6个DataNodes节点即可解决该问题。

修改编码纠删码策略同样也可以解决，不过会比较麻烦

Q2:No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.

yum install -y nfs-utils rpcbind

systemctl start rpcbind

在页面上重启HDFS

Q3：部署过程中，有节点未发现或纳入管理

查看日志发现：

/var/log/cloudera-scm-agent

Timeout: Port 9000 not free on cdh3.

ChannelFailures: Timeout('Port 9000 not free on cdh3.',)

CDH2 Hostname配置重复，错误

systemctl stop cloudera-scm-agent.service

systemctl start cloudera-scm-agent.service

scm-status.log

主节点上重启CM服务

systemctl stop cloudera-scm-server

systemctl start cloudera-scm-server

处理后可以准确识别到4台节点

Q4：磁盘空间不足（虚拟机）

可以清理目录

/tmp

/opt/cloudera/parcels

Q5：/tmp目录下文件很多 mgmt_mgmt-SERVICEMONITOR-64886bb768b392e61a440a42f9a5abb4_pid74309.hprof

主要是由于Service Monitor的内存溢出后不停往/tmp写文件导致

清理：rm -f mgmt_mgmt-*.hprof

Q6：请求 Service Monitor 超时。这可能会导致页面响应缓慢。请查看 Service Monitor 的状态。

• 查询 Host Monitor 时发生内部错误

磁盘空间不足

清理后，重启服务