关喆我是歌手如果分开:Hadoop使用常见问题以及解决方法(1)
来源:百度文库 编辑:中财网 时间:2024/04/27 13:57:17
Hadoop使用常见问题以及解决方法
Hadoop, 问题, 解决1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:
程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。
修改办法:
修改2个文件。
/etc/security/limits.conf
vi /etc/security/limits.conf
加上:
* soft nofile 102400
* hard nofile 409600
$cd /etc/pam.d/
$sudo vi login
添加 session required /lib/security/pam_limits.so
针对第一个问题我纠正下答案:
这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的,上限默认为5。引起此问题的方式可能会有很多种,比如网络连接不正常,连接超时,带宽较差以及端口阻塞等。。。通常框架内网络情况较好是不会出现此错误的。
2:Too many fetch-failures
Answer:
出现这个问题主要是结点间的连通不够全面。
1) 检查 、/etc/hosts
要求本机ip 对应 服务器名
要求要包含所有的服务器ip + 服务器名
2) 检查 .ssh/authorized_keys
要求包含所有服务器(包括其自身)的public key
3:处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%
Answer:
结合第二点,然后
修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000
4:能够启动datanode,但无法访问,也无法结束的错误
在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData,在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时,每个存储的名字空间都对应了建立时间的那个版本(可以查看/home/hadoop /NameData/current目录下的VERSION文件,上面记录了版本信息),在重新格式化新的分布式系统文件时,最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。
注意:删除是个很危险的动作,不能确认的情况下不能删除!!做好删除的文件等通通备份!!
5:java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log
出现这种情况大多是结点断了,没有连接上。
6:java.lang.OutOfMemoryError: Java heap space
出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。
Java -Xms1024m -Xmx4096m
一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4096m,这一值可能依旧不是最优的值。
mp4常见问题及解决方法
箱板纸常见问题及解决方法
电脑软件一般的常见问题与解决方法?
关于环境污染以及解决方法?
求关于打印机的一切问题!!最好是常见问题解决方法什么的!!
常见问题!
风冷柴油机使用与维修中的常见问题
请问这个是什么原因以及解决方法
网络的常见问题及解决方法,如,本地连接受限制或无连接之类,谢谢
柳树暴皮原因以及解决方法
习惯性腹泻的原因以及解决方法
受教育权被侵犯的事例以及解决方法
脊柱疼--缘故以及便宜的解决方法?
outlook express 使用的常见问题(无法找到主机)
MSCONFIG不能使用的解决方法??
c语言常见问题集锦(1)
请帮忙列举自行车的常见问题以及这些问题的征兆和解决办法
谁对自动调整臂的安装,常见问题的判断以及处理了解,请交流/
谁对自动调整臂的安装,常见问题的判断以及处理了解,请交流/
谁给详细说下大学的专业课类别,以及一些常见问题,感激!
镭雕工艺 和镭雕常出现的问题以及解决方法!
diannao无法上网的常见现象 原因 以及解决方法
我想了解汽车空调最容易出现的问题以及解决方法
当代人力资源在管理中存在的问题以及解决方法