AttemptID:attempt_1527588965479_0001_m_000000_0 Timed out after 600 secs

论坛 期权论坛 脚本     
已经匿名di用户   2022-5-29 19:11   1060   0
1.在用MapReduce 跑Hbase任务是出现这个从错误: AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster.
这个问题出现的背景是:Hbase中某张表每一条都含有照片,并且照片较大。问题原因貌似跟内存有关,可能是集群的垃圾回收机制不完善所致。
临时解决办法是将hadoop-2.0.3/etc/hadoop 下的mapred-site.xml增加如下 property。(系统默认是60s,此处是80s)

  
<property>
<name> mapred.task.timeout </name>
<value> 800000 </value>
<final> true </final>
</property>

可以对Map内存使用进行设置,实际我只修改了mapred-site文件,加入这个property

<name>mapreduce.map.memory.mb</name>
<value>800</value>



分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:81
帖子:4969
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP