1.在用MapReduce 跑Hbase任务是出现这个从错误:
AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster.
这个问题出现的背景是:Hbase中某张表每一条都含有照片,并且照片较大。问题原因貌似跟内存有关,可能是集群的垃圾回收机制不完善所致。
临时解决办法是将hadoop-2.0.3/etc/hadoop 下的mapred-site.xml增加如下
property。(系统默认是60s,此处是80s)
<property>
<name>
mapred.task.timeout
</name>
<value>
800000
</value>
<final>
true
</final>
</property>
可以对Map内存使用进行设置,实际我只修改了mapred-site文件,加入这个property
<name>mapreduce.map.memory.mb</name>
<value>800</value>
|