1. 问题描述
把hive部署到hadoop2.0 HA MR1集群中的时候,hive执行count(*)出错,日志为:
java.lang.Exception: java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:399)
Caused by: java.lang.OutOfMemoryError: Java heap space
2. 无效的解决方案
做了以下尝试
修改HADOOP_HEAP=4096
无效
增加mapreduce中hadoop-env.sh的HADOOP_CLIENT_OPTS=1024
无效
在.bash_profile中增加JAVA_OPTS
无效
3. 有效的解决方案
在hive命令行中 !env; 查看hive所有的环境变量
- 参数HADOOP_OPTS
HADOOP_OPTS=-Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/home/hadoop/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/home/hadoop/freeware/hadoop-2.0.0-cdh4.2.1 -Dhadoop.id.str=aimcpro -Dhadoop.root.logger=INFO,console -Djava.library.path=/home/hadoop/freeware/hadoop-2.0.0-cdh4.2.1/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx128m -Dhadoop.security.logger=INFO,NullAppender
发现 Xmx128m,说明最大的被设置为128MB,问题就在这里
既然 HADOOP_MAPRED_HOME/conf/hadoop-env.sh中HADOOP_CLIENT_OPTS 已经被加大为 1024m,那为何 hive 执行 job 仍然OOM?
于是从 HADOOP_HDFS_HOME/etc/hadoop/hadoop-env.sh 中去查看 HADOOP_CLIENT_OPTS 仍然为128m, 说明hive在执行的时候仍然优先去读取 hadoop conf 目录中的配置
于是把这里的 HADOOP_CLIENT_OPTS 改为 1024 重启 HDFS 后,重新执行 hive 的 select count(*) ,
问题解决