hadoop+hive使用中遇到的问题汇总

alin 发布于2019-04-25 17:11 / 3012人阅读

摘要：错误将添加到路径代码动态分区异常代码进程超内存限制添加代码代码文件数限制代码连接超时代码解决方案代码代码参数列表过长参数列表过长解决方案升级内核或减少分区数代码问题排查代码代码拒绝连接。。。

问题排查方式

一般的错误，查看错误输出，按照关键字google
异常错误（如namenode、datanode莫名其妙挂了）：查看Hadoop（$HADOOP_HOME/logs）或hive日志

hadoop错误
1.datanode无法正常启动
添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下：

Text代码

2013-06-21 18:53:39,182 FATAL org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.getDatanode: Data node x.x.x.x:50010 is attempting to report storage ID DS-1357535176-x.x.x.x-50010-1371808472808. Node y.y.y.y:50010 is expected to serve this storage.

原因分析：
拷贝hadoop安装包时，包含data与tmp文件夹（见本人《hadoop安装》一文），未成功格式化datanode
解决办法：

Shell代码

rm -rf /data/hadoop/hadoop-1.1.2/data

rm -rf /data/hadoop/hadoop-1.1.2/tmp

hadoop datanode -format

2. safe mode

Text代码

2013-06-20 10:35:43,758 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_hb_rs_wdev1.corp.qihoo.net,60020,1371631589073. Name node is in safe mode.

解决方案：

Shell代码

hadoop dfsadmin -safemode leave

3.连接异常

Text代码

2013-06-21 19:55:05,801 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Java.io.IOException: Call to homename/x.x.x.x:9000 failed on local exception: java.io.EOFException

可能原因：

namenode监听127.0.0.1:9000，而非0.0.0.0:9000或外网IP:9000
iptables限制

解决方案：

检查/etc/hosts配置，使得hostname绑定到非127.0.0.1的IP上
iptables放开端口

4. namenode id

Text代码

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID = 240012870; datanode namespaceID = 1462711424 .

问题：Namenode上namespaceID与datanode上namespaceID不一致。

　　问题产生原因：每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与 datanode节点上的namespaceID不一致。启动失败。

　　解决办法：参考该网址 http://blog.csdn.net/wh62592855/archive/2010/07/21/5752199.aspx 给出两种解决方法，我们使用的是第一种解决方法：即:

　　(1)停掉集群服务

　　(2)在出问题的datanode节点上删除data目录，data目录即是在hdfs-site.xml文件中配置的 dfs.data.dir目录，本机器上那个是/var/lib/hadoop-0.20/cache/hdfs/dfs/data/ (注：我们当时在所有的datanode和namenode节点上均执行了该步骤。以防删掉后不成功，可以先把data目录保存一个副本).

　　(3)格式化namenode.

　　(4)重新启动集群。

　　问题解决。
这种方法带来的一个副作用即是，hdfs上的所有数据丢失。如果hdfs上存放有重要数据的时候，不建议采用该方法，可以尝试提供的网址中的第二种方法。

5. 目录权限
start-dfs.sh执行无错，显示启动datanode，执行完后无datanode。查看datanode机器上的日志，显示因dfs.data.dir目录权限不正确导致：

Text代码

expected: drwxr-xr-x,current:drwxrwxr-x

解决办法：
查看dfs.data.dir的目录配置，修改权限即可。

hive错误
1.NoClassDefFoundError
Could not initialize class java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.HBase.io.HbaseObjectWritable
将protobuf-***.jar添加到jars路径

Xml代码

//$HIVE_HOME/conf/hive-site.xml

hive.aux.jars.path

file:///data/hadoop/hive-0.10.0/lib/hive-hbase-handler-0.10.0.jar,file:///data/hadoop/hive-0.10.0/lib/hbase-0.94.8.jar,file:///data/hadoop/hive-0.10.0/lib/zookeeper-3.4.5.jar,file:///data/hadoop/hive-0.10.0/lib/guava-r09.jar,file:///data/hadoop/hive-0.10.0/lib/hive-contrib-0.10.0.jar,file:///data/hadoop/hive-0.10.0/lib/protobuf-java-2.4.0a.jar

2.hive动态分区异常
[Fatal Error] Operator FS_2 (id=2): Number of dynamic partitions exceeded hive.exec.max.dynamic.partitions.pernode

Shell代码

hive> set hive.exec.max.dynamic.partitions.pernode = 10000;

3.mapreduce进程超内存限制——hadoop Java heap space
vim mapred-site.xml添加：

Xml代码

//mapred-site.xml

mapred.child.java.opts

-Xmx2048m

Shell代码

#$HADOOP_HOME/conf/hadoop_env.sh

export HADOOP_HEAPSIZE=5000

4.hive文件数限制
[Fatal Error] total number of created files now is 100086, which exceeds 100000

Shell代码

hive> set hive.exec.max.created.files=655350;

5.metastore连接超时

Text代码

FAILED: SemanticException org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out

解决方案：

Shell代码

hive> set hive.metastore.client.socket.timeout=500;

6. java.io.IOException: error=7, Argument list too long

Text代码

Task with the most failures(5):

-----

Task ID:

task_201306241630_0189_r_000009

URL:

http://namenode.godlovesdog.com:50030/taskdetails.jsp?jobid=job_201306241630_0189&tipid=task_201306241630_0189_r_000009

-----

Diagnostic Messages for this Task:

java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesinkkey0":"164058872","reducesinkkey1":"djh,S1","reducesinkkey2":"20130117170703","reducesinkkey3":"xxx"},"value":{"_col0":"1","_col1":"xxx","_col2":"20130117170703","_col3":"164058872","_col4":"xxx,S1"},"alias":0}

at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java:270)

at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:520)

at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:421)

at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)

at org.apache.hadoop.mapred.Child.main(Child.java:249)

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesinkkey0":"164058872","reducesinkkey1":"xxx,S1","reducesinkkey2":"20130117170703","reducesinkkey3":"xxx"},"value":{"_col0":"1","_col1":"xxx","_col2":"20130117170703","_col3":"164058872","_col4":"djh,S1"},"alias":0}

at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java:258)

... 7 more

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: [Error 20000]: Unable to initialize custom script.

at org.apache.hadoop.hive.ql.exec.ScriptOperator.processOp(ScriptOperator.java:354)

at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:474)

at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:800)

at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84)

at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:474)

at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:800)

at org.apache.hadoop.hive.ql.exec.ExtractOperator.processOp(ExtractOperator.java:45)

at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:474)

at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java:249)

... 7 more

Caused by: java.io.IOException: Cannot run program "/usr/bin/python2.7": error=7, 参数列表过长

at java.lang.ProcessBuilder.start(ProcessBuilder.java:1042)

at org.apache.hadoop.hive.ql.exec.ScriptOperator.processOp(ScriptOperator.java:313)

... 15 more

Caused by: java.io.IOException: error=7, 参数列表过长

at java.lang.UNIXProcess.forkAndExec(Native Method)

at java.lang.UNIXProcess.(UNIXProcess.java:135)

at java.lang.ProcessImpl.start(ProcessImpl.java:130)

at java.lang.ProcessBuilder.start(ProcessBuilder.java:1023)

... 16 more

FAILED: Execution Error, return code 20000 from org.apache.hadoop.hive.ql.exec.MapRedTask. Unable to initialize custom script.

解决方案：
升级内核或减少分区数https://issues.apache.org/jira/browse/HIVE-2372
6.runtime error

Shell代码

hive> show tables;

FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

问题排查：

Shell代码

hive -hiveconf hive.root.logger=DEBUG,console

Text代码

13/07/15 16:29:24 INFO hive.metastore: Trying to connect to metastore with URI thrift://xxx.xxx.xxx.xxx:9083

13/07/15 16:29:24 WARN hive.metastore: Failed to connect to the MetaStore Server...

org.apache.thrift.transport.TTransportException: java.net.ConnectException: 拒绝连接

。。。

MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: java.net.ConnectException: 拒绝连接

尝试连接9083端口，netstat查看该端口确实没有被监听，第一反应是hiveserver没有正常启动。查看hiveserver进程却存在，只是监听10000端口。
查看hive-site.xml配置，hive客户端连接9083端口，而hiveserver默认监听10000，找到问题根源了
解决办法：

Shell代码

hive --service hiveserver -p 9083

//或修改$HIVE_HOME/conf/hive-site.xml的hive.metastore.uris部分

//将端口改为10000

专线服务私有云使用遇到问题布局遇到的问题学习遗传算法遇到的问题看apue遇到的有关问题

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/3815.html

淘宝双11数据分析与预测--“坑点”汇总

摘要：国庆假期留在学校做了一下林子雨博士的大数据实验淘宝双数据分析与预测，虽然教程写得很详细，但自己还是踩了很多坑，现在记录下来，希望给别人一点帮助。国庆假期留在学校做了一下林子雨博士的大数据实验--淘宝双11数据分析与预测，虽然教程写得很详细，但自己还是踩了很多坑，现在记录下来，希望给别人一点帮助。淘宝双11数据分析与预测实验连接：点击这里问题一：安装Hadoop时报错报错内容： ...

luoyibu 2019-07-31 18:35 评论0 收藏0
HIve的安装

摘要：在中加入的安装路径注意如果环境变量设置错误，会导致一些命令失效。的下载和安装我使用的是版本，按照官方文档安装即可。环境变量的配置安装目录配置需要在添加一个数据库连接，如果在找不到，可以自己创建一个。 1 hadoop hive的使用依赖hadoop,所以先介绍hadoop。 1.1 hadoop下载和安装笔者是在Centos7.3上安装的hadoop,使用的是hadoop-3.2的版...

Baaaan 2019-08-27 14:27 评论0 收藏0
用Hadoop，还是不用Hadoop？

摘要：，是由创建的另外一个实时流数据处理的分布式系统，详见。是推出的商业产品，是可一个支持横向扩展的内存数据库解决方案，可以支持实时的大数据分析和计算。 Hadoop通常被认定是能够帮助你解决所有问题的方案。当人们提到大数据或是数据分析等相关问题的时候，会听到脱口而出的回答：Hadoop！实际上Hadoop被设计和建造出来，是用来解决一系列特定问题的。对某些问题来说，Hadoop至多算是一个...

XUI 2019-04-25 17:14 评论0 收藏0
在 OpenStack 上部署 Hadoop

摘要：看一个用例场景大量的数据存储在关系数据库管理系统环境中。当数据集越来越大时，关系数据库管理系统表现不佳。可在几分钟内部署集群。像其他服务一样，服务可以通过强大的和仪表板进行管理。编排即服务用于配置和编排数据处理集群的部署。 OpenStack 控制计算、存储和网络资源池。本文主要关注 OpenStack 如何在大数据用例中扮演关键角色。OpenStack 上的大数据现在，数据随处生成，数据量...

luffyZh 2019-04-25 17:20 评论0 收藏0
美图大数据平台架构实践

摘要：本文系美图互联网技术沙龙第期嘉宾分享内容，公众号后台回复美图大数据平台获取。美图数据平台整体架构如图所示是我们数据平台的整体架构。接下来会重点介绍到以及数据开放这两个阶段我们平台的实践以及优化思路。本文系美图互联网技术沙龙第 11 期嘉宾分享内容，公众号后台回复「美图大数据平台」获取 PPT。 showImg(https://segmentfault.com/img/bVbfJy9?...

canopus4u 2019-05-28 18:51 评论0 收藏0