hive streaming 使用的时候的一些心得

hive streaming 报错的解决方案：

1、把使用到hive streaming 的sql 分解，例如：select transform a,b,c,d using ‘python cc.py‘ as (e,f) from table,分解成：select a,b,c,d from table ，然后执行：

　　hive -e "select a,b,c,d from table" | python cc.py,这样如果是语法有问题的话就会检查出来。

2、查看是否是编码问题：如果你的sql中要使用：using “cc.py” 那么如果python脚本有编码问题的话，就会无法执行并报错。监测是否有问题的方法是：chmod 777 cc.py，然后用./cc.py执行脚本，如果报错，那么sql中肯定也报错，解决方法就是用 using “python cc.py”

3、如果你的集群配置了日志收集，那么查看问题就方便多了，直接去执行sql的hdfs 上面的application目录下面查看就可以。

4、在python 脚本中加上 import traceback ；

　except Exception,e:

　print traceback.format_exc()