hsh9794的博客

原创 Hive上游为ORC格式的表，下游读取不完整

下游读取数据的时候，一直反复尝试，数据仍然不完整，理论上来说上游有四条数据，下游始终只能读到一条，反复排查后发现上游的任务都是spark类型，下游是用hive进行处理的时候会遇到这种问题，原因是下游的hive和上游的spark对于ORC格式的处理方式有所区别，spark底层对于读和写替换了原有的hive方案，所以导致两边不兼容，引发了数据不对齐的情况。遇到同类问题，采用spark.sql.hive.convertMetastoreParquet=false也可以解决问题。