- 博客(11)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hive数据导入ES的各种坑
1.mapper数量无论什么博客还是官网，一直强调控制写入ES的mapper数量，那怎么控制mapper的数量？1）源表的分区数目因为mapred.min.split.size ，mapred.max.split.size ，dfs.block.sizesplitSize = Math.max(minSize, Math.min(maxSize, blockSize...
2018-11-08 16:24:18
4247
原创 关于八皇后的问题解析
```public class Queen { public static final int columns = 8; public static int count = 0; public static void main(String[] args) { boolean[][] visit = new boolean[columns][...
2018-10-15 11:38:55
112
原创 0-1背包问题的通俗解释
网上好多关于背包问题的解释，自己也看了，感觉解释的不容易通俗易懂，所以自己来写一个非常容易懂得。0-1背包问题说的是，给定背包容量W，一系列物品{weiht,value}，每个物品只能取一件，获取最大值。采用动态规划求解，动态规划的一般规律都是，在什么什么前i个状态下的最大值或者最小值的前提下，然后再把i的状态的值求出来。这里我们定义一个函数，表示状态。m(1,2,3,4..i...
2018-10-12 20:46:25
641
原创 spark thrift server kerberos 配置下show databases 报错
今天调试spark-1.6.2的spark thrift server功能，配置好spark的conf目录下的hive-site.xml文件后启动，一切正常，通过beeline链接后 show tables命令正常运行，但是 show databases 命令报错：Error: org.apache.spark.sql.execution.QueryExecutionException: F
2017-06-22 22:35:42
805
原创 Kerberos认证下Sparksql向hive写数据错误
今天在调试sparksql与hive的时候出现错误，首先初始化hiveContext就出错。 val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) 这里说一下，我们整个集群是通过kerberos认证的，所以需要/etc/spark/conf/目录下存放hive-site.xml文件，里面配置有kerberos。同时我们的集
2017-06-15 22:12:44
4841
原创 sparkSQL写数据到hdfs中出现Snappy报错
今天spark在写数据到hive中出现错误 Job aborted due to stage failure: Task 7 in stage 5.0 failed 4 times, most recent failure: Lost task 7.3 in stage 5.0 (TID 68, NM-304-SA5212M4-BIGDATA-2016-356.BIGDATA.CHINATEL
2017-06-15 22:01:49
3659
原创 文章标题
Sparksql查询hive分区表出现java.io.IOException: Not a file: hdfs://ns/data/hjpt/itf/14thplatform/qchat/month/active_user 错误。 今天在sparksql中查询hive的分区表的时候， select * from itf_qchat_active_user_m where month_id =
2017-06-15 21:55:02
295
原创 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-06-15 21:46:19
195
原创 sparksql不支持hive中的分区名称大写
今天在调试sparksql的时候，查询分区信息，SELECT T.PROD_INST_ID ,T.PROD_ID ,T.STATUS_CD ,T.FIRST_FINISH_DATE ,T.BEGIN_RENT_DATE ,T.PAYMENT_MODE_CD ,T.CREATE_DATE , T.ACC_NUM
2017-03-04 09:22:31
1513
转载 Access denied for user 'root'@'localhost' (using password:YES)的解决方案
主要讲解如何解决Access denied for user 'root'@'localhost' (using password:YES)的问题
2016-08-22 14:50:30
1544
原创 spark启动中遇到的问题
1. Unable to load native-hadoop library for your platform... using builtin-java classes where applicable16/08/04 17:00:09 WARN NativeCodeLoader: Unable to load native-hadoop library for your platf
2016-08-04 18:08:08
2435
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人