- 博客(15)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 问题解决 hive插入数据报错 ClassCastException
Hive ClassCastException问题描述创建表后插入数据 报错java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.serde2.io.ParquetHiveRecord at org.apache.hadoop.hive.ql.io.parquet.write.ParquetRecordWri
2022-03-08 11:46:16
4775
原创 问题解决：org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.serde2.io.ParquetHiveRecord
Hive ClassCastException问题描述创建表后插入数据 报错java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.serde2.io.ParquetHiveRecordat org.apache.hadoop.hive.ql.io.parquet.write.ParquetRecordWriterWrapper.write(ParquetReco
2021-10-14 17:34:23
7412
1
原创 大数据常见问题汇总
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env.sh2、j...
2019-10-23 07:05:19
508
原创 Scala模式匹配详细案例
模式匹配是检查某个值（value）是否匹配某一个模式的机制，一个成功的匹配同时会将匹配值解构为其组成部分。它是Java中的switch语句的升级版，同样可以用于替代一系列的 if/else 语句。一个模式匹配语句包括一个待匹配的值，match关键字，以及至少一个case语句。import scala.util.Randomval x: Int = Random.nextInt(10)...
2019-09-24 05:23:02
412
原创 kafka 详细配置（broker）
以下是kafkabroker 详细配置的参数、默认值、描述参数 默认值 描述broker.id -1 每一个boker都有一个唯一的id作为它们的名字。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况port 9092 broker server服务端口host.name "" broker的主机地址，若是...
2019-09-21 01:55:48
1559
原创 hive 开窗函数的例子
开窗函数OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。CURRENT ROW：当前行n PRECEDING：往前n行数据n FOLLOWING：往后n行数据UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING表示到后面的终点LAG(col,n,default...
2019-09-20 01:20:32
246
原创 hive 常见配置
//显示列名set hive.cli.print.header=true;//显示列名时，不带表名set hive.resultset.use.unique.column.names=false;//修改default数据仓库原始位置Default数据仓库的最原始位置是在hdfs上的：/temp/user/hive/warehouse路径下。修改defau...
2019-09-20 01:08:45
460
原创 redis拒绝连接的解决方案
1.本地防火墙是否关闭2.服务器的防火墙是否关闭检查方法：service iptables status查看防火墙状态service iptables stop关闭防火墙chkconfig iptables off永久关闭防火墙3.本地是否能ping通服务器redis4.修改redis服务器的配置文件vi re...
2019-03-12 21:56:48
3845
1
原创 不要说你真的懂高性能MySQL
前言最近做的项目对集群数据库性能要求较高，借此机会打算重新学习、整理Mysql的原理及调优策略，参考梳理《高性能MySQL》第三版、MySQL官方文档、网络上前人写的资料、以及个人实战经验总结。在接下来的一段时间内持续更新，希望在提升自己的同时能帮到同在数据库调优的苦海中挣扎的程序猿们。（取这个标题是因为笔者屡次面试都鼓吹自己懂高性能数据库，不想打脸）1 MySQL的逻辑架构先上一幅M...
2019-01-10 00:31:04
305
原创 关于maven打包部署问题总结（spring boot 可执行jar包常见的问题）
1.打包方式首先推荐用mvn clean package 打包，最好不要依赖开发工具，可以绕开一些坑，指令行是最稳妥的。package/install/deploy 三者的区别在于：只打包/打包并布署到本地maven仓库/布署到本地maven仓库和远程maven私服仓库ps: 可以用 -DskipTests 选项跳过测试2.引入外部jar包我的项目中遇到的问题主要就是这个，因为...
2019-01-04 22:52:30
313
原创 mybatis中<forEach>标签的使用
你可以传递一个 List 实例或者数组作为参数对象传给 MyBatis。当你这么做的时候，MyBatis 会自动将它包装在一个 Map 中，用名称作为键。List 实例将会以“list”作为键，而数组实例将会以“array”作为键。 foreach元素的属性主要有 item，index，collection，open，separator，close。 item表示集合中每一个元素进行迭代时的...
2018-05-03 15:09:34
221
原创 常用的数组工具类
最近在用emqtt,程序中用到了一些数组的工具类，抽空整理了一下，欢迎补充！！！1.关于crc16校验/** * CRC16校验(校验完整数组) * * @param buffer 待校验数组 * @return 校验结果 */ public static byte[] modbusCrc16(byte[] buffer) { ...
2018-04-23 20:58:09
337
原创 Mybatis-PageHelper的使用
公司使用的PageHelper插件比之前手动写分页方便多了，周末自行查资料总结了一下（毕竟国内牛人的开源项目，读中文文档要爽太多了），希望对想要快速上手的朋友提供一点帮助。首先上一个小DEMO1.添加Maven依赖<dependency> <groupId>com.github.pagehelper</groupId> <artifa...
2018-04-22 16:31:52
917
2
原创 java.util.zip.ZipException: invalid LOC header (bad signature) 问题解决！！！
本人用的idea 通过SVN检出公司的项目，但启动报错，在网上查阅了大量资料。具体报错如下 严重 [RMI TCP Connection(2)-127.0.0.1] org.apache.catalina.core.ContainerBase.addChildInternal ContainerBase.addChild: start:org.apache.catalina.Life...
2018-04-07 23:43:31
16515
空空如也
关于数据分析的短语匹配需求
2021-11-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人