- 博客(20)
- 收藏
- 关注
RSS订阅原创 hive存储格式错误
当load数据到表中时，查询表中数据报这个错误时Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://hadoop102:9000/warehouse/gmall/dwd/dwd_dim_date_info/date_info.txt is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [9, 48,
2020-05-15 10:22:36
1174
原创 mysql复习
拼接函数select concat(first_name,last_name) as "姓 名" from employees;将名和姓进行拼接如果拼接的字段中有null值，则需要使用ifnull函数否则含有空值的字段为nullselect concat(first_name,last_name,ifnull(employees_pct,"空")) demo from employees...
2020-03-05 22:52:11
129
原创 ERROR 1366 (HY000): Incorrect string value: '\xD5\xC5\xD0\xA1\xC3\xF7' for column 'name' at row 1
mysql和win系统两个字符集格式不一致引发的问题set 字段 utf8；
2020-03-05 17:14:46
558
原创 spark代码操作hdfs出现没有root权限问题解决办法
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode="/":root:supergroup:drwxr-xr-xCaused by: org.apache.hadoop.ipc.Remot...
2019-12-06 09:13:42
728
原创 spark版本异常
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.ui.SparkUI.addStaticHandler(Ljava/lang/String;Ljava/lang/String;)V检查自己的POM文件将所有spark版本统一
2019-12-03 16:07:36
89
原创 Scala去除字符串最后一个字符
/** * @author dengyu * @data 2019/12/3 - 15:03 */object hiveOnSpark { def main(args: Array[String]): Unit = { println(this.getClass().getSimpleName().dropRight(1)) }}this.getCl...
2019-12-03 15:23:35
1640
转载 Linux服务器jps报process information unavailable
在Linux下执行 jps 是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavailable这样的空值，有时候不用管它，一段时间后会自动消失，如果一直不消失的情况下，可以使用如下方法清...
2019-12-01 10:44:39
101
原创 IDEA的MAVEN项目多模块打包失败遇到的问题
出现警告[WARNING] [WARNING] Some problems were encountered while building the effective model for com.mimhope.jettycode:JettyCode:war:0.0.1-SNAPSHOT[WARNING] 'build.plugins.plugin.version' for org.apac...
2019-12-01 10:40:10
1351
原创 elasticsearch几种错误出错原因和解决方法
初始化密钥库问题Exception in thread "main" org.elasticsearch.bootstrap.BootstrapException: java.nio.file.AccessDeniedException: /usr/local/elasticsearch/elasticsearch-6.6.0/config/elasticsearch.keystoreLike...
2019-11-28 15:57:26
11660
转载 sparkstreaming中foreachRDD的三层嵌套使用原因
https://www.cnblogs.com/oush/p/11489126.html这位大佬描述的很详细！
2019-11-22 11:21:02
318
原创 输入源是kafka的sparkstreaming出现的错误
19/11/22 08:50:24 ERROR StreamingContext: Error starting the context, marking it as stoppedjava.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to execu...
2019-11-22 08:58:53
186
原创 SparkStreaming版本引发的问题
Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1499) at org.apache.spark.scheduler.DAGScheduler...
2019-11-21 15:28:59
321
原创 javaweb字符编码问题的一些自我总结(不定时更新)
关于web.xml在web.xml中配置编码过滤器其实起作用的是源码中的一句话request.setCharacterEncoding(this.encoding);post方式把数据放在请求体中get方式把数据放在请求头当中设置字符编码只对请求体有作用只对post有用，对get没用想对get方式起作用需要在tomcat的server.xml在端口号8080标签上加一个属性ur...
2019-11-11 10:12:06
91
原创 简单数据仓库知识点总结(2)
收集Flume收集Flume使用的各个组件使用TailDir Source因为他可以实现断点续传功能，在flume1.6中我们则需要自定义source实现断点续传使用Kafka Channel因为使用它省略了sink阶段提高了很多效率，使数据直接通到kafka中在flume中要自定义两个拦截器在数据传输第一层进行初步过滤脏数据和不符合我们规则的数据和将数据分成类型发给不同的topic...
2019-11-09 12:27:27
134
原创 简单数据仓库知识点总结(1)
数据仓库概念数据仓库（Data Warehouse）简称DW或DWH，是数据库的一种概念上的升级，可以说是为满足新需求设计的一种新数据库，而这个数据库是需容纳更多的数据，更加庞大的数据集。是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。搭建数据仓...
2019-11-09 10:04:58
319
原创 nginx反向代理和负载均衡
修改nginx的conf目录中nginx.conf配置文件1.配置文件包含三部分(1).全局块：配置服务器整体运行的配置指令比如 worker_processes 1; 处理并发数的配置(2)events 块 ：影响 Nginx 服务器与用户的网络连接比如 worker_connections 1024; 支持的最大连接数为 1024(3)http 块：这个模块还包含两个部分...
2019-10-23 12:54:42
73
原创 文件引用路径问题
路径分为绝对路径和相对路径绝对路径：不可以改变的路径1.在本地路径中以根目录开头的路径例：D:/test/test.txt2.网络路径中以协议，域名，端口号开头的路径例：https://www.csdn.net/nav/java相对路径：可以改变的路径有多种写法，以一个基准路径，根据此定位查找相应资源这是相对路径的几种写法<link rel="stylesheet" href...
2019-09-19 23:09:17
752
原创 servlet生命周期
servlet生命周期：1 默认情况下1）创建：在用户第一次访问时创建2）初始化：在创建后马上初始化3）执行：初始化后会执行service方法（只有第一次访问会创建初始化并执行service方法）4）销毁：当Servlet服务器正常关闭时，执行destroy方法，只执行一次2 在web.xml中增加1后1）创建初始化：在服务器启动时创建初始化2）执行：在用户访问时执行service...
2019-09-18 23:29:05
54
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人