u014657468-CSDN博客

原创 spark-sql遇到的问题

spark sql中使用$来引用字段时，需引入import spark.implicits._，否则会报错session读取json文件的时候，默认一行作为一个完整的json解析，若实际的json串行，则会报错：ERROR FileFormatWriter: Aborting job null.org.apache.spark.sql.AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disall.

2021-02-02 11:08:39 1497

原创 mysql中count(*)和information_schema.tables中值不相同

问题在查看mysql表中，发现从information_schema.tables中TABLE_ROWS获取的表的行值，与实际select count(*) from xxx的结果值是不一样的在官网中，解释如下：结论针对 MyISAM引擎的表，行数是确定的值针对其他引擎的表，行数只是一个大概值不过INFORMATION_SCHEMA库下的表为NULL...

2020-10-12 11:53:47 1822

原创侧输出流中的type mismatch错误解决

问题Error:(54, 16) type mismatch; found : org.apache.flink.streaming.api.scala.OutputTag[String] required: org.apache.flink.util.OutputTag[Any]Note: String <: Any, but Java-defined class OutputTag is invariant in type T.You may wish to investigate

2020-09-14 09:42:38 6538

原创 flink kafkaSink自定义序列化类

import java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.kafka.{FlinkKafkaConsumer011, FlinkKafkaProducer011}import org.apac

2020-09-09 11:56:05 1712

原创 Array数组定义及初始化在java和scala中的对比

上scala下java//----------------------------------------------------------val z = Array("hello","worlds","haha")String[] z = {"hello","worlds","haha"}String[] z = new String[] {"hello","worlds","haha"}//-----------------------------------------------

2020-09-08 16:49:08 291

原创 flink RedisSink

测试RedisSink存入redis中String，Hash，SortedSet三种类型的数据仅供记录，避免遗忘！！！代码import org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.redis.RedisSinkimport org.apache.flink.streaming.connectors.redis.common.config.FlinkJedisPoolConfig

2020-09-08 15:16:25 249

原创 windows下flink 8081页面taskmanager无输出

flink监控socket 6666端口，执行普通的wordcount程序问题描述：正常是下图的位置输出程序中要输出的东西但是提交任务到8081页面后，所有输出都不在taskmanager中显示，而是显示在启动flink时弹出的java框内解决windows搭建flink，在cmd启动flink的时候，会弹出两个cmd框，使用jps查看新增的进程有：3328 TaskManagerRunner8800 StandaloneSessionClusterEntrypoint由此可知，确实输出

2020-09-04 11:19:37 1670 5

原创文件编码

查看文件编码格式：123.txtvi 123.txt:set fileencoding回车即可查看编码或者file 文件名file 123.txt123.txt: ASCII textfile -i 123.txt 123.txt: text/plain; charset=us-ascii编码转化：iconv

2020-08-26 10:44:13 115

原创 protobuf Java实战

protobuf官网：https://developers.google.cn/protocol-buffers/protocol buffers 是一种语言无关、平台无关、可扩展的序列化结构数据的方法，它可用于（数据）通信协议、数据存储等。首先，创建.protoc文件ExampleTT.protosyntax = "proto3";option java_outer_classname = "Example";// message 定义message ExampleL { st

2020-07-24 16:35:38 894

原创 hive与mysql的正则匹配

hive的正则有like和rlikelike的匹配符号_和%rlike的匹配符号较多，包括java正则表达式中所有mysql的正则匹配like支持的符号为_和%->mysql和hive的like用法一样，匹配符号也一样

2020-06-12 11:02:53 240

原创 mysql的datetime类型

时间类型：DATETIME 范围：1000-01-01 00:00:00/9999-12-31 23:59:59 格式：YYYY-MM-DD HH:MM:SS在插入的数据格式有小问题时，会自动调整，测试如下????--建表语句create table test(finish_date datetime)insert into test values('2020-06-09 09:57:00');insert into test values('2020-6-9 10:00:00');

2020-06-09 10:11:30 3350

原创 mysql repeat循环与10

repeat循环主体delimiter #CREATE PROCEDURE repeat_test()BEGINdeclare i int default 1;repeatselect i;set i=i+1;until i=17 end repeat;END#调用：call repeat_test问题：在navicat和命令行中使用输出的结果不同在navicat中只能循环10次使用命令行可以按照正常逻辑执行到16在navicat中的截图使用命令行的形式(仅截取部分)

2020-05-26 11:35:37 810

原创 hive部分时间函数

时间运算参数日期格式：‘yyyy-MM-dd HH:mm:ss’ or ‘yyyy-MM-dd’current_date()hive > select current_date();OK2020-05-15date_diff(date1,date2) date1，date2时间差hive> select datediff('2020-05-25','2020-05-05') ;OK20date_add(date,day) date的day天后hive> se

2020-05-15 11:58:57 144

原创 Invalid argument during startup: unknown conf file parameter : masterauth

所遇问题过程描述在搭建redis集群时，在未进行修改masterauth，只修改slaveof和port的情况下，启动从数据库步骤复制一份redis.windows.conf为redis.windows-slave1.conf仅更改：1，slaveof 127.0.0.1 63792，port 6380执行：redis-server.exe redis.windows-slave1.conf报错：(Non critical) Master does not understand REP

2020-05-13 13:08:24 1096

原创 double中NULL存在下的全部

create table test(a double);insert into test values(99999),(123),(NULL);查看结果如下：按逻辑来说，认为a=99999和a!=99999应该能包含全部数据但是double中（a=99999和a!=99999）只是包含了double类型的全部，并没有包含NULL，导致在后续操作中数据缺失注：往doubl...

2020-03-31 11:50:08 826

原创 hive插入表数据以及出现问题的解决

表结构create table tableName(field1 string,field2 string,field3 string,field4 string,field5 string)插入hive中使用的格式如下：插入一行（不带字段名）insert into tableName values(‘x1’,‘x2’,‘x3’,‘x4’,‘x5’)插入一行（带字段名）...

2019-12-02 14:46:52 7959 7

u014657468的博客