- 博客(15)
- 收藏
- 关注
RSS订阅
原创 mac使用rz sz报错 waiting to receive.**B0100000023be50最新解决方案
mac使用rz sz报错 waiting to receive.**B0100000023be50最新解决方案](这里写自定义目录标题)欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓...
2019-12-11 17:17:02
16490
原创 Flink1.11.2报错:Field reference expression or alias on field expression expected.
Flink1.11.2val dim_reserve = tenv.createTemporaryView(“dim_reserve”, dataSource,“class_year”)报错如下:Field reference expression or alias on field expression expected.改错val dim_reserve = tenv.createTemporaryView(“dim_reserve”, dataSource,‘class_year)执行成功
2020-11-04 15:05:25
1072
原创 hive用timestamp类型的时间与string类型比较大小时遇到的坑
SELECT date_format(a.start_time, 'yyyy-MM-dd') AS `date`, COUNT(*) AS `排课课节数`, SUM(a.stu_num) AS `排课学生人次`, count(case when a.category=0 then 1 end) as `1v1课节数`, sum(case when a.category=0 then a.stu_num end) as `1v1学生人次`, count(cas
2020-07-07 13:37:16
6685
1
转载 Oracle开发之：窗口函数 （转） rows between unbounded preceding and current row
目录=========================================1.窗口函数简介2.窗口函数示例-全统计3.窗口函数进阶-滚动统计(累积/均值)4.窗口函数进阶-根据时间范围统计5.窗口函数进阶-first_value/last_value6.窗口函数进阶-比较相邻记录一、窗口函数简介：到目前为止，我们所学习的分析函数在计算/统计一段时间内的数据时特别有用，但是假如计算/统计需要随着遍历记录集的...
2020-07-03 17:20:22
1004
原创 No type found for column type entry 3
hive中orc表如果新增或者修改表结构可能查询会报错:Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: No type found for column type entry 3at org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatchCtx.addScratchColumnsToBatch(VectorizedRowBatchCtx.java:604)at org.a
2020-06-29 17:17:58
432
转载 Hive 优化策略
目录一、Hadoop 框架计算特性二、优化常用手段三、排序选择四、怎样做笛卡尔积五、怎样写 in/exists 语句六、设置合理的 maptask 数量七、小文件合并八、设置合理的 reduceTask 的数量九、合并 MapReduce 操作十、合理利用分桶：Bucketing 和 Sampling十一、合理利用分区：Partition 十二、Join 优化十三、Group By 优化 1、Map 端部分聚合2、使用 Group By 有数据倾斜的时候进行负载均衡十四、合理利用文件存储
2020-06-04 17:25:43
112
原创 数据库事务隔离级别
数据库隔离级别：是在在数据库操作中，为了有效保证并发读取数据的正确性提出的。 隔离级别越高，越能保证数据的完整性和一致性，但是对并发性能的影响也越大。对于多数应用程序，可以优先考虑把数据库系统的隔离级别设为Read Committed。它能够避免脏读取，而且具有较好的并发性能。尽管它会导致不可重复读、幻读和第二类丢失更新这些并发问题，在可能出现这类问题的个别场合，可以由应用程序采用悲观锁或乐观锁来控制。数据库的几种隔离级别：READ UNCOMMITTED（读未提交数据）：允许事务读取...
2020-06-04 11:52:08
127
转载 如何转载博客
转载来源：https://blog.csdn.net/yanmantian/article/details/53256765 ...
2020-06-04 11:33:21
310
3
转载 什么是OLTP?
译自：http://database.guide/what-is-oltp/OLTP (Online Transactional Processing，联机事务...
2020-06-04 11:29:48
4078
原创 Maxwell的数据倾斜问题(kafka中partition分配不均)
在我的这篇博客中记录了maxwell的使用https://editor.csdn.net/md/?articleId=103722587,先对大家说声抱歉,因为我感觉误导了很多初学者,包括我自己也被误导,那就是Maxwell将数据发送到kafka之后导致的数据倾斜问题,下面我来纠正一下我们一般启动maxwell会执行类似的命令./maxwell --config ../config.prop...
2020-01-17 15:54:50
1675
转载 一文搞定数据仓库之拉链表，流水表，全量表，增量表
全量表：每天的所有的最新状态的数据，增量表：每天的新增数据，增量数据是上次导出之后的新数据。拉链表：维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录而已,通过拉链表可以很方便的还原出拉链时点的客户记录。流水表： 对于表的每一个修改都会记录，可以用于反映实际记录的变更。拉链表通常是对账户信息的历史变动进行处理保留的...
2020-01-03 14:40:19
236
原创 mysql+maxwell+kafka+flink+kafka=>落库(mysql+hbase等),监控mysql某个数据库的动态变化(insert,delete,update操作)
1.maxwell安装配置服务器上执行 wget https://github.com/zendesk/maxwell/releases/download/v1.10.7/maxwell-1.10.7.tar.gz2.解压tar -zxvf maxwell-1.10.7.tar.gz3.mysql配置修改mysql配置文件vim /etc/my.cnf[mysqld]#原来有的参...
2019-12-27 16:32:00
1277
原创 BatchTableEnvironment引入的Maven依赖
不要引入这个maven依赖(scala)org.apache.flinkflink-table-api-scala_2.12${flink.version}这个依赖里有对应的方法(scala)org.apache.flinkflink-table-api-scala-bridge_2.121.9.0...
2019-12-23 17:33:23
4568
原创 Flink小白大坑
Caused by: java.lang.Exception: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)Vpom文件中导入依赖org.apache.kafkakafka-clients0.9.0.1...
2019-12-18 21:15:16
95
转载 equals()与equalsIgnoreCase()对比
“==”:①基本类型比较的是值；②引用类型比较的是地址；③不同类型不能用它比较，无法通过编译。equals（Object obj）：①用于应用类型的比较；②String重写Object的equals方法，先用“==”判断地址，地址相同则直接返回true；然后再比较类型，类型不同则直接返回false；最后才比较内容。代码如下：public boolean equals(Object a...
2019-12-16 13:42:50
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人