- 博客(67)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 hologres jsonb_build_object更新多个json的值
jsonb_build_object('contact', to_jsonb(contact)) ||jsonb_build_object('manual_consulter', to_jsonb(manual_consulter))
2023-05-18 15:12:29
186
原创 hologres jsonb_set 更新多个json的值
使用jsonb_set函数来更新多个JSON对象的值。此函数接受三个参数：第一个参数是要更新的JSON对象，第二个参数是要更新的路径，第三个参数是要更新的新值。这是因为jsonb_set返回一个单独的JSON对象，但您需要更新多个对象。在这个示例中，我们使用了路径{details,age}，其中details是my_json对象中的键，而age则是details对象中的键。此示例将名为“John”的新名称和新地址（包括城市和州）添加到my_table表中的JSON对象中，该表具有my_id为123的主键。
2023-05-18 15:11:12
465
原创 记一次impala union之后查不出结果的问题
select * from (SELECT * FROM tableaUNION ALL SELECT * FROM tablebUNION ALL SELECT * FROM tablec) x where id='123'已知：id='123’这条记录在tableb中是存在的但是三个表union之后再查就查不到了原因是union使用的是*tablea结构： id，nametableb结构：name，idtablec结果：id，nameunion之后字段错位，所以查不到，需要
2022-05-27 10:54:41
765
原创 python selenium Exception:element not interactable
D:\software\python3\python.exe C:\Users\h220406010\AppData\Roaming\JetBrains\IntelliJIdea2021.1\plugins\python\helpers\pydev\pydevd.py --multiproc --qt-support=auto --client 127.0.0.1 --port 52944 --file E:/myworkspace/nanxiuzi_learn/baserocks/python/Sele.
2022-05-16 09:32:07
2161
3
原创 部分函数 hologres和presto 两者替换
presto查询过于慢切换到holo这边有些函数就没法用的 holo这边支持的是postgresql的函数的子集和标准sqlpresto: date_parse('2022-05-02','%Y-%m-%s') holo: to_timestamp('2022-05-02','YYYY-MM-DD')presto: lower(to_hex(md5(to_utf8(string)))holo: lower(md5(string))...
2022-05-06 16:13:17
745
原创 window python 安装pip
pip · PyPI在D:\download\pip-22.0.4.tar\pip-22.0.4\pip-22.0.4 执行python setup.py install添加环境变量D:\software\python3\Scripts去python的目录找
2022-04-07 12:28:08
833
原创 Flink CheckPoint流程
Flink JobManager会创建一个Checkpoint Coordinator（检查点协调器）并由Coordinator向source发送Barrier，source收到barrier之后进行备份，并存储到hdfs或者其他介质当中source同时做两步操作（向Coordinator汇报已经完成备份，向下游算子发送Barrier）下游算子收到Barrier之后同样会进行备份操作下游算子同时做两步操作（向Coordinator汇报已经完成备份，向下游算子发送Barrier）重复上面操
2022-02-11 15:41:32
935
原创 创建定时任务删除Oracle分区
--建测试分区表CREATE TABLE "DB"."NXZ_TEST" ( "name" VARCHAR2(400), "dates" TIMESTAMP (6) DEFAULT sysdate, CONSTRAINT "NXZ_TEST_PK" PRIMARY KEY ("name") USING INDEX PCTFREE 10 INITRANS 2 MAXTRANS 255 STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1
2022-02-11 14:29:56
695
原创 SQL 错误 [1064] [42000]: The partition column could not be aggregated column
starrocks 建表报这个错原因是分区列 没有加到 unique key里面
2022-01-18 10:35:24
2341
原创 Flink 1.13: 进来的第一条数据属于哪个窗口
demo代码ingleOutputStreamOperator<Order> result = orderDSWithWatermark.keyBy(Order::getUserId) .window(TumblingEventTimeWindows.of(Time.seconds(5))) .sum("money");我们进入设断点到flink=》org.apache.flink.streaming.api.wind
2021-09-07 16:46:36
156
原创 Flink1.13：报错No ExecutorFactory found to execute the application.
错误如下：Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:88) at org.apac.
2021-09-07 13:45:39
922
原创 flink错误：Field expressions are only supported on POJO types, tuples, and case classes
D:\SoftWareHome\java\bin\java.exe "-javaagent:D:\SoftWareHome\IntelliJ IDEA 2021.1.2\lib\idea_rt.jar=62554:D:\SoftWareHome\IntelliJ IDEA 2021.1.2\bin" -Dfile.encoding=UTF-8 -classpath D:\SoftWareHome\java\jre\lib\charsets.jar;D:\SoftWareHome\java\jre\lib\.
2021-09-07 11:38:29
652
原创 Flink1.12 API 读取并执行SQL文件，实现FLINKSQL SHELL功能
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"&g
2021-07-30 16:11:06
862
原创 Flink1.12 API消费OGG推送的kafka写入Oracle
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav
2021-07-30 16:04:28
754
原创 Flink 1.12同步kafka写clickhouse
**POM文件**<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache
2021-07-30 15:47:37
253
原创 SQL开窗函数学习（二）
SELECT id,P_DESC ,PRICE,ROW_NUMBER () over( ORDER BY PRICE ) AS ROW_NUMBER_ ,RANK () over( ORDER BY PRICE ) AS RANK_ ,DENSE_RANK () over( ORDER BY PRICE ) AS DENSE_RANK_ FROM TEST4 ORDER BY PRICE; IDP_DESCPRICEROW_NUMBER_RANK_DENSE_RA
2021-07-30 11:24:41
84
原创 SQL开窗函数学习（一）
开窗函数模式：分析函数（sum()…） over( [partition by xxx] order by xxx [desc] [ROWS BETWEEN xxx and xxx]) as xxxeg: SUM(price) OVER(partition by p_desc order by price)CREATE TABLE "TEST4" ( "ID" VARCHAR2(100), "P_DESC" VARCHAR2(100), "PRICE" NUMBER(2,0) )
2021-07-30 10:57:27
437
原创 clickhouse删除分布式表
tablea在psd和psdlocal要彻底清空数据的话，要这么操作TRUNCATE table tablea on cluster clustername;
2021-07-26 14:20:26
3456
1
原创 ClickHouse实现lag功能，非时间列位移
ch版本：20.4.2.9要实现非时间列lag能力有两列：stime和states主要用到的函数：arraysort函数是对array进行排序，一般来说arraysort是针对一个列，但是我们这哥states是没有办法进行排序的，所以借助stime这一列进行辅助排序select arraymap(k,l->(k,l),arraysort((x,y)->y,grouparray(states),groupbyarray(stime)) as arr1,arrayP
2021-07-21 15:10:35
1108
原创 南修子|数组和列表介绍
Array数组注意：scala访问数组下标是用的小括号！或者是List的用法介绍：：用法::，两个冒号就是把左边的加到右边的最前方读作“cons”：：：的用法介绍:::三个冒号，实现类似叠加的功能，看下面示例代码...
2021-06-15 14:30:33
61
原创 南修子|关于循环
一般语言里面循环，无外乎while和for，foreach等scala中while的示例：scala中不能用 =》 i++ ，只能是i+=1或者i=1+1scala中的分号是可选的，写了的话，我觉得可读性更强点接下来看一下，scala函数字面量的语法for循环to和until注意区别，一个是包含边界，一个是不包含边界带条件的for语句嵌套for循环先这样，后面再补充...
2021-06-15 14:10:31
58
原创 南修子|函数定义
scala的函数和其他语言的方法是一个意思下面的scala函数的基本结构：例：返回结果类型推断如果函数体在一行内的话，可以不写大括号没有返回类型的方式：没有返回类型的话，默认是Unit，可以自己写上Unit，这个Unit就相当于Java当中的Void类型...
2021-06-15 13:32:29
1064
1
原创 南修子|关于变量的定义
在scala中变量定义分为两种：val和varval代表定义之后不可改变类似于JAVA中的final，一旦被赋值，就不能再被修改了var定义之后可以改变scala具有类型推断的能力：指定变量类型scala的语言规范，类型写在变量名的后面，并且用 ： 冒号隔开一般针对类似scala这种具有类型推断的语言，就没有必要再自己去指定类型了...
2021-06-15 09:30:36
74
原创 Flinksql 读取kafka问题
一个线上flink1.12 sql 读取kafka源的发现，刚开始用这个东西，发现了就及时记录，建kafka表的时候，字段名字要和toplic里面的字段一致，大小写要保持一致，不然读不到数据，er
2021-06-03 14:27:14
835
原创 Idea遇到IntelliJ Cannot find declaration to goto-
今天打开了包含Scala的项目，在代码转File=》Project Structure=》Modules=》找到你不能跳转的那个包 把他设置成Sources就可以了
2021-06-03 14:24:37
420
原创 kafka_3_设计及结构
kafka设计目标高吞吐在廉价的商用机器上单机可支持每秒100万条消息的读写消息持久化所有消息均被持久化到磁盘，无消息丢失，支持消息重放完全分布式Producer , Broker , Consumer均支持水平扩展同时满足适应在线流处理和离线批处理先启动zookeeper，后启动broker...
2021-04-14 10:35:34
55
原创 kafka_2_消息系统使用场景
解耦无需关注各系统业务，直接通过这个消息系统的统一接口交换数据冗余部分消息系统具有消息持久化功能，这个很重要，可以规避消息处理前丢失的风险扩展消息系统是统一的数据接口，各系统可独立扩展峰值处理能力消息系统可顶住峰值流量，业务系统可根据处理能力从消息系统中获取并处理对应量的请求可恢复性系统中部分组件失效并不会影响整个系统，它恢复后仍然可以从消息系统中获取并处理数据异步通信在不需要立即处理请求的场景下，可以将请求放入消息系统，合适的时候再处理.
2021-04-14 10:18:38
93
原创 kafka_1_消息系统分类
Peer_to_Peer(Peer->同等地位的人)一般基于Pull或者Polling接收消息发送到队列中的消息被一个而且仅仅一个接受者所接收即使有多个接受者在同一个队列中侦听同一个消息即支持异步“即发即弃”的消息传送方式，也支持同步请求/应答传送方式发布/订阅发布到一个主题的消息，可被多个订阅者所接收发布/订阅即可基于Push消费数据，也可以基于Pull或者Polling消费数据解耦能力比P2P模型更强...
2021-04-14 10:09:46
236
原创 南修子学Hbase-Hbase实战项目-xx微博
我们用三张表来实现1：内容表rowkey：uid+“_”+tscf：只有一个列族就是info，info里面有一个列content，因为一个人可能发非常多的微博，使用添加列或者多个版本的形式都不适合,value就是微博内容2：用户关系表rowkey：uidcf1：attends 多个列：uid 这个代表了该用户关注了谁，一个用户使用一个列，value也是uidcf2：fans 多个列：uid 这个代表了该用户的粉丝，一个用户使用一个列，value也是uid3：微博收件箱表rowk.
2021-04-09 14:33:10
161
原创 南修子学Hbase-Hbase优化之Rowkey设计
Rowkey三个设计原则散列性：数据尽量均匀的分布在多个分区，避免热点问题唯一性：Rowkey唯一长度原则：70-100位设计Rowkey之前先预分区，因为散列性跟多分区挂钩1，生成随机数，hash，散列值2，字符串反转3，下面我们准备分300个分区，那就是299个分区键，所以前三位就是用来分区用的，|比_大，可以把Rowkey拦截下来，所以直接就不看后面的数值就会直接落到该分区分区键000|001|002|...298|Rowkey000_001_002_.
2021-04-07 17:18:37
132
原创 南修子学Hbase-Hbase优化之预分区
之前测试的都是默认的一个分区创建一个预分区的表hbase(main):019:0> create 'pre_region_student','info','partition1',SPLITS=>['1000','2000','3000','4000','5000']通过文件内容进行分区hbase(main):019:0> create 'pre_region_student','info','partition1',SPLITS_FILE=>'split..
2021-04-07 16:08:45
76
原创 南修子学Hbase-Hbase优化之高可用
当active节点挂了之后，其余的HMaster都会去请求zk，谁先请求到zk，谁就是active节点了，其余继续standby
2021-04-07 15:04:25
58
原创 南修子学Hbase-Hbase-Hive关联表
两个框架要关联，需要相互操作的包 我这边是cdh6.3cp /opt/cloudera/parcels/CDH/lib/hive/lib/hive-hbase-handler.jar /opt/cloudera/parcels/CDH/lib/hbase/libhive 建表语句create table hive_hbase_student(id int,name string,address string) STORED BY 'org.apache.hadoop.hive.hba.
2021-04-07 14:48:24
101
原创 南修子学Hbase-Hbase与Hive的对比
Hive:数据仓库Hive的本质其实就相当于将Hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询用于数据分析和清洗Hive适用于离线的数据分析和清洗，延迟较高基于HDFS、MapReduceHive存储的数据依旧在DataNode上，编写的HQL语句最终转换成MapReduce代码去执行HBase数据库是一种面向列族存储的非关系型数据库用于存储结构化和非结构化的数据非结构化用统一资源定位符的方式（就是存储一个资源地址），适用于单表非关系型数据的存储，不适
2021-04-01 14:49:53
82
原创 南修子学Hbase-Hbase-读hbase表并写入另一张表
Mapper类package org.nanxiuzi.hbase_demo.mr.read;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.io.Immut
2021-04-01 11:12:20
340
doc2help破解版
2013-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人