- 博客(6)
- 收藏
- 关注
RSS订阅转载 【无标题】
RDD、DataFrame、DataSet介绍我们每天都在基于框架开发，对于我们来说，一套易于使用的API太重要了。对于Spark来说，有三套API。image-20210201000858671分别是：RDDDataFrameDataSet三套的API，开发人员就要学三套。不过，从Spark 2.2开始，DataFrame和DataSet的API已经统一了。而编写Spark程序的时候，RDD已经慢慢退出我们的视野了。但Spark既然提供三套API，我们到底什么时候用RDD、什么时候用Dat
2021-12-23 09:51:01
112
原创 oracle 将以逗号分隔的列拆成多行的的方法
**oracle 将以逗号分隔的列拆成多行的的方法**原表如下1select * from V_RES_CARD_LINKED将列拆分成多行的语句select REGEXP_SUBSTR(ASSET_CODE, ‘[^,]+’, 1, L) AS ASSET_CODE,rackname,type from v_res_card_linked,(SELECT LEVEL L FROM DUAL CONNECT BY LEVEL <= 1000)WHERE L(+) <= LEN
2021-09-10 14:02:24
2650
原创 Kudu的个人简单介绍
1.kudu事物strong的事务，kudu的事务和架构受spanner和calvin系统的启发 Transaction Semantics ( 事务语义 )不支持多行事物。2.查询条件关联语句，应用场景，性能测试创建关联表CREATE TABLE spark_kudu_test(id1 int, id2 int, id3 string) USING org.apache.kudu.spark.kudu OPTIONS(“kudu.master” “node1:7051,node2:7051,no
2020-11-27 16:45:21
165
转载 RC ORC Parquet 格式比较和性能测试
为什么要比较这三者为什么要比较，起因是为了提高Hadoop集群的存储和计算效率，尤其是离线Hive作业的效率，为什么比较的是这三者，是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种主流的相对成熟的文件格式对于ORC性能的评测，Hortonworks发过一篇被广泛传播和引用的博客 : ORCFILE IN HDP 2: BETTER COMPRESSION, BETTER PERFORMANCE这篇文章在ORC改进原理等方面说的比较客观，但是实际的benchmark比较数据，即使
2020-11-10 16:30:32
427
转载 Spark 为什么快
Spark 为什么快聊spark必须聊rdd, rdd 全英文 Resilient Distributed Datasets，搞懂这三个单词就完事了其实。Resilient能复原的，弹回的，有弹性的。谈谈spark的内存机制，spark的内存整体分外堆内内存和对外内存，而在内存的使用上又分为数据内存和运行内存，就是数据存储和程序运行。堆内内存的管理并不完全依托与jvm，jvm对于所有的对象都要序列化为二进制字节流，本质上是就是将不连续的空间转换为连续的空间并且需要的空间也会小，相应的也就有反序列化。
2020-11-10 15:55:29
555
原创 数仓分层
数仓分层一.分层的作用二、ODS (opreational data store)三、DWD(data warehouse detail)**1.概览2.步骤4.具体需要做的事情5.举例四、DIM1.概念2.举例五、DWS(data warehouse service)1.概念2.举例六、DM(data market)1.概念2.举例七、APP/ADS1.概念2.举例一.分层的作用数仓分层的目的是：逐层解耦，减少重复计算，降低烟囱式开发。 越到底层，越接近业务发生的
2020-10-23 10:42:04
1693
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人