wocawuliao-CSDN博客

原创 Delta, Hudi, Iceberg对比

概述Delta商业版功能相对完善, 是由Databricks主推其他计算引擎的优先级是弱于Spark的并且付费, 社区版是商业版的简化, 功能支持没有商业版完善, 适合Spark为核心技术组件的公司.Hudi同样紧耦合Spark功能相对比较完善,但是扩展性比较差, 使用其他计算引擎的话开发工作量较大. 适合Spark为核心技术组件的公司.Iceberg设计之初就是定位于提供一个开放可扩展的表格式, 因此扩展性最好, 不和任何计算引擎强耦合.对Flink的支持度相对完善.目前缺少小文件合并功能, 在upse

2022-01-19 19:54:08 1584

原创 Hadoop集群增加节点/增加磁盘

在虚拟机中新建一个机器。设置静态IP将修改/etc/hosts 192.168.102.10 master 192.168.102.11 slave-1 192.168.102.12 slave-2 192.168.102.13 slave-3 192.168.102.14 slave-4 在然后在其他节点hosts文件中增加 192.168.102.14 slave-4修改hostname 命令hostnamectl set-hostname Slave-4 通过hostna.

2021-11-21 15:41:19 1288

原创 MapReduce执行流程

数据处理总流程MapReduce计算框架体现的是一个分治的思想。及将待处理的数据分片在每个数据分片上并行运行相同逻辑的map()函数，然后将每一个数据分片的处理结果汇集到reduce()函数进行规约整理，最后输出结果。总体上来说MapReduce的处理流程从逻辑上看并不复杂。对于应用Hadoop进行数据分析的开发人员来说，只需实现map()方法和reduce()方法就能完成大部分的工作。正是因为Hadoop逻辑上和开发上都不复杂使它被广泛的应用于各行各业。 Map阶段 Map阶段更为详细的处理

2021-11-09 12:38:19 1447

原创 Iceberg概述

背景随着大数据领域的不断发展, 越来越多的概念被提出并应用到生产中而数据湖概念就是其中之一, 其概念参照阿里云的简介: 数据湖是一个集中式存储库, 可存储任意规模结构化和非结构化数据, 支持大数据和AI计算.数据湖构建服务（Data Lake Formation, DLF）作为云原生数据湖架构核心组成部分, 帮助用户简单快速地构建云原生数据湖解决方案. 数据湖构建提供湖上元数据统一管理、企业级权限控制, 并无缝对接多种计算引擎, 打破数据孤岛, 洞察业务价值.数据湖解决方案中关键的一个环节就是数据存储和

2021-11-05 18:10:12 888

算法导论第三版

这本书就无需多介绍勒。。。绝对的程序员必读数目程序员进阶

2013-11-21

HTML.5与CSS.3权威指南源代码

《HTML 5与CSS 3权威指南》内容系统而全面，详尽地讲解了html 5和css 3的所有新功能和新特性；技术新颖，所有知识点都紧跟html 5与css 3的最新发展动态（html 5和css 3仍在不断完善之中）；实战性强（包含246个示例页面），不仅每个知识点都配有精心设计的小案例（便于动手实践），而且还有两个综合性的案例（体现用 html 5与css 3开发web应用的思维和方法）。本书不仅能满足你全面而系统地学习理论知识的需求，还能满足你需要充分实践的需求。

2013-05-25

HTML.5与CSS.3权威指南

如果你是一位有前瞻性的web前端工作者，那么你一定会从本书中受益，因为它就是专门为你打造的。《HTML 5与CSS 3权威指南》内容系统而全面，详尽地讲解了html 5和css 3的所有新功能和新特性；技术新颖，所有知识点都紧跟html 5与css 3的最新发展动态（html 5和css 3仍在不断完善之中）；实战性强（包含246个示例页面），不仅每个知识点都配有精心设计的小案例（便于动手实践），而且还有两个综合性的案例（体现用 html 5与css 3开发web应用的思维和方法）。本书不仅能满足你全面而系统地学习理论知识的需求，还能满足你需要充分实践的需求。《HTML 5与CSS 3权威指南》共分为三大部分，第一部分详尽地讲解了html 5的相关知识，包括各主流浏览器对html 5的支持情况、html 5与html 4在语法上的区别、html 5的结构元素、表单与文件、图形绘制、多媒体播放、本地存储、离线应用、通信api、web workers、地理位置信息获取等内容；第二部分详细地阐述了css 3的相关知识，涵盖选择器、文字与字体的相关样式、颜色的相关样式、盒的相关样式、背景与边框的相关样式、布局的相关样式、ui的相关样式、media queries的相关样式、变形处理、多媒体和动画等内容。第三部分以迭代的方式逐步展现了两个完整的案例，旨在帮助读者将理论知识贯穿于实践中，迅速成为新一代web开发技术中的弄潮儿。无论你是未入门或刚入门的前端新人，还是有多年工作经验的资深前端工程师，这本书都会很适合你。作者简介 · · · · · · 陆凌牛，资深Web开发工程师、软件开发工程师和系统设计师。从事Web开发多年，对各种Web开发技术（包括前端和后端）都有非常深入的研究，经验极其丰富。HTML 5和CSS 3等新技术的先驱者和布道者，不仅对HTML 5与CSS 3的理论知识有比较深入的认识，而且已经大量在实践中付诸应用。此外，他还擅长微软与Java的相关技术，在C#、VB.NET、ASP.NET、SQL Server 、Oracle、Java、Struts、Spring、Hibernate等方面也积累大量的实战经验。