- 博客(120)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Flink一致性的保障
Flink的一个重大价值在于，它既保证了exactly-once，也具有低延迟和高吞吐的处理能力。端到端严格一次即End-to-End Exactly-Once，从数据读取、引擎处理到写入外部存储的整个过程中，数据不重复、不丢失。端到端严格一次语义需要数据源支持可重放，外部存储支持事务机制，能够进行回滚。在Flink中，设计了两阶段提交协议，提供了框架级别的支持，即TwoPhaseCommitSinkFunctio。
2022-10-24 17:33:23
1789
1
翻译 【文档笔记】doris数据仓库-数据表设计：Rollup 与查询
Rollup 可以理解为 Table 的一个物化索引结构。物化 是因为其数据在物理上独立存储，而 索引 的意思是，Rollup可以调整列顺序以增加前缀索引的命中率，也可以减少key列以增加数据的聚合度。
2022-05-24 15:30:57
742
翻译 【文档笔记】doris数据仓库-数据表设计：数据模型及数据划分
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。
2022-05-23 15:36:03
1352
原创 【读书笔记】数据仓库- Apache Kylin权威指南
Apache Kylin的工作原理就是对数据模型做Cube预计算，并利用计算的结果加速查询。过程如下：（1）指定数据模型，定义维度和度量。（2）预计算Cube，计算所有Cuboid并将其保存为物化视图。（3）执行查询时，读取Cuboid，进行加工运算产生查询结果。
2022-05-07 14:32:58
660
原创 【读书笔记】YARN架构设计与实现原理
由于MRv2将资源管理功能抽象成了一个独立的通用系统YARN，直接导致下一代MapReduce的核心从单一的计算框架MapReduce转移为通用的资源管理系统YARN
2022-05-05 16:28:39
1350
原创 【信管师-资料总结篇】三、范围管理
项目范围管理1、项目的范围基准：经过批准的项目范围说明书、WBS 和 WBS 词典。2、判断项目范围是否完成，要以范围基准来衡量。产品范围是否完成，则根据产品是否满足了产品描述来判断。3、范围管理计划是制订项目管理计划过程和其他范围管理过程的主要输入，包含如下内容 ：（1）如何制订项目范围说明书。（2）如何根据范围说明书创建 WBS。（3）如何维护和批准 WBS。（4）如何确认和正式验收已完成的项目可交付成果。（5）如何处理项目范围说明书的变更，该工作与实施整体变更控制过程直接相联。4、
2022-03-19 18:00:17
577
原创 【信管师-资料总结篇】二、整体管理
项目整体管理，一方面体现完整和善始善终的意思，所以整体管理是唯一贯穿启动到收尾所有过程组的知识体系，从项目启动到项目收尾项目整体管理都得管，对于微型项目来讲，其它项目知识体系或过程组都可以裁剪，但整体管理则是最小的过程集，每一个过程对项目来讲都具有价值；另一方面取整合之意，主要是资源的整合，干系人的整合，对其它项目过程组的整合，项目四要素的整合。
2022-03-13 23:54:51
520
翻译 【阿里云原生架构】二、云原生架构的原则和模式
一、云原生架构原则云原生架构本身作为一种架构，也有若干架构原则作为应用架构的核心架构控制面，通过遵从这些架构原则可以让技术主管和架构师在做技术选择时不会出现大的偏差。1.1 服务化原则当代码规模超出小团队的合作范围时，就有必要进行服务化拆分了，包括拆分为微服务架构、小服务（Mini Service）架构，通过服务化架构把不同生命周期的模块分离出来，分别进行业务迭代，避免迭代频繁模块被慢速模块拖慢，从而加快整体的进度和稳定性。同时服务化架构以面向接口编程，服务内部的功能高度内聚，模块间通过公共功能
2021-04-15 22:41:04
1292
翻译 【阿里云原生架构】一、为什么需要云原生架构？
一、序回顾过去十年，数字化转型将科技创新与商业元素不断融合、重构，重新定义了新业态下的增长极。商业正在从大工业时代的固化范式进化成面向创新型商业组织与新商业物种的崭新模式。随着数字化转型在中国各行业广泛深入，不管是行业巨头，还是中小微企业都不得不面对数字化变革带来的未知机遇与挑战。数字化转型的十年，也是云计算高速发展的十年，这期间新技术不断演进、优秀开源项目大量涌现，云原生领域进入“火箭式”发展阶段。通过树立技术标准与构建开发者生态，开源将云计算实施逐渐标准化，大幅降低了开发者对于云平台的学习成本与接入
2021-04-15 22:39:00
444
原创 【Shiro】三、Apache Shiro授权功能的主要流程
一、Shiro框架的授权功能简介授权，也称为访问控制，是确定对应用程序中资源的访问权限的过程。换句话说，确定“谁有权访问什么”。授权用于回答安全性问题，例如“是否允许用户编辑帐户”，“是否允许该用户查看此网页”，“该用户是否有权访问此按钮？”这些都是决定用户有权访问哪些内容的决定，因此，所有决定都代表授权检查。授权是任何应用程序的关键要素，但它很快就会变得非常复杂。Shiro的目标是消除授权方面的许多复杂性，以便您可以更轻松地构建安全的软件。下面是Shiro授权功能的重点。优点： 基于主.
2021-04-01 18:00:58
272
原创 【Shiro】二、Apache Shiro验证功能的主要流程
一、Apache Shiro身份验证功能Shiro框架旨在使身份验证尽可能简洁直观，同时提供丰富的功能。下面是Shiro身份验证功能的特点。 基于主体的-您在Shiro中所做的几乎所有操作都基于当前正在执行的用户，即主体。而且，您可以轻松地在代码中的任何位置检索主体。这使您可以更轻松地在您的应用程序中理解和使用Shiro。 单一方法调用-身份验证过程是单一方法调用。只需要一个方法调用就可以使API保持简单，并且您的应用程序代码干净，从而节省了时间和精力。 丰富的异常层次结构-S
2021-04-01 17:59:39
268
原创 【Shiro】一、Apache Shiro安全框架简介
一、Shiro简介Apache Shiro（发音为“ shee-roh”，日语为“ castle”）是一种功能强大且易于使用的Java安全框架，可执行身份验证，授权，加密和会话管理，可用于保护任何应用程序的安全-从命令行应用程序，移动应用程序到最大的Web和企业应用程序。Shiro提供了用于执行以下方面的应用程序安全性API（我喜欢将它们称为应用程序安全性的4个基石）：身份验证-证明用户身份，通常称为用户“登录”。 授权-访问控制 密码术-保护或隐藏数据以防被撬 会话管理-每个用户的时间敏
2021-04-01 17:58:40
837
转载 【JWT】JWT认证原理、整合springboot流程实战应用
一、什么是JWTJSON Web Token (JWT) is an open standard ([RFC 7519](https://tools.ietf.org/html/rfc7519)) that defines a compact and self-contained way for securely transmitting information between parties as a JSON object. This information can be verified and
2021-03-28 15:16:23
204
原创 Mybatis-plus| You have an error in your SQL syntax the right syntax to use near ‘LIMIT 0,10‘
一、问题在使用Mybatis-plus自定义SQL语句进行查询时，需要用到分页插件进行分页，Mapper层的方法如下：@Select("select id, title, type_id,user_id, description,update_time,first_picture,views,comment_count from t_blog where update_time BETWEEN #{start_date} and #{end_date} ORDER BY update_time
2021-03-25 23:26:07
1418
1
原创 nginx| centos7.6中使用yum安装nginx1.6(亲测有效)
1.安装依赖使用nginx源码安装时会使用到gcc等编译工具，系统默认的可能缺少或者版本不对应，因此需要安装或升级一下：yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel2.下载Nginx1.6并解压cd /opt/software# 下载Nginx的压缩包wget http://nginx.org/download/nginx-1.16.0.tar.gz# 解压tar -xzf ngin...
2021-03-19 22:31:29
431
原创 云原生的未来会给我们带来哪些思考？
原文《云安全的下半场：原生安全》---绿盟科技刘文懋 中国计算机学会会刊2020年第12期文章云安全将成为纯安全问题关于云安全的未来，著名咨询机构高德纳 （Gartner）有两个比较有意思的论断 ：论断 1：网络安全的未来在云中，随着云计算的日益普及，企业上云已经成为必 然的趋势。Gartner 曾做出一个预测 ：在 2020 年前， 50% 的企业将业务工作流放到本地需要作为异常事 件进行审批，公司“无云”的策略会和现在“无网络” 的策略一样少。可见，云计算将成为企业各项应用 ...
2021-01-13 21:20:51
742
原创 docker教程| 二、docker组件之镜像的使用方法
我们知道镜像是 Docker 的三大组件之一。Docker 运行容器前需要本地存在对应的镜像，如果镜像不存在本地， Docker 会从镜像仓库下载（默认是Docker Hub 公共注册服务器中的仓库）。获取镜像可以使用 docker pull 命令来从仓库获取所需要的镜像。下面的例子将从 Docker Hub 仓库下载一个 Ubuntu 12.04 操作系统的镜像。$ sudo docker pull ubuntu:12.04Pulling repository ubuntuab8e272
2020-12-17 17:38:40
208
转载 什么是云原生架构？一文扫盲！
云原生包含了一组应用的模式，用于帮助企业快速，持续，可靠，规模化地交付业务软件。云原生由微服务架构，DevOps 和以容器为代表的敏捷基础架构组成。
2020-12-16 22:47:20
3619
转载 一文吃透AI芯片技术路线，清华尹首一教授演讲全文：GTIC2020
除尹首一教授外，在本届GTIC 2020 AI芯片创新峰会期间 ，比特大陆、地平线、黑芝麻智能、燧原科技、壁仞科技、光子算数、知存科技、亿智电子、豪微科技等芯片创企，全球FPGA领先玩家赛灵思，Imagination、安谋中国等知名IP供应商，全球EDA巨头Cadence，以及北极光创投、中芯聚源等知名投资机构，分别分享了对AI芯片产业的观察与思考。
2020-12-11 17:56:25
1012
原创 centos7 | All matches were filtered out by modular filtering for argument: mysql-community-server
问题场景：在尝试使用docker安装自定义centos环境时，使用dockfile文件创建镜像容器，在centos7镜像中使用yum安装mysql5.7。在安装过程中报错：All matches were filtered out by modular filtering for argument: mysql-community-server随后通过查看信息，并且在网上查阅资料最终解决问题。解决方案！！！：先执行：yum module disable mysql再执行：yum in
2020-12-10 21:22:02
6192
1
原创 docker教程| 一、一分钟轻松了解docker内部结构
什么是 DockerDocker 是一个开源项目，诞生于2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基亍 Google公司推出的 Go 语言实现。 项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub上进行维护。Docker 自开源后受到广泛的关注和认论，以至亍 dotCloud 公司后来都改名为 Docker Inc。 Redhat 已经在其 RHEL6.5 中集中支持 Docker； Google 也在其 PaaS 产品中广泛应
2020-12-10 16:44:07
270
原创 ES七| elasticsearch中的排序过程
默认情况下， 结果集会按照相关性进行排序 -- 相关性越高， 排名越靠前。在ElasticSearch的查询结果中， 相关性分值会用 _score 字段来给出一个浮点型的数值， 所以默认情况下， 结果集以 _score 进行倒序排列。过滤语句与 _score 没有关系， 但是有隐含的查询条件 match_all 为所有的文档的 _score设值为 1 。 也就相当于所有的文档相关性是相同的。
2020-11-30 16:42:50
2077
原创 【心得】| 基于百度paddlepaddle框架的图游走模型学习
引言我们都知道在数据结构中，图是一种基础且常用的结构。现实世界中许多场景可以抽象为一种图结构，如社交网络，交通网络，电商网站中用户与物品的关系等。目前提到图算法一般指：1. 经典数据结构与算法层面的：最小生成树(Prim,Kruskal,...)，最短路(Dijkstra,Floyed,...)，拓扑排序，关键路径等2. 概率图模型，涉及图的表示，推断和学习，详细可以参考Koller的书或者公开课3. 图神经网络，主要包括Graph Embedding(基于随机游走)和Graph CNN
2020-11-26 23:58:47
471
1
原创 ES六| elasticsearch的结构化查询DSL
请求体查询(下文简称查询)， 并不仅仅用来处理查询， 而且还可以高亮返回结果中的片段， 并且给出帮助你的用户找寻最好结果的相关数据建议。相对于神秘的查询字符串方法， 请求体查询允许我们使用结构化查询Query DSL(Query Domain Specific Language)。
2020-11-23 17:36:29
243
转载 图神经网络GCN
图神经网络GCN本案例将包含以下内容：一. 图机器学习（GML：Graph Machine Learning）首先我们导入需要的包import numpy as npimport randomimport networkx as nxfrom IPython.display import Imageimport matplotlib.pyplot as pltfrom sklearn.metrics import accuracy_scorefrom sklearn.metrics
2020-11-22 18:33:07
1421
1
原创 IDEA| java.lang.IllegalStateException: Failed to introspect Class [org.springframework.cloud.context
问题：java.lang.IllegalStateException: Failed to introspect Class [org.springframework.cloud.context.properties.ConfigurationPropertiesBeans] from ClassLoader [sun.misc.Launcher$AppClassLoader@18b4aac2]场景：在搭建springcloud项目时，创建eureka服务提供方时，启动时项目报错：org.spri
2020-11-20 16:08:56
9754
2
原创 ES五| Elasticsearch的映射(字段类型)和分析
Elasticsearch中的映射(mapping)机制用于进行字段类型确认， 将每个字段匹配为一种确定的数据类型( string , number , booleans , date 等)。分析(analysis)机制用于进行全文文本(Full Text)的分词， 以建立供搜索用的反向索引。通过这两者可以知道数据是如何在Elasticsearch中被索引的。
2020-11-19 17:45:56
1067
原创 ES四| 分布式增删查改
我们学习了将数据放入索引然后检索它们的所有方法，本文主要关于数据是如何在集群中分布和获取的相关技术细节。知道数据在Elasticsearch如何分布它就会很好的工作。当你索引一个文档， 它被存储在单独一个主分片上。进程不能是随机的， 因为我们将来要检索文档。 事实上， 它根据一个简单的算法决定：shard = hash(routing) % number_of_primary_shardsrouting 值是一个任意字符串， 它默认是 _id 但也可以自定义。 这个 routing 字符串通过
2020-11-14 22:50:39
282
原创 ES三| 数据的组织形式及操作
免责声明：本专栏的内容都是在读了《Elasticsearch权威指南（ 中文版）》书籍后整理的读后感及部分内容笔记，具体内容请查阅原著内容。前言传统上， 我们以行和列的形式把数据存储在关系型数据库中， 相当于使用电子表格。 这种固定的存储方式导致对象的灵活性不复存在了。对象(object)是一种语言相关， 记录在内存中的的数据结构。 为了在网络间发送， 或者存储它， 我们需要一些标准的格式来表示它。 JSON (JavaScript Object Notation)是一种可读的以文本来表示对.
2020-11-09 16:23:12
905
原创 ES二| 分布式集群原理
免责声明：本专栏的内容都是在读了《Elasticsearch权威指南（ 中文版）》书籍后整理的读后感及部分内容笔记，具体内容请查阅原著内容。集群内部工作方式Elasticsearch用于构建高可用和可扩展的系统。 扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器（ 横向扩展(horizontal scale orscaling out)） 。对于大多数数据库而言， 横向扩展意味着你的程序将做非常大的改动才能利用这些新添加.
2020-11-06 21:50:51
146
原创 ES一| es的一些基本概念及入门操作
免责声明：本专栏的内容都是在读了《Elasticsearch权威指南（ 中文版）》书籍后整理的读后感及部分内容笔记，具体内容请查阅原著内容。前言：为了搜索， 你懂的Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。 无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、 性能最好的、 功能最全的搜索引擎库。但是， Lucene只是一个库。 想要使用它， 你必须使用Java来作为开发语言并将其直接集成到你的应用中， 更糟糕的是， Lucene非常复.
2020-11-01 23:29:07
404
原创 力扣题解-数学题类|你可以获得的最大硬币数目
1561. 你可以获得的最大硬币数目2020深信服笔试原题有 3n 堆数目不一的硬币，你和你的朋友们打算按以下方式分硬币：每一轮中，你将会选出 任意 3 堆硬币（不一定连续）。Alice 将会取走硬币数量最多的那一堆。你将会取走硬币数量第二多的那一堆。Bob 将会取走最后一堆。重复这个过程，直到没有更多硬币。给你一个整数数组 piles ，其中 piles[i] 是第 i 堆中硬币的数目。返回你可以获得的最大硬币数目。示例 1：输入：piles = [2,4,1,2,7,8]输出：9
2020-10-11 21:26:06
465
原创 力扣题解-字符串类|字符串转换(编辑)距离
72. 编辑距离给你两个单词 word1 和 word2，请你计算出将 word1 转换成 word2 所使用的最少操作数 。你可以对一个单词进行如下三种操作：插入一个字符删除一个字符替换一个字符示例 1：输入：word1 = "horse", word2 = "ros"输出：3解释：horse -> rorse (将 'h' 替换为 'r')rorse -> rose (删除 'r')rose -> ros (删除 'e')示例 2：输入：word1 = "i
2020-10-11 21:22:24
645
原创 力扣题解-数学题类| 手动实现求平方根sqrt()方法
实现 int sqrt(int x) 函数。2020深信服笔试原题计算并返回 x 的平方根，其中 x 是非负整数。由于返回类型是整数，结果只保留整数的部分，小数部分将被舍去。示例 1:输入: 4输出: 2示例 2:输入: 8输出: 2说明: 8 的平方根是 2.82842..., 由于返回类型是整数，小数部分将被舍去。理论基础：牛顿迭代法 牛顿迭代法顾名思义当然是迭代法的一种，所谓迭代法顾名思义就是重复地进行某种运算。进行到何时为止全凭个人喜好，但是理想情况下应该是计
2020-10-11 20:38:26
493
原创 力扣题解-数组类| 所有奇数长度子数组的和及数组的所有子序列
5503. 所有奇数长度子数组的和给你一个正整数数组 arr ，请你计算所有可能的奇数长度子数组的和。子数组 定义为原数组中的一个连续子序列。请你返回 arr 中 所有奇数长度子数组的和 。示例 1：输入：arr = [1,4,2,5,3]输出：58解释：所有奇数长度子数组和它们的和为：[1] = 1[4] = 4[2] = 2[5] = 5[3] = 3[1,4,2] = 7[4,2,5] = 11[2,5,3] = 10[1,4,2,5,3] = 15我们将所有值求和得
2020-09-20 22:43:14
301
原创 力扣题解-数学题类| 矩形面积及判断是否重叠
836. 矩形重叠矩形以列表 [x1, y1, x2, y2] 的形式表示，其中 (x1, y1) 为左下角的坐标，(x2, y2) 是右上角的坐标。如果相交的面积为正，则称两矩形重叠。需要明确的是，只在角或边接触的两个矩形不构成重叠。给出两个矩形，判断它们是否重叠并返回结果。示例 1：输入：rec1 = [0,0,2,2], rec2 = [1,1,3,3]输出：true示例 2：输入：rec1 = [0,0,1,1], rec2 = [1,0,2,1]输出：false提示：两个矩
2020-09-20 21:38:01
409
原创 redis存储结构及数据类型底层原理
redis 存储结构redis的存储结构从外层往内层依次是redisDb、dict、dictht、dictEntry。redis的Db默认情况下有16个，每个redisDb内部包含一个dict的数据结构。redis的dict内部包含dictht的数组，数组个数为2，主要用于hash扩容使用。dictht内部包含dictEntry的数组，可以理解就是hash的桶，然后如果冲突通过挂链法解决。五种数据类型string此类型和memcache相似，作为常规的key-value缓存应用。例如
2020-09-11 11:12:27
3232
转载 面试| 计算机网络-TCP 重传、滑动窗口、流量控制、拥塞控制
本文主要为了方便面试学习而转载自：https://www.jianshu.com/p/5b07a2f05771引言相信大家都知道 TCP 是一个可靠传输的协议，那它是如何保证可靠的呢？为了实现可靠性传输，需要考虑很多事情，例如数据的破坏、丢包、重复以及分片顺序混乱等问题。如不能解决这些问题，也就无从谈起可靠传输。那么，TCP 是通过序列号、确认应答、重发控制、连接管理以及窗口控制等机制实现可靠性传输的。今天，将重点介绍 TCP 的重传机制、滑动窗口、流量控制、拥塞控制。重传机制超时重传重传
2020-08-30 23:15:12
232
原创 力扣题解-二叉树类| 二叉树求高度、深度、宽度、判断平衡性等系列问题(java实现)
1、求树的深度(最大深度)树的深度是从根节点到最远叶子节点的最短路径上的节点数量//(递归方式)获取以root为根节点的子树的深度:从叶子节点到达根节点的最长路径public int getDept(TreeNode root, int dept){ if(root == null){ return dept; } int leftDept = getDept(root.left, dept+1); int rightDept = getDept(ro
2020-08-21 16:15:41
497
MFC特殊文本颜色编辑框(函代码)
2016-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人