不夜De星空-CSDN博客

转载 UnderTow 核心配置

在我们的容器中，我们将微服务实例的容器内的 TCP Socket Buffer 的读写 buffer 大小成一模一样的配置（因为微服务之间调用，发送的请求也是另一个微服务接受，所以调整所有微服务容器的读写 buffer 大小一致，来优化性能，默认是根据系统内存来自动计算出来的）。我们这一节详细介绍了 Undertow 的核心配置，主要包括线程池以及 buffer 配置，以及关于 http 协议的一些配置。对应 Undertow 的相关配置，配置类是。对应 XNIO 的相关配置，配置类是。

2023-04-06 14:37:35 735

转载 TDengine中的伪列

伪列不是 TDengine 的独创概念，熟悉 Oracle 的都知道，在 Oracle 中就经常使用伪列 ROWID 和 ROWNUM。在《TDengine3.0 踩坑实录》吐槽过TDengine 的有些查询，需要使用伪列才能获取到想要的结果。吐槽归吐槽，真正要使用 TDengine，还是必须要了解伪列的。

2023-03-28 16:15:01 290

转载网络安全等级保护细则

如果不同级别的定级对象共享同一物理环境，物理环境的安全保护策略和安全技术措施应满足最高级别定级对象的等级保护基本要求。运营者根据《信息安全技术网络安全等级保护基本要求》（GB/T 22239-2019）、行业基本要求（不同行业的网络安全等级保护规范性文件）、安全需求等，提出跨局域网互联的定级对象之间的信息传输保护策略要求和具体的安全技术措施，包括同级互联的策略、不同级别互联的策略等，提出局域网内部互联的定级对象之间的信息传输保护策略要求和具体的安全技术保护措施，包括同级互联的策略、不同级别互联的策略等。

2023-01-31 13:28:02 1000

转载计算处理 Json 的 Java 开源库 esProc SPL

注意：在 SPL 代码里，Json 串是常数，可以直接使用，但在 Java 代码里，Json 串是普通字符串，传入 SPL 后需要先用 json() 函数解析再使用。在 Java 中调用 SPL 脚本：将上述 SPL 脚本存为文件 (比如 splFile.splx)，再在 Java 中以存储过程的形式引用该文件名。计算目标：Java 将该 json 串传入 SPL，SPL 解析 Json，合并下层订单，并进行过滤。，不过从源码编译比较麻烦，官方提供了已经编译好的安装包，可以从。

2023-01-30 15:59:47 1489

转载开源 SPL，Webservice/Restful 的后处理利器

后来，XPath/JsonPath、Python Pandas、Scala这类专业的json/XML的后处理技术出现了，才终于在保证较好架构性的同时，提供了一定的计算能力。但这些技术也存在各自的问题，XPath/JsonPath只支持条件查询和简单聚合，不支持一般的日常计算，比如排序、去重、分组汇总、关联、交集等，而且没有自己的多层数据对象，计算能力较差。SPL是JVM下开源的结构化数据/多层数据处理语言，内置专业的多层数据对象和方便的层次访问方法，可以表达复杂的层次关系，为上层计算能力提供有力的支持。

2023-01-30 15:58:32 208

转载 Hadoop Spark太重，esProc SPL很轻

在内存计算方面，SPL没有使用Spark RDD的 immutable机制，而是采用了指针式复用机制，利用地址（指针）访问内存，在数据结构没有改变的情况下，直接用原数据的地址形成结果集，不必每个计算都将数据复制一遍，仅仅多保存一个地址（指针），可以同时减少 CPU 和内存的消耗，运行起来要比Spark轻很多了。并且，SPL改进了当前的外存计算算法体系，降低了复杂度并扩大了适应范围，可以做到内外存计算结合，充分提升计算性能的同时，还不像Spark那样依赖大内存。再比如，很多和次序有关的运算实现起来也很困难。

2023-01-30 15:45:39 62

转载大厂SaaS，坚守5年，为何还是失败了？

如果在产品的MVP版本，我们直接根据大企业的需求研发——除非产品团队的架构能力足够强大、产品研发的资源足够丰富——那么产品团队很容易疲于满足客户的各种细致、个性化的需求，无力打磨标准化的产品。比如，在快消品行业，经销商的年销售规模在2000万以上，制造厂商的年销售额在2亿以上，这样的企业除了具备一定的持续付费能力，数量也较多，适合打造标准化的SaaS产品。同时，这款SaaS软件非常强调自己的咨询属性，售卖的是一整套“从咨询到落地”的解决方案，这也极大的提高了客户的期望，以及项目交付的难度。

2022-10-14 09:52:21 166

转载既然有HTTP协议，为什么还要有RPC

纯裸TCP是能收发数据，但它是个无边界的数据流，上层需要定义消息格式用于定义消息边界。于是就有了各种协议，HTTP和各类RPC协议就是在TCP之上定义的应用层协议。RPC本质上不算是协议，而是一种调用方式，而像gRPC和thrift这样的具体实现，才是协议，它们是实现了RPC调用的协议。目的是希望程序员能像调用本地方法那样去调用远端的服务方法。同时RPC有很多种实现方式，不一定非得基于TCP协议。从发展历史来说，HTTP主要用于b/s架构，而RPC更多用于c/s架构。

2022-09-26 15:07:36 263

转载被视为“救世主”的架构师，普遍缺失了哪些基础能力？

优秀的架构师应当抛开头衔，放下姿态，不断游走在相关利益方之间，他们可能是业务人员，或者是研发人员，甚至是高层领导，从而去寻找辅助架构决策的线索。传道还能增加架构师的影响力，提升他人对架构师的信任度，使架构决策前的沟通变得更有效，提升他人对架构师的认可度，使架构决策后的结论变得更有说服力。大部分传统企业的架构师，经常会端坐在象牙塔中，绘制那精美绝伦的架构高阶蓝图，而面对架构决策，仅凭借别人的成功经验，草率的做出架构决策。这种有权无责的反模式并不提倡。

2022-08-23 14:11:54 174

转载数据仓库架构及基础知识

「来源: ｜架构师技术联盟 ID：ICT_Architect」1、什么是数据仓库？权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。1）数据仓库是用于支持决策、面向分析型数据处理；2）对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。面对大数据的多样性，在存储和处理这些大数据时，我们就必须要知道两个重要的技术。分别是：数据仓库技术、Hadoop。当数据为结构化数据，来自传统的

2022-04-27 14:29:23 1976

转载 Apache Storm教程 - W3Cschool

Apache Storm简介什么是Apache Storm？Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。虽然Storm是无状态的，它通过Apache ZooKeeper管理分布式环境和集群状态。它很简单，您可以并行地对实时数据执行各种操作。Apache Storm继续成为实时数据分析的领导者。Storm易于设置和操作，并且它保证每个消息将通过拓扑至少处理一次。Apache Storm v

2022-04-25 10:38:13 1041

转载详解数据仓库数据指标数据治理体系建设方法论

一、数据仓库数据仓库概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。基本特征数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。面向主题:传统数据库中，最.

2022-04-24 16:59:02 2971

转载 MySQL面试夺命连环20问，你接得住吗？

一、数据库架构1、说说MySQL 的基础架构图给面试官讲一下 MySQL 的逻辑架构，有白板可以把下面的图画一下，图片来源于网络。MySQL逻辑架构图主要分三层：第一层负责连接处理，授权认证，安全等等第二层负责编译并优化SQL 第三层是存储引擎。 2、一条SQL查询语句在MySQL中如何执行的？先检查该语句是否有权限，如果没有权限，直接返回错误信息，如果有权限会先查询缓存(MySQL8.0 版本以前)。 ..

2022-04-06 15:34:58 269

转载一文看懂卷积神经网络-CNN（基本原理+独特价值+实际应用）

卷积神经网络 – CNN 最擅长的就是图片的处理。它受到人类视觉神经系统的启发。CNN 有2大特点：能够有效的将大数据量的图片降维成小数据量能够有效的保留图片特征，符合图片处理的原则目前 CNN 已经得到了广泛的应用，比如：人脸识别、自动驾驶、美图秀秀、安防等很多领域。CNN 解决了什么问题？在 CNN 出现之前，图像对于人工智能来说是一个难题，有2个原因：图像需要处理的数据量太大，导致成本很高，效率很低图像在数字化的过程中很难保留原有的特征，导致图像处理的准确率...

2021-12-27 15:21:07 4663

转载 Java分布式锁方案和区别

分布式锁的实现在常见的分布式锁中有以下三种实现：Redis 实现 Zookeeper 实现数据库实现1. 基于 Redis 的实现在 Redis 中有 3 个重要命令，通过这三个命令可以实现分布式锁setnx key val：当且仅当key不存在时，set一个key为val的字符串，返回1；若key存在，则什么都不做，返回0。 expire key timeout：为key设置一个超时时间，单位为second，超过这个时间 key 会自动删除。 delete key：删除key

2021-12-16 09:48:11 346

转载 DL4J中文文档/开始/速查表-1

快速检索DL4J（和相关项目）有很多功能。此篇的目标是总结这个功能，以便用户知道存在什么功能，以及在哪里可以找到更多信息。内容层前馈层输出层卷积层循环层无监督层其它层图顶点输入预处理器迭代/训练监听器评估网络保存和加载网络配置激活函数权重初始化更新器 (优化器)学习调度正则化L1/L2 正则化Dropout(丢弃)权重噪声约束数据类迭代器迭代器 - 内置 (DL4J-提供数据)迭代器 -用

2021-12-13 13:21:53 279

转载如何基于DDD构建微服务架构

微服务构建本质上是软件构建过程中长期演进积累的一系列理念、架构原则、工具和最佳实践。领域驱动设计的软件思想体系和方法论可以用于指导微服务建模、微服务划分、微服务架构设计等相关工作，它可以促使技术人员与领域专家达成共识，构建领域边界合理、具备明确界限上下文、关注点分离、独立自治的微服务。01领域驱动设计概述领域驱动设计（Domain Driven Design）概念的兴起可以追溯到1986年，《人月神话》的作者Brooks提出软件的本质复杂性（Essential Complexity）存在

2021-08-12 09:23:02 311

转载好的架构师，不是“需求翻译机”或“架构优化器 ”

软件架构跟盖楼有异曲同工之妙。首先建筑师（软件行业：称之为架构师）在图纸上把大楼外观、主体结构、材料工艺、施工流程等设计好。施工队根据图纸，打好地基，并开始建设能满足抗地震、抗台风、抗沉降（高并发、高性能、高可用）等必备条件的大楼主体结构，然后再浇筑墙体、封顶、室内装饰。建筑师对主体结构的设计，在软件工程中便是架构设计；大楼的主体结构在软件工程中就是架构，它主要处理软件的子系统和组件的开发和部署方式、技术指标和规范，以及它们之间的相互关系。很多人对架构师可能有误解，认为只是做了好多很炫的PP

2021-08-09 11:30:33 186

转载使用rclone实现minio的迁移

概述公司一个项目由云上迁移至线下，对应该的存储minio也需要进行同步迁移，下面分享一下其过程。一、场景概述1.1 机器信息机器桶名备注 117.78.xx..xx test-xx-edm-pre 云上minio地址 192.168.x.xx test-xx-edm-preview 线下minio地址 1.2 使用工具 rclone：开源的对象存储在线迁移工具，用于文件和目录的同步，支持阿里云的oss、minio 、亚马逊S3 .

2021-05-19 10:56:47 2464 1

转载 MySQL Replication 主从复制全方位解决方案

1.1 主从复制基础概念　　　　在了解主从复制之前必须要了解的就是数据库的二进制日志(binlog),主从复制架构大多基于二进制日志进行，二进制日志相关信息参考：http://www.cnblogs.com/clsn/p/8087678.html#_label61.1.1 二进制日志管理说明　　二进制日志在哪？如何设置位置和命名？　　　　在my.cnf文件中使用 log-bin = 指定；命名规则为 mysql-bin.000000 （后为6位数字）　　二进制日志位置mysql&g

2021-05-14 14:46:22 318

转载 Redis最佳实践：7个维度+43条使用规范，带你彻底玩转Redis | 附实践清单

这篇文章我想和你聊一聊 Redis 的最佳实践。你的项目或许已经使用 Redis 很长时间了，但在使用过程中，你可能还会或多或少地遇到以下问题：我的 Redis 内存为什么增长这么快？为什么我的 Redis 操作延迟变大了？如何降低 Redis 故障发生的频率？日常运维 Redis 需要注意什么？部署 Redis 时，如何做好资源规划？ Redis 监控重点要关注哪些指标？尤其是当你的项目越来越依赖 Redis 时，这些问题就变得尤

2021-03-22 15:46:54 314

转载理解OAuth 2.0

OAuth 2.0 的一个简单解释OAuth 2.0是目前最流行的授权机制，用来授权第三方应用，获取用户数据。这个标准比较抽象，使用了很多术语，初学者不容易理解。其实说起来并不复杂，下面我就通过一个简单的类比，帮助大家轻松理解，OAuth 2.0 到底是什么。一、快递员问题我住在一个大型的居民小区。小区有门禁系统。进入的时候需要输入密码。我经常网购和外卖，每天都有快递员来送货。我必须找到一个办法，让快递员通过门禁系统，进入小区。如果我把自己的密码，告诉快递员.

2021-03-09 15:41:50 554

转载微服务改造一团糟？不妨参考这种标准架构建设

一、背景为数以亿计的用户提供优质的视频服务的爱奇艺技术产品团队，为了适应业务的快速迭代和创新，并支撑海量的用户请求，很多团队都对各自的业务系统自发地进行了微服务架构的改造。在微服务化的过程中，各业务团队根据自身需要选择了不同的开源框架，如Apache Dubbo/Spring Cloud等，此外也存在一些自研性质的框架；另外为了满足对微服务应用的监控等需求，不少团队还自行维护了监控系统等基础设施。随着实践的深入，一些问题逐渐开始暴露，这其中包括：部分基础设施存在重...

2021-03-05 16:55:40 444

转载快狗打车CTO沈剑：低成本搞定分布式调用链追踪系统

本文根据沈剑老师在〖2020 Gdevops全球敏捷运维峰会〗现场演讲内容整理而成。讲师介绍沈剑，到家集团技术VP&技术委员会主席，快狗打车CTO，互联网架构技术专家，“架构师之路”公众号作者。曾任百度高级工程师，58同城技术委员会主席、高级架构师、技术学院优秀讲师。大家好，我是沈剑，接下来将会跟大家分享一下到家集团/快狗打车的整个分布式调用链追踪系统的落地。一、有微服务之前，我们架构是怎样的？很多公司未必是微服务的架构体系，在微服务之前，大家的架...

2021-02-02 13:46:17 433

转载 MySQL海量运维管理如何保障京东大促？

本文根据高新刚老师在〖2020 Gdevops全球敏捷运维峰会〗现场演讲内容整理而成。讲师介绍高新刚，京东数科数据库团队负责人，负责京东数科数据库平台的管理维护工作，带领团队平稳护航多次6·18、11·11的大促活动；对数据库多业务场景架构设计，高并发解决方案，数据生态管控有着丰富的实践经验；对数据库库中间件、分布式事务数据库和自动化智能化运维平台设计开发有着深入的实践和探索；长期专注于数据库产品化输出和国产数据库的探索研究。当我们遇到海量这个词的时候，大家第一时间会想...

2021-01-22 10:37:52 246

转载数据安全保护之访问控制技术

数据作为信息的重要载体，其安全问题在信息安全中占有非常重要的地位。为了能够安全可控地使用数据，需要多种技术手段作为保障，这些技术手段一般包括访问控制技术、加密技术、数据备份和恢复技术、系统还原技术等多种技术手段。本文侧重论述访问控制技术，有关其它技术的探讨将发表在后续文章中。本文由亿赛通科技发展有限公司投稿。数据作为信息的重要载体，其安全问题在信息安全中占有非常重要的地位。数据的保密性、可用性、可控性和完整性是数据安全技术的主要研究内容。数据保密性的理论基础是密码学，而可用性、可控性和完整性是数据安

2021-01-12 10:46:37 5781

转载关于中台的思考和尝试

中台的定义我们的讨论先从定义中台这个概念开始。定义中台我认为可以有两个角度，一个是从中台本身的价值和出发点来：中台是在多个部门之间共享的开发资源所提供的业务能力、数据能力和计算能力的集合；另一个定义从中台的相对定位来：前台是面向终端用户的一组业务能力，业务中台是对前台应用的抽象，提供多个前台业务之间共享的业务逻辑、数据和计算能力。我想特别强调这个定义是相对中性的，我们能够通过这个定义区分什么东西是中台，什么不是中台。有的中台定义严格来说不是定义，比如说“中台是提升效率和加速业务增长的一种工

2020-12-24 15:43:44 507

转载什么是微内核架构设计？

关于微内核架构设计现在比较热，听起来好像是操作系统内核相关的，作为Java程序员，操作系统内核那么遥远的事情，好像和我们没有什么关系。但是如果我说微内核其实就是插件化(Plug-in)架构，你一定会一脸疑惑，“你居然向Java程序员解释什么是插件化架构？我每天都在用啊，Eclipse、IntelliJ IDEA、OSGi、Spring Plugin、SPI等，哪个不是插件化架构。我的一些项目也是采用插件化设计的，如使用插件实现流程控制定制等等”。但是别着急，即便是我们每天都在使用的技术，而且大多数人也都..

2020-12-07 13:08:41 425

基于Redis的UniEAP缓存实现

基于SSM+CXF构建的RESTFul webservice

空空如也