mpren的专栏

原创 数字化转型（四）-数字化转型方法论

综上所述，方法论作为一种系统的、有条理的研究方法，为研究者提供了在特定领域内进行问题求解、理论构建、数据收集与分析以及结论推导的指导原则。在运用方法论时，研究者需要关注理论框架的构建、研究途径的选择、数据收集与分析技巧的运用、结论推导的逻辑性和科学性以及实践应用和伦理考量等方面的问题，以确保研究的科学性、严谨性和有效性。在进行研究时，研究者需要遵守相关的伦理规范，尊重研究对象的权益和利益，确保研究的道德性和合法性。在构建理论框架时，研究者需要明确研究目标、研究问题、研究对象以及相关的理论依据。

原创 数字化转型（三）-员工数据分析处理能力

这个是我在数字化转型脑海里最先闪现的，原因是之前认识一兄弟，自学python然后在公司里像开挂了一样。公司排每个人的活都是按周来分配，但是这兄弟能写python，写了个外挂两小时就干完了一周的工作，后来不知道咋被公司发现了，还被公司评为创新能手，脑海中飘过老板的灿烂的笑容。在数字化转型的过程中，员工的数据处理能力是企业成功实现转型的关键因素之一。通过提升员工的数据处理能力，企业可以更好地利用数据资源，推动业务创新，提高竞争力，并在数字经济时代中保持领先地位。

原创 数字化转型（零）-申明内容人与AI结合

教育和培训：为了适应人与AI结合的新时代，教育体系需要进行相应的调整，加强对AI技术的理解和应用能力的培养。同时，对于已经在职的员工，提供持续的培训和学习机会，帮助他们适应技术变革带来的新要求。人与AI的结合是当今科技发展的重要趋势之一，它涉及到多个领域，包括工作、生活、教育、医疗等。人与AI的结合可以实现两者的优势互补，提高整体的工作效率和质量。如何在确保AI的透明度、可解释性和可控性的同时，保护个人隐私、确保数据安全、避免偏见和歧视，成为需要重点关注和解决的问题。

原创 数字化转型（二）-华为发布的数字化转型：从战略到执行

战略规划的重要性：数字化转型首先需要一个明确的战略规划，这包括对企业现状的评估、目标的设定、资源的配置以及预期成果的明确。通过上述分析，我们可以看到数字化转型是一个系统工程，它要求企业从战略层面进行规划，同时在执行过程中进行细致的管理、协同合作和不断的评估与优化。供给与需求的匹配：为了提升中小企业的数字化转型供给水平，供给方需要深入了解中小企业的实际需求，提供与之相匹配的产品和服务。全面的视角：数字化转型不仅涉及技术层面的更新，还包括业务模式、组织结构、企业文化等多个方面的变革。

原创 数字化转型（一）-大模型怎么总结的效果超乎预期

成功的数字化转型可以帮助企业提高效率、降低成本、增加收入、提升客户满意度，并最终实现可持续的增长和发展。数字化转型是指企业或组织利用数字技术和解决方案来改变其业务模式、流程、文化和客户体验，以适应不断变化的市场和客户需求。客户体验：通过数字化渠道和工具，提供更加个性化和便捷的客户服务，增强客户满意度和忠诚度。组织文化：培养一种支持创新、敏捷和持续学习的企业文化，鼓励员工适应数字化转型带来的变化。人才培养：投资于员工的培训和发展，确保他们具备必要的数字技能和知识，以支持转型过程。

原创 架构治理-网关的使用

从0-1到规划大规模企业级服务很难有这样的宝贵经历，有鉴于此特别将个人经历分享如下，先上图：特点一：引入高性能网关，作为全量业务的入口，中心节点对接口进行有效治理。相较于直接使用大规模RPC应用之间直连，有效降低大规模业务的复杂度，降低人员之间的沟通成本，同时也能尽量减轻可能带来的系统安全等。特点二：引入稳定或复杂业务系统网关，作用主要是屏蔽稳定或复杂系统内部逻辑，无需与敏捷业务发生太多耦合，尽量的保持稳定。提供http标准接口供外部敏捷业务调用，稳定或复杂业务如发生技改、迁移、上云容器化等大动作对.

转载 左耳朵耗子：我做系统架构的一些原则

作者：左耳朵耗子原文地址：https://coolshell.cn/articles/21672.html工作 20 多年了，这 20 来年看到了很多公司的很多的系统架构，也看到了很多问题，在跟这些公司进行交流和讨论的时候，包括进行实施和方案比较的时候，因为相关的经历越来越多，所以，逐渐形成了自己的逻辑和方法论。今天，想写下这篇文章，把我的这些个人的经验和想法总结下来，希望能够让更多的人可以参考和借鉴，并能够做出更好的架构来。另外，我的这些思维方式和原则都针对于现有市面上众多不合理的架构和方案，所以，也

原创 架构治理Redis使用规范

过期时间设置建议使用expire设置过期时间，可以打散过期时间，防止集中过期。过期策略选择1、noeviction：不删除数据，将不能进行新的写入；扩容后恢复正常；2、allkeys-lru：选择最近最少使用的key进行删除来保证可以写入新的数据，丢弃数据来换取可用性；3、volatile-lru：从设置了过期时间的key中选择最近最少使用的key进行删除来保证新的写入，如果没有设置过期时间的key把容量占满了，同样将不能进行新的写入，扩容后恢复正常；4、volatile-ttl ：从设置了过.

原创 ElasticSearch技术整改总结

刚接手中间件团队遇到ElasticSearch比较棘手问题，主要以下方面：1.某个集群按日创建数量惊人，三台16C32G500G的集群居然有25000多个分片。2.按日、按月、按年索引不确定过期时间。3.固定索引很多，无法整改。问题一导致该集群频繁fullgc，没法提供正常稳定的服务，偶发性业务系统失败，不定时出现。问题二因为之前设计时没有约定这些分片的有效期，导致集群上有大量的无效数据存在。问题三是不推荐的使用方法。技术改造思路如下：1.数据特别重要，保留时间特别长的，同步一份给数据湖

原创 `modified_date` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT不生效

开发团队反馈使用中间件异常，不能使用系统默认时间更新或者插入。排查中间件未发现异常，从建表语句入手排查。建表语句如下：CREATE TABLE `crl_customer_user_base_info` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键', `created_date` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', `modified_date`

原创 nginx经过F5后ip_hash不生效问题

公司内常规配置ip_hash但是一直都负载到同一台后端服务器上。upstream test{ ip_hash; server 127.0.0.1:8001 ; server 127.0.0.1:8002 ;}排查公司网络情况，链路为互联网->F5->NGINX->后端服务器。排查F5未发现特殊配置，但是网络反馈互联网真实IP会在F5转为F5的指定虚IP，指定的几个IP地址。继续排查nginx原生nginx的

原创 ZSet数据结构导致RedisToo many Cluster maxRedirections

压力测试环境，最近一直报错Redis：Too many Cluster maxRedirections? slot : 445且交易响应时间较长，单用户600ms。原因：由于是采用zset做累计，导致在高并发大数据量压测的时候，zset的元素激增。通过对zset元素个数做了限制（上限500），解决此问题。...

原创 研发团队如何组建图

过去三年有幸参与一家中型互联网金融企业从0-1的过程，作为并列第一位入职的员工，看着最多达到近600人员规模研发团队，其中学到很多、思考很多。如何赋能，如何提高团队生产率，执行力等等。...

原创 分库分表后数据聚合架构方案设计思考

上图中淡黄色部分提供了分库分表后的数据聚合及查询功能。问题1：为什么不选择MongoDBMongDB的二级索引必须全部要存储在内存中，如果内存 空间不够，会有一部分索引失效，导致查询慢；MongDB在数据量非常的大的时候，查询的速度没有ES快， 特别是在复杂多条件查询的时候，表现更为明显问题2：为什么不单独使用HBASEHBase在没有rowKey的查询条件下，要用过滤器对HBase表所有region的进行扫描，非常耗时，效率非的低，在有大量写的情况，查询的性能会更糟糕，当前的业务需求，是.

原创 HttpClient连接池长链接nginx导致connection reset

问题描述：近期测试环境偶发出现Connection Reset异常，不明原因。问题排查报错为connection reset 而不是connection reset by peer。说明服务端关闭了该链接，但是客户端还察觉，继续使用该链接发送数据，导致发生异常。查看客户端http代码方法connectionManager = new MultiThreadedHttpConnectionManager();connectionManager.getParams().setCon..

原创 windows 环境下 SFTP密钥私钥模式上传文件脚本（winscp）

.bat文件CD /d C:\Program Files (x86)\WinSCPwinscp /script=upload.txt /log=D:\log.txt脚本文件option echo offoption transfer binaryopen sftp://user@ip:port/ -privatekey=id_rsa.ppkcd up/testrm *lcd D:\testput D:\testexit密钥id_rsa 转 id_rsa.ppk请自行.

原创 ITOM运维管理体系

原创 说说vm、docker、k8s、openshift、rucher的关系

dokcer与虚拟机关系：docker只是管理容器生命周期的框架，通过下图你可以看到：K8S的主要工作：KBS与docker的关系：Openshift主要功能：Rucher的主要功能：Rancher与devops:参考如下：https://blog.51cto.com/blief/2386811抱歉还有部分图忘记出处，请作者多海涵。......

原创 Dell R630 服务器带外管理

打开管理界面输入用户名密码启动虚拟控制台因为上一步插件类型选择java,下周java插件，启动插件的时候发生点小意外java1.8一直不能成功，下载1.7以后安装成功。启动控制台...

原创 mysql中ltrim方法无法去掉空格异常处理

ltrim后还是有空格存在CHAR(9)=>水平制表符char(10)=>换行建char(13)=>回车键具体用法如下：UPDATE items SET number = REPLACE(REPLACE(number, CHAR(9), ‘’), CHAR(13), ‘’);用replace把相应的水平制表、回车键替换为空字符串。...

原创 Gitlab docker部署使用外部自建mysql数据源

Gitlab docker部署使用外部自建mysql数据源1.安装mysqldocker run --name mysql5.7.22 -d --restart always \-p 3306:3306 \--env 'DB_NAME=gitlabhq_production' \--env 'DB_USER=gitlab' --env 'DB_PASS=password' \--vol...

原创 Netfiex Conductor安装入门指南以及切换为mysql数据源

通过git下载源码到本地。由于Conductor依赖于gradle编译，我们可以通过两种方式安装gradle.通过命令gradlew server自动下载，有点慢不建议。下载安装包，解压并配置环境变量到\bin目录问题。如果你有数据源为mysql的需求可以按如下进行更改。 public interface Configuration { String DB...

原创 关系型数据库服务出现宕机宕机原因记录

关系型数据库服务出现宕机现象，数据库异常重启，并且重启后数据库持续处于只读状态，直到DBA手动打开数据库读写状态，才恢复正常访问。经分析，主要原因如下：1、 当时故障前进行压力测试，QPS 28000，TPS 12800;审计插件(第三方开源插件MariaDB Audit Plugin)，导致数据库异常重启。MariaDB Audit Plugin采用sql审计的方式，将来的数据库审计可以采用旁...

原创 kylin cube kafka streaming LZ4Exception异常

在kylin中使用kafka streaming消费topic,消息的生成加密方式采用lz4算法,cube异常中断。 configMap.put(StreamsConfig.producerPrefix(ProducerConfig.COMPRESSION_TYPE_CONFIG), “lz4”);Error: java.lang.ClassNotFoundException: net.jp...

原创 hadoop yarn 开启jmx监控

打开{hadoop_home}/etc/hadoop/yarn-env.sh文件，文件最后添加三行。YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false”YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.port=10001”YARN_OP...

原创 kylin jmx监控 端口配置

打开kylin.sh文件，添加如下三行，并非走tomcat修改catalina.sh那一套。 -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.port=10000 \ -Dcom.sun.management.jmxremote.ssl=false \...

原创 kylin cube集成kafka源码阅读

首先看一条kafka cube构建语句curl -X PUT –user ADMIN:KYLIN -H “Content-Type: application/json;charset=utf-8” -d ‘{ “sourceOffsetStart”: 0,”sourceOffsetEnd”: 9223372036854775807,”buildType”: “BUILD”}’ http://9...

原创 maven protobuf 编译hadoop源码生成jar包，打印运行日志排障

下载源码包 hadoop-branch-2.7.2.zip apache-maven-3.5.4-bin.zip protobuf-2.5.0.zip（hadoop 2.7.2指定需要）解压&设置环境变量path;例如我要调试yarn里面包含的DeletionService服务源码导入eclispe修改源码，取个易记的名称。 LOG.warn(“———–test———...

原创 如何动态调整hadoop日志级别

日志文件：2018-08-07 15:24:32,767 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl: Application application_1533624199682_0095 transitioned from NEW to INITING ...

原创 kylin hadoop yarn 文件夹空间不足问题

先看我的yarn-site.xml配置 <configuration> <!-- Site specific YARN configuration properties --> <property> &

原创 kylin 整合笔记

修改hadoop配置文件kylin访问异常 1.修改hadoop配置文件重启hadoop服务 2.重启完hadoop，需要重启hbase，个人经验要重启两次服务蔡靠谱，一次可能重启不成功。 3.还要再挨个节点重启kylin。Directory /usr/local/hadoop/tmp/dfs/name is in an inconsistent state: storage direc...

原创 hadoop2.7.2 hbase hive kylin-2.4.0-bin-hbase1x 环境搭建

1.下载包hadoop 2.7.2hbase 1.2.5 hive 1.2.2 kylin-2.4.0-bin-hbase1x第一部分hadoop安装2.创建Hadoop账号并修改权限[root@Master:/root]#useradd -m hadoop -s /bin/bash[root@Master:/root]#passwd hadoop添加新...

原创 spring boot 2.0,netty,mybatis,mysql,redis,docker 集成

本项目依赖spring boot 2.0,netty,mybatis,mysql,redis。https://github.com/mpren/ShaiZi- spring boot 2.0 - spring web - spring webflux - spring actuatorredisdocker pull redismkdir ...

原创 Kafka 常用命令

基于kafka 0.10.2.1生产者 kafka-console-producer --broker-list 127.0.0.1:9092 --topic mytopic 消费者 kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic mytopic 主题 创建主题,replic...

转载 消息驱动响应式系统案例（洗碗的七种方式）

原文地址：https://www.lightbend.com/blog/the-case-for-message-driven 本文转载采用谷歌翻译，存在不准确情况了解异步，非阻塞，并发，并行等等我一直在努力寻找一种有意义的方式来描述构建高效的响应式（Reactive）应用程序的核心概念 - 异步和非阻塞，同时通过增强并行性来最小化并发性并支持线性可伸缩性。即使是最有经验的开发人员也难...

原创 kafka Streams学习

kafka Streams学习牢记Kafka Streams是一个Java类库，不是一个流处理框架，这点和Strom等流处理框架有明显的不同什么是流？无边界（源源不断）数据集的抽象表示。为什么要用流式处理：面向数据流的响应式编程（RP Reactive Programming）已经越来越普及，响应式编程对于无边界数据处理更有优势。 流的特性：事件流...

原创 生产Redis内存碎片过高排查

生产Redis内存碎片过高排查内存碎片率：used_memory_rss(33G)/used_memory(20G)=1.65，导致Redis实例所在虚机发出报警。生产环境：每日高达1600W次hmset写入操作，且value长短不一（有效期：24小时）；每日上述hmset写入操作对应的key是不一样的；网友总结：写负载高，尤其批量删除操作；存储的K-V值，长短不一，差异较大。综合解决方

原创 Mysql索引页结构

查询操作InnoDb通过B+Tree聚集索引搜索时，只能找到该记录所在的索引页(index page)，而不能到具体的行记录。找到该索引页(index page)后将该页加载入内存。通过key在索引页(index page)的directory slots中进行二分查找（binary search），找到key对应的slot。因为slot是管理多条记录，普通的slot最少管辖4条,最多

原创 Mysql脏页刷新涉及到的页与扇区

磁盘 df –helpdf -T <cc@hw:/etc>$df -T Filesystem Type 1K-blocks Used Available Use% Mounted on /dev/mapper/vg_dev-lv_root ext4 8256952 6553008 1284516 8

转载 姜承尧老师推荐生产环境Mysql my.ini my.cnf配置

[mysql]prompt = [\\u@\\h][\\d]>\\_[mysqld]# basic settings #user = mysqlsql_mode = "STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO