- 博客(61)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 云卷云舒：算力网络+云原生（中）：探索构建算力网络数据库
这里的资源包括传统的IDC资源、服务器和硬件资源、各类数据库产品和生态工具，以及丰富可控、可智能编排的网络（云内、云间、核心传输等），这里面运营商有着巨大的优势，未来会有更多的数据库迁移到国有的云运营商上。笔者也大胆预测一条，数据库的边界与存储将进一步模糊，具有智能和管控的存储也将是数据库领域未来必将考虑的一条路，但是同时带来的产品非标的情况将进一步劣化，需要做好数据库平台化的管控方能解决这个问题。算网数据库是一个双向赋能的产物，会催生更多新型形态的数据库产品，数据库服务于算力网络、也受益于算力网络。
2023-12-21 17:36:15
4329
原创 云卷云舒：算力网络+云原生（下）：云数据库发展的新篇章
云原生化、平台化、一体化和智能化另外基于云原生构建多模数据库可是一个趋势，再次本文简单预测云数据库发展的新篇章，必然是“算力网络+云原生”的高层及结合。
2023-12-17 21:37:01
3945
2
原创 云卷云舒：算力网络+云原生（上）：打造云网边端协同架构
正如云计算领域发展到今天，随着技术的演进，算力网络的概念被以中国移动为主的各大云服务商先后提出，成为了通信运营商在云计算领域巨大的技术优势，比如移动云将算力网络作为未来发展的重要战略，同时，也就在近几年云服务商也相继将云原生技术作为未来技术演进的毕竟路径，“协同架构”：算力网络的到来，将云服务以更加广阔的方式送达给客户，是对于中心云服务的延伸，是云在服务广度的拓展，使能“算力无处不在”；，是在基础设施、平台、应用，甚至应用产生的全过程都来体现云的服务能力的，是云在服务深度的升华。
2023-12-12 12:45:12
2907
1
原创 云卷云舒：论超级数据库
笔者大胆提出一种“超级数据库”的概念设想。算力网络时代已经来临，超大算力芯片和网络已然布局，越来越多的“智算中心”不断投产，我们需要更加加速构建上层算网应用生态，除了关注传统的“物理机、虚拟机”算力，需要更多去关注能够产生更加广阔价值的paas算网应用，比如“超级数据库、算网数据库但是在如今，时不我待，大胆创新突破，正当数字经济时代的“弄潮儿”，我们需要基于成熟的技术和算网生态体系，打造“超级数据库、算网数据库
2024-02-09 11:31:04
1210
4
转载 转载：如何提高数据库的降本增效？知乎
容器化具有快速部署和启动、资源隔离等优势，可以更高效地利用物理服务器的资源，同时降低了部署和管理的复杂性。数据库上云的趋势不可挡，当前容器化技术的成熟，基于k8s的容器的编排技术的广泛应用，基于Operator的自助化管理能力，可以实现数据库资源的有效共享，提高使用效率和降低成本。（5）弹性扩展和按需付费：云计算平台提供了弹性扩展和按需付费的特性，可以根据实际需求自动调整数据库资源，随时提供更多的计算和存储资源，同时按照使用量付费，降低了成本和资源浪费。
2024-02-08 17:46:17
64
原创 云卷云舒：如何持续降低云数据库的成本？
数据库在云计算领域内是一个利润空间较大的产品体系，但是如果成本控制策略控制、市场推广不达预期，很有可能出现“负效益”，本文就谈谈个人看法，从云计算服务提供商的角度。（2）建设周期压缩：主要大规模产品加大建设周期，快速投产；3）新开资源池：严控，加大评审力度，必有有一个原则，比如对该新资源池的市场机会必须够大可持续；（1）专项开展存量资源的统筹，如建设需求合并、低效益负效益产品的下架；（2）借助全网性资源迁移工程，来完成全网资源池的梳理、释放；主要是（1）存量治理、（2）新增管控。一、首先是技术手段方面。
2024-02-08 17:05:50
398
原创 云卷云舒：PostgreSQL的事儿你听说了吗？
我想不管是哪一种情况，我们对于数据库技术发展的投入、生态价值发挥都远远还不够，都可以说是处理初级阶段，高级别的数据库自主革命还在继续，哪怕数据库已经出现了20几年了。，在我们的领先领域加大创新投入，以确保领先地位；3、国外创新力度加大，来自快速发展国家的压力，很多国外专家的危机意识也势必上升，因为不仅仅是我们有危机意识，人家也有的，所以可能短时间内我们的贡献度就被埋没了；这不是个好的现象，作为技术人不断突破创新是本职，能站在前人的肩膀上继续搞高级创新会更容易写，那么如果一直这样，谁愿意去做底层的创新呢？
2024-01-25 02:02:32
842
1
原创 云卷云舒：软件产品质量保证思考
关系到研发质量的各类预防、检测手段，如日常研发规范，代码审查，检测工具，测试等。总体产品质量观，从上到下的质量规划，包括质量目标、质量定义和拆解、质量责任制。一般指针对问题的改进，包括根因分析，问题溯源，倒逼研发改进。2，从顶到下：结合最高目标，全体认同，包括目标、手段、约束。1，两拨人：规划的人是一波，控制和改进的是一波。3，工具：数据平台、评估模型、工具组合应用。
2024-01-17 23:00:04
532
原创 云卷云舒：2024数据库发展趋势预测-长图版
云计算和大数据时代对数据库提出了更高的要求，需要支持大规模数据存储和处理。新型数据库技术如NewSQL和分布式数据库成为云计算和大数据时代的趋势。数据库需要具备分布式和并行计算能力，以满足高性能和可扩展性的需求。注：本文为chatGPT配合生成，如有涉及侵权，请留言联系我处置。
2024-01-16 19:39:51
1010
原创 云卷云舒：2023年，我眼中的十大数据库
我眼中的十大数据库，openGauss、Oceanbase、Tidb、He3DB、虚谷、Milvus、doris、GoldenDB、AntDB、PorlaDB
2024-01-15 19:42:31
385
1
原创 云卷云舒：数据库2023年度盘点
3 月 25 日，OceanBase 推出 4.1 版本，据称，4.1 版本实现了事务处理（TP）性能提升 40%，数据分析（AP）性能提升 15%，全面兼容开源数据库 MySQL8.0 及相关系统函数、窗口函数等。4 月 4 日，TiDB 7.0 正式发布。1 月 10 日，KaiwuDB（原：开务数据库） 发布了 KaiwuDB 1.0 时序数据库，其运用到实时就地运算等核心专利技术，专为工业物联网、数字能源、交通车联网、智慧产业等场景设计。7 月 4 日，腾讯云发布 AI 原生向量数据库。
2024-01-14 16:47:48
378
原创 云卷云舒：独立式向量数据库？数据库向量式插件？
在传统的关系型数据库中，数据是以表格的形式存储的，而在向量数据库中，数据则是以向量的形式存储的。这种新型的数据库技术，能够更有效地处理和分析大数据，因此在大数据时代中受到了广泛的关注和应用。随着AI 应用的大规模落地普及，数据量得到了暴涨，数据复杂度也大幅提升，数据库需要提高对向量分析和 AI 应用的支持能力。所以向量数据库也是人工智能与数据库结合发展的一个趋势。多模能力（包括向量检索）让应用可以把结构化数据和非结构化数据统一处理，所以说向量数据库也是“数据库一体化”发展的一个体现。
2024-01-13 06:38:28
1777
7
原创 云卷云舒：AI for DB、DB for AI
1、"AI for DB"，即将AI应用于数据库，AI 技术加持智能数据库打造，提升数据库对应对数据分析、智能搜索和精准推荐等能力表现。AI 技术的出现，使得数据库利用规则、匹配数据的能力进一步提升，换句话说，数据库更加理解和处理存在里面的数据了，那么客户使用数据库查询和检索将更快速和准确，满足客户的需求。目前，几乎所有的数据库都在向 AI 靠拢，比如在数据库中添加向量索引实现向量高维存储，那就是向量数据库诞生的起源了。随着数据库和AI技术的分支同向演进，AI 和数据库间的关联越发紧密了。
2024-01-12 17:23:19
564
原创 云卷云舒：数据库可以运行在容器里面吗？云可以，因为云不等于容器
数据库到底能不能跑在容器里，如果不能，那么那么多的云服务商的云数据库产品不都跑在容器里面吗？数据库一般是有状态的，对于容器的快速扩展十分不利，除非存储服务单独提供，同样对于产品的设计难度要求更高。主要是担心容器被rm掉时，容器里的数据会丢失，即使使用数据卷挂载存储数据，由于容器数据卷对Union FS 镜像的持久存储依赖，数据安全缺乏保证，同时如果容器崩溃时，若数据库未正常关闭，可能会损坏数据。数据库一般对IO要求较高，一台物理机上的多个数据库容器将提升对服务器的IO压力。
2024-01-11 18:56:54
1666
原创 云卷云舒：数据库的serverless演进趋势
随着阿里云、华为云的PolarDB、guessDB都在大力演进serverless版本的发布，部分特性已经发布公测，国内的另外两家云服务商移动云、天翼云也相继推出serverless版本，并计划近期公测，可以看出。数据库的系统架构相对稳定，内核层面尤其是在资源调度部分相对成熟，自成体系，面对这serverless的演进，挑战不言而喻。了，所以进行serverless的改造成本，相比传统数据库来说，小多了，是可以实现的，但是这个改造的深度就要看各大云服务商的投入了，我还是那句话，
2024-01-10 11:43:25
623
原创 云卷云舒：kubernetes简介
节点中的每一个Pod发生变化以后，结果是保存在API Server中。而后API Server会生成一个通知事件，Kube-Proxy负责接收API Server的通知事件，一旦发现了某一个Service背后的Pod信息发生了改变（IP、Port等），由Kube-Proxy负责在每一个节点上将变化后的service转换成IPVS或IPtables规则中。它负责观测每一个node上总共可用的cpu计算和存储资源，并根据用户请求创建的容器所需要的资源量在众多node中挑选出一个符合条件的node来创建容器。
2024-01-09 18:17:50
1138
原创 云卷云舒：【实战篇】云主机/虚拟机迁移
用户原有业务通过不同版本型号、不同操作系统的主机承载，形式上包括物理服务器、虚拟机、公有云主机等。随着业务不断扩张，需要将其业务云化转型，必须保证上云过程数据完整，业务平滑过度。如果将所有业务系统都重新部署、重新配置服务，并需要将大量的用户数据进行传输拷贝，将会耗费大量的人力和时间。并且，将业务系统切换到新环境的的过程中，需要进行大量的测试工作，以保证业务系统迁移的成功率。
2024-01-08 19:35:33
459
原创 云卷云舒：【实战篇】DB2迁移
IBM DB2 Database是美国IBM公司开发的一套关系型数据库管理系统(RDBMS)，它主要的运行环境为UNIX（包括IBM的AIX）、Linux、IBM i（旧称OS/400）、z/OS，以及Windows Server。DB2主要应用于大型应用系统，具有较好的可伸缩性，可支持从大型机集群到单用户环境。DB2提供了较高级别的数据可用性、完整性、安全性、可恢复性，以及小规模到大规模应用程序的处理能力。
2024-01-08 09:26:37
366
原创 云卷云舒：【实战篇】对象存储迁移
对象存储与块存储、文件存储并列为云计算三大存储模型。提供海量存储空间服务，具备快速的数据存取性能、高可靠和数据安全性，通过标准的RESTful API接口和丰富的SDK包来提供服务，支持容量和处理能力的弹性扩展。
2024-01-08 09:04:41
361
原创 云卷云舒：【实战篇】Sql Server迁移
部分SQL Server数据库的数据量比较大，无法在业务割接期间完成SQL Server全量数据的迁移，这种场景下，可采用全量+增量的方式进行数据迁移。
2024-01-07 08:57:52
591
原创 云卷云舒：【实战篇】MongoDB迁移
MongoDB是NoSQL数据库产品中的一种，是最像关系型数据库的非关系型数据库。在MongoDB中，一些概念与关系型数据库是不一样的，“表”称为“集合”，“行”称为“文档”，文档也是MongoDB的最小存储单位。对于数据量大、读写操作频繁和事务性要求不高的场合，适合使用MongoDB数据库。
2024-01-06 22:47:56
334
原创 云卷云舒：【实战篇】ElasticSearch迁移
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。
2024-01-06 21:26:57
630
原创 云卷云舒：【实战篇】Redis迁移
Remote Dictionary Server(Redis)是一个由Salvatore Sanfilippo写的key-value存储系统，是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。
2024-01-05 17:53:01
518
原创 云卷云舒：大型电信运营商应用软件健康度评估方法
该架构体系，对于电信运营商应用软件的健康度评估，综合了传统健康度评估的思想，通过引入人工智能技术实现故障前异常数据的识别，扩充了评测的样本，避免了传统评分体系中故障样本不足的弊端，同时经过滚动迭代计算评分，并根据距离当前时间远近设置不同的权重来进行综合评分，整体上考虑到了更多的因素，包括空间和时间的双重因素，准确度更高，更具有说服力。
2024-01-04 19:30:56
1767
原创 云卷云舒：基于业务逻辑关联度实现数据预加载
在实现一个具有复杂业务逻辑的应用系统时，大多数情况下，编码过程中必定会包含着较多的数据访问方法（java中称之为方法）或函数（c中称之为方法），同样也就意味着多次的数据库连接。一方面复杂的逻辑会将程序的响应时间拖延过长，另一方面多次的数据库连接势必会给数据库带来过多的访问压力。
2024-01-03 13:16:16
1437
原创 云卷云舒：浅析云数据库架构的分层设计
1、大中型企业第一个需求就是，云数据库需要适配企业的管理架构，不同部门之间的数据传递、共享一般都有独立的平台部门维护，同时每个部门又有定制部分，整个企业内部最关键的是要维护企业数据模型的稳定一致。该层是根本解决数据库扩展性的一层，事务层的扩展能力决定了数据存储的上限，因为CAP理论之下，不可能无限的舍弃其中任意一环，实现租户级别的单独扩展能力，则需要依赖内存块级别的节点资源占用调度。2、私有云数据库系统：成本节约的同时，保证了系统和数据逻辑独占的需求，提升了自主和安全感等级，是大中型企业客户的选择。
2024-01-01 15:44:04
558
原创 云卷云舒：立贴为证，明天写总结
4、人设进一步树立，坚决、结果导向，敢于批评与自我批评。1、技术领域事业打开，打开一半，另一半要谨慎。3、攻坚克难打开，打开一半，关系管理要加强。2、管理思路打开，打开一半，另一半靠落实。
2023-12-31 19:13:01
368
原创 云卷云舒：构建业务型电信智能运维方法
5种算法初始值均为20（总合为100），当一次异常的判断后，比如算法1/2/3都判定是异常，算法4/5都判定为非异常，那么最终结果为判定为异常，系统向运维人员发出告警，当运维人员在平台上通过指标横向对比、请求下钻、事件挖掘之后发现该时刻的指标确实为异常，那么运维人员会将这个告警处理掉，那么此时后台就会默认向投票正确的算法的权重倾斜，为其权重加1，同时为投票错误的算法权重扣分（但总分仍保持100分）；人工智能那么强大，应用场景十分的广泛，当然也包括运维领域，而且面向业务型的智能运维更是运维发展的热点趋势。
2023-12-29 11:05:28
1041
原创 云卷云舒：云原生应用
云原生已经成为企业数字化转型、业务创新升级的首选，我们正在迈入构建以应用为中心的云原生基础设施的Cloud Native2.0时代。“云原生定义未来架构”--Cloud Native Define Futrue Architectrue 云原生是一种新的模式，基于云丰富的能力与产品，可以组合形成非常多形态的SaaS产品。传统的云原生定义是“微服务、容器化和DevOps”，但是现在转变为“底层技术、编排及管理技术、安全技术、监测分析技术以及场景化应用”等众多分支。运维模式：分为开发部+运维部，交钥匙的方式。
2023-12-28 20:03:43
1108
原创 云卷云舒：如何选择正确的数据库
但是有一点不得不说，企业也需要有一定的人员投入，一方面充分理解云服务产品的最佳使用方法，一方面也要知悉云产品带来成本效益的同时，需要配合分享该防范，当然这一部分也可以通过云服务配套解决，但是企业需要改变观念去投入，去解决，不能完全依靠云服务商，毕竟云服务商提供的还是标准化的产品服务，用的好与不好直接决定上云业务的质量。2，产品新版发布，建议技术创新角度使用新型数据库，如云原生数据库、数据仓库，对于生产需求不匹配带来的需求，建议选型不变，过渡期间完成选择，云数据库是首选。发展态势，是否公司主流业务。
2023-12-27 20:47:52
1078
原创 云卷云舒：面向业务的智能运维（下）
方法二：在方法一的基础上为每个算法加入权重值，5种算法初始值均为20（总合为100），当一次异常的判断后，比如算法1/2/3都判定是异常，算法4/5都判定为非异常，那么最终结果为判定为异常，系统向运维人员发出告警，当运维人员在平台上通过指标横向对比、请求下钻、事件挖掘之后发现该时刻的指标确实为异常，那么运维人员会将这个告警处理掉，那么此时后台就会默认向投票正确的算法的权重倾斜，为其权重加1，同时为投票错误的算法权重扣分（但总分仍保持100分）；如此经过长时间的不断调整，算法组合就越来越接近于准确。
2023-12-26 12:55:15
331
原创 云卷云舒：面向业务的智能运维（中）
分析能力是智能运维平台的核心，可以应用大数据+机器学习的分析能力，结合成熟的开源分析算法实现基本的数据分析，再结合具体的应用场景，做出一些适应性改造或匹配来实现相对较好的分析效果，千万不要只想着做出来一个分析平台来，这个平台做出来不是难事，关键在于这个平台在运维领域没有实际意义。智能告警需要可以有效的遏制“告警风暴”，这个可是告警系统中必须面对的问题，那么需要提供较高效的分析算法，实现告警的自动归类、自动消除，那么归类中最合适的方法就是寻找告警之间的关系关系，将相近的告警合并为一条发送，避免告警风暴。
2023-12-25 12:10:29
100
原创 云卷云舒：面向业务的智能运维（上）
智能运维（AIOps-Algorithmic IT Operations基于算法的IT运维）是人工智能技术在IT运维领域的运用，引用Gartner 的报告的一段话“到2020年，将近50%的企业将会在他们的业务和IT运维方面采用AIOps，远远高于今天的10%”，最近2-3年智能运维的概念随处可见，各大互联网公司、传统IT公司、金融业等都在谈他们的智能运维设想，同时也有人谈AI色变，觉得人工智能只是一个愿景，要落地很难。传统运维系统收集了大量的运维数据，但是却缺乏有效的手段加以分析和利用；
2023-12-24 19:23:59
1033
原创 云卷云舒：云迁移技术解析
随着云计算的持续发展成熟，越来越多的企业将自己的业务数据和应用迁移到云上，以寻求更快更具可扩展性的部署以及更低的成本。虽然上云能够为企业带来诸多红利，但是云迁移只不是一个迁移软件工具的使用，而是一项复杂的系统工程，需要以科学和严谨的态度面对在实践过程中的诸多挑战。4）如何选择合理的迁移路径 从技术维度看，迁移也逐步从传统的人力密集型服务，向专业技术咨询服务的方向发展。特别是对云迁移来讲，不但需要对传统业务架构有比较深入的了解，还要对各种云上的应用构建最佳实践及构建成本有非常丰富的经验。
2023-12-23 11:56:54
171
原创 云卷云舒：云原生业务应用成熟度模型
云原生业务应用成熟度模型从企业业务应用基础设施域、应用研发域以及服务治理域等三个能力域二十个过程域综合评估企业业务应用在弹性、高可用、自愈性、可观测性以及自动化等五个维度的云原生能力成熟度水平。自动化能力成熟度 = ⌊(I1+I2+D2+D3+D4+G1+G2+G3+G4+G5+G6+G7+G8+G9)/14⌋。弹性能力成熟度 = ⌊(I1+D1+D2+D4+G1+G2+G5+G6+G7+G8)/10⌋。高可用能力成熟度 = ⌊(I1+D1+G1+G2+G3+G5+G7+G8+G9)/9⌋。
2023-12-22 15:58:19
1149
1
原创 云卷云舒：【展望篇】什么是算力网络
1、智算领域：智算中心（大规模AI模型训练、融合基础设施、内部高速互联技术PCIE、液冷）、数据算力（存算一体、DPU/GPU和CPU协同）4、算力并网：四个模式：转售、运营层对接、编排层对接、小型算力纳管（云原生），通过算力交易策略构建。3、存算一体：近存计算-->存内计算-->端边存算，匹配的芯片，工程化。2、标准领域：算网原生（算力标准池、算力抽象、统一API）3、云计算产品List&SaaS市场。注：个人意见，仅供参考，欢迎讨论。
2023-12-21 21:57:50
126
原创 云卷云舒：【实战篇】如何提升云数据库的稳定性
2、监控区分为对外和对内，监控系统自动设置开关，合理屏蔽常规变更对于监控的影响，避免误报。1、支持全局配置管理，对全部资源池、全部版本、全部升级动作有视图，支持追溯。1、云架构的能力支撑，合理使用云基础设施，按照不同模块按需选型。4、高可用机制：最起码的容灾机制，主备切换逻辑，数据安全性审计。3、支持针对客户级别的变更，自动利用客户侧的变更完成数据库变更。2、支持灰度发布、蓝绿发布，其余的平滑过渡保障。1、排班机制，一二三线运转高效，评价绩效机制。4、容错机制、限流机制、服务降级。2、核心技术组件的选型。
2023-12-20 09:59:44
250
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人