- 博客(163)
- 收藏
- 关注
RSS订阅原创 机器学习技术系列：【机器学习工程化平台 Kubeflow】简介
机器学习工程化是指将机器学习模型的开发、部署和维护纳入到软件工程的流程中，以确保模型能够在生产环境中稳定、高效地运行。机器学习工程化的目标是实现模型的可重复性、可扩展性、可维护性和可监控性，同时保持模型的准确性和可解释性。
2023-02-20 19:48:05
680
原创 实践总结：【用户画像运营分析系统】的工程实践
用户画像是根据用户特征、业务场景和用户行为等信息，构建一个标签化的用户模型，简单来说就是用户信息的标签化。例如：通过收集用户的人口属性、行为属性、消费习惯、偏好特征等多个维度的数据，进而对用户或者产品特征属性进行刻画，并对特征进行分析、统计，挖掘潜在价值信息，抽象出用户的信息全貌。
2023-02-12 17:27:02
297
原创 机器学习技术系列：一篇图文笔记了解【机器学习基础知识】
简而言之，人工智能可以被描述为试图将通常由人类完成的智力任务自动化。因此，人工智能是一个综合领域，不仅包括机器学习和深度学习，还包括更多不涉及学习的方法。其中一个工程化的概念一个计算机程序利用经验E来学习任务T，性能是P，如果针对任务T的性能P随着经验E不断增长，则称为机器学习。比如一个电商领域的应用T：将用户可能购买的商品推荐给用户；E：用户查看、忽略或购买了某商品；P：用户成功购买商品的比率；机器学习算法对于一项数据处理任务，给定预期输出的示例，机器学习系统可以发现执行任务的规则。输入数据。
2023-01-08 15:15:00
429
原创 实践总结：【云原生技术与大数据技术】在企业的体系性落地
一年多之前，在经历了不成功的创业之旅后，回到了之前的企业，负责集团互联网业务的产研工作。中台化的本质就是实现连接、协同和共享，构建高复用的能力体系以支撑前台的灵活创新，提升前台的应变能力。必然的大前提：在兼顾企业和组织个体的情况下解决问题。于是我们有了以下的实践。中台化架构引导下的技术平台、业务中台、数据中台，智能中台……CSDN 2021年官方数据调研。华为2020年7月调研。
2023-01-01 11:29:09
355
原创 大数据技术系列：图解【大数据平台开发】
数据治理的最终目标是提升数据利用率和数据价值，通过有效的数据资源管控手段，实现数据的看得见、找得到、管得住、用得好，提升数据质量和数据价值。企业数据治理非常必要，它是企业实现数字化转型的基础，是企业的一个顶层策略，一个管理体系，也是一个技术体系，涵盖战略、组织、文化、方法、制度、流程、技术和工具等多个层面的内容。数据流水线是数据驱动的重要环节，也是大数据平台建设的重要过程。如果说技术架构和技术工具是大数据平台的骨骼支撑，而基于数据仓库理论的数据建模则是大数据平台的大脑和血肉，决定了大数据平台的业务应用。
2022-12-15 21:30:39
2726
原创 云原生技术系列：深入浅出了解 【Kubernetes】
Kubernetes 使开发者可以在没有运维人员参与的情况下自主部署应用，控制部署的频率。同时，它能让运维团队监控整个系统，并且在出现 IaaS 故障时重新调度应用。SRE（网站/服务可靠性工程师）的工作重心，从监管应用转移到了监管 Kubernetes，监管系统资源，因为 Kubernetes 会帮助监管所有的应用。
2022-11-15 08:53:16
296
原创 大数据技术系列：【大数据技术体系】学习实践导览
本文主要分为以下几个方面：明确大数据平台的业务目标;明晰大数据平台的架构框架;了解大数据平台中常用的技术及工具;扩展数据治理的知识面;
2022-09-27 20:21:45
1072
原创 云原生技术系列：【Docker 容器】应用示例
之前在文章《云原生核心技术之：容器 | Docker》中梳理了容器技术产生的背景、Docker技术简介。其实 Docker 技术的实际应用也很简单，今天这篇文章便用一个 python 环境 “hello world！” 服务来进行示例。相应的，迁移到生产环境的Python、C++、Java、Go 等环境应用也大致如此。
2022-09-18 19:24:37
897
原创 云原生技术系列：【DevOps 持续交付体系】的落地实践
因为我们每次迭代都会针对实施DevOps过程中出现的问题进行总结和复盘。目前，此实践已经在团队级、子公司级得到了很好的认可和实施，正在向全集团推广中，希望有更多的业界朋友也能尝试拥抱DevOps，享受到它的实施成果。
2022-09-06 19:38:35
898
原创 云原生技术系列：业务引领的DevOps持续交付体系
云原生技术生态除了上述篇章已经讲述的微服务架构、容器技术（Docker）、容器编排技术（Kubernetes）、ServiceMesh技术（Istio） 等技术体系，还有一个很重要的管理实践—— DevOps，在进行深层次的微服务或云原生应用架构改造后，进行对应的DevOps整体研发流程改造，可实现业务流程的自动化。下面我们就来了解一下 DevOps 这种产品研发管理实践。...
2022-08-02 20:22:16
563
原创 云原生技术系列：Service Mesh 的实现—— Istio
Istio是ServiceMesh实现中最成熟也最受欢迎的项目，由Google、IBM和Lyft开源。Istio是一个用于服务治理的开放平台。Istio是一个ServiceMesh形态的用于服务治理的开放平台。Istio是一个与Kubernetes紧密结合的适用于云原生场景的ServiceMesh形态的用于服务治理的开放平台。......
2022-07-27 20:03:23
1035
原创 云原生技术系列：Service Mesh（服务网格）
在服务治理组件的功能升级、bug修复过程中，业务系统需要升级依赖的服务组件包，然而升级过程中还可能存在各种版本冲突，另外灰度验证过程也可能引入新的bug，业务开发人员升级组件版本痛苦不堪，抵触情绪很大，往往一个组件包想要全覆盖升级，需要耗费相当长的时间，交付效率极其低下。然而，服务框架的SDK通常实现都比较“重”，需要实现服务注册与发现、服务路由、负载均衡、服务鉴权、服务降级、服务限流、网络传输等功能，复杂度大、成本投入高、稳定健壮性隐患多。服务网格可以使服务与服务之间的通信更加流畅、可靠和安全。.....
2022-07-25 19:56:29
2375
原创 云原生技术系列：Kubernetes
Kubernetes是Google开源的一个容器编排引擎，提供了⾯向应⽤的容器集群部署和管理。Kubernetes的⽬标旨在消除编排物理/虚拟计算，⽹络和存储基础设施的负担，并使应⽤程序运营商和开发⼈员完全将重点放在以容器为中⼼的原语上进⾏⾃助运营。Kubernetes也提供稳定、兼容的基础（平台），⽤于构建定制化的工作流和更⾼级的⾃动化任务。服务发现和负载均衡Kubernetes可以使用DNS或IP地址来暴露容器，并且使用负载均衡机制平衡网络流量。存储编排自动部署和回滚容器资源的自动调度自我修复。....
2022-07-24 22:29:39
1166
原创 云原生技术系列：容器 | Docker
容器是一种相对于虚拟机来说更加轻量的虚拟化技术，能为我们提供一种可移植、可重用的方式来打包、分发和运行应用程序。容器的基本思想就是将需要执行的所有软件打包到一个可执行程序包。例如，将一个Java虚拟机、Tomcat服务器以及应用程序本身打包进一个容器镜像。用户可以在基础设施环境中使用这个容器镜像启动容器并运行应用程序，还可以将以容器化运行的应用程序与基础设施环境隔离。容器具有高度可移植性，用户可以轻松地在开发环境、测试环境、预发布环境或生产环境中运行相同的容器。......
2022-07-21 21:19:26
890
原创 云原生技术系列：微服务 | DDD（领域驱动设计）| 微服务技术框架
微服务是一种分布式软件架构。使用微服务架构可以将一个大型应用程序按照业务或功能模块拆分成多个独立自治的微服务，每个微服务仅实现一种业务或功能，具有明确的边界。为了让各个微服务之间协同工作，它们之间需要通过互相调用或REST等形式的标准接口进行通信和数据交换，是一种松耦合的交互形式。...
2022-07-20 21:31:09
3593
2
原创 云原生技术系列：“一图一文”全面了解云原生
至如今，云计算这个概念已经火了十年有余，我们这些相关IT从业者也经历了听闻、理解、应用、熟练这么个漫长的过程。当下，千行百业已从积极拥抱云计算向升级为云原生应用方向演进，特别在数字化时代的洪流中，云原生被视为未来社会数字化转型最有效的利器。我们则需要从理解云原生开始，将云原生应用在我们的工作中创造社会价值，同时也实现自身的学习成长。本文便是想带大家通过“一图一文”全面了解云原生。...
2022-07-19 20:09:15
952
原创 《‘高并发&高性能&高可用服务程序’编写及运维》指南
记得在远2012年时，因为向往着能写高并发程序，自己选择了跳槽。开始时是写支撑数万设备并发的程序（我们物联网设备业务需要保持长连接），随着企业的发展，逐渐增长到十万、数十万设备，当时还讲究挖掘单机性能，所以紧着各种线程模型、I/O模型……不断地挖掘潜能，实在挖不动了就开始着手用分布式方案的解决。比如当时开源的一个高性能服务模型：https://github.com/yaocoder/HPNetServer 后来，有幸在这家集团公司开启了内部创业生涯，主导创立运营了一个服务大百万用户的互联网平台级产品..
2022-07-11 21:04:40
431
原创 精进之路：【人工智能】的学习及实践
曾以产研角色和企业管理者的身份亲自经历过PC互联网和移动互联网两段发展历程，现在面临新的一波AI浪潮时，联想起互联网对各个行业/企业的赋能甚至颠覆，十分笃定AI重塑行业/企业也一定是大势所趋。对于很多企业和个人而言，源于对AI知识的匮乏和对其应用价值的不了解，AI只是意味着一个务虚层面的名词，是一种大家都追逐的“高级”趋势，一种对企业和产品的“包装”方式……。而对于那些有技术敏感度、愿意去了解并探索AI的企业和个人，懂得如何从业务场景的解析、业务场景的抽象、数据的收集、算法模型的选择、...
2022-07-10 19:53:52
563
原创 【基于IPD的产品开发体系】推行实践
在自己从事产品研发实践和管理的十几年职业生涯里，经历过以瀑布式开发为主导的产品研发模式，经历过以敏捷开发为主导的产品研发模式，其相应的背景也是在软件项目和互联网软件平台为主导的情境下。但是当企业产品主要是硬件的研发、生产、销售时，经历的却是以IPD（集成产品开发）为主导的产品研发模式。其实自己经历过对IPD的抗拒，慢慢地适应，到着力推行的转变。...
2022-07-10 12:41:04
905
原创 《微服务设计》读书笔记
导言： 《微服务设计》是一本非常出彩的技术书籍，从可读性、实战技术干货方面都非常优秀，甚至让我想起了曾经读《深入理解计算机系统》《UNIX编程艺术》这类经典好书时的感觉。以下是我做的一些概括性的读书笔记，非常希望大家能阅读全书，挖掘更多知识。......
2022-07-09 14:45:00
213
1
原创 分布式系统实战
导言：记得在自己大学毕业的2006年到之后近五年的工作里，源于工作经历和有限的视野，几乎对“分布式系统”没有任何概念。当然，彼时的互联网/移动互联网还未对我们的生活呈覆盖颠覆之势，很多网络应用采用传统的集中式服务便可应对。但是随着互联网大潮的风起云涌，出现了越来越多的细分大流量网站及应用，网民体量也如滚落雪球一般越来越大，这种情况下分布式的概念几乎在技术圈“家喻户晓”，也成了我们追逐的另一颗时代“银弹”。...
2022-07-09 14:15:00
248
原创 我的“技术架构”之旅
导言：很久没写过涉及技术的文章了，因为进行职业转型后对技术有种很纠结的心态。热爱——每每看到五颜六色的代码窗口就会心里发酸，想起曾经那是生活中的一份灿烂心情；有些不自信——这么久离开技术会不会已经落后生疏（虽然一直没有脱离技术的学习与参与，但是少了一线写大量代码的实践）。今天恰好去参加AWS（亚马逊云服务）的一个区域讨论会，一位亚马逊的架构师在为大家讲解AWS云服务及一些案例的架构设计，很多熟悉的概念，还有这位架构师的谦逊和真实，一切是那么亲切。所以心血来潮，想回顾一下自己做架构的职业之旅。......
2022-07-09 14:00:00
114
原创 敏捷实践之Scrum
希望所有研发人员能够敢于并且会表达自己，让更多的人了解自己；希望所有的研发人员不仅仅是机械的写代码，也能洞悉市场、了解用户，让自己的产出能够适配用户和市场的需求，这何尝不是一种成就感；希望所有的研发人员不再受困于狭窄的职场方向，而是有更多可能转型产品、市场、管理我认为敏捷开发的实践带给了我这些：工作的收益、内心的释放、转型的机遇以及最重要的自信，所以也想分享给大家这些。...
2022-07-09 13:15:00
405
原创 一个资深技术人的转型之路
写这篇文章时场景心境皆有不同，正在远离家乡北方遥远的南国深圳，也已经经历过了多次高密集度的各地出差和多个投资人的约见；盯着产品规划、深抠细节；也亲自跑过市场、谈过客户。对，我转型了，由一个对技术无比热爱的人，由一个封闭的技术人转型成为了一个为了公司存亡要想尽各种办法，要处理各种事情的所谓总经理或者CEO。这时我才发现创业维艰，这时我才发现原来技术人的高傲是错误的，因为比技术难的事情有更多。...
2022-07-09 12:15:00
124
原创 处理技术债务
前期如果能预见到技术债务，而且时间又紧张的话，自己多努力再努力去解决，因为这是为你以后争取时间和精力；中期如果能及时发现技术债务，不管付出再大也要有勇气决然解决，因为这可能关系到产品和你的生存；后期发现了这些问题那你就吸取教训，开展下一个项目时去避免。......
2022-07-09 12:00:00
127
原创 HTTP事务的延迟—TCP的影响
导读：最近看完了大部头著作《HTTP权威指南》,对于此类指南类、手册类图书，往往让我们联想到的就是枯燥无味的使用讲解、技术指标讲解......使人头大。但是这本书却让我觉得读起来很“清新”，一方面作者用了浅显易懂的语言和大量的图示让我们很容易知所以然，另一方面应该是我一直以来对网络编程的兴趣和此书的内容有很大的契合点，今天要讲的内容也是与自己的兴趣有关的HTTP协议中有关TCP的部分，是从书中第四
2015-04-05 21:09:55
1258
原创 我的2014
如果用一句话总结自己的2014，那就是”柳暗花明又一村“，为什么这么说呢，这一年是在落落起起中度过的，内心也曾经彷徨过、怨恨过、放弃过。但我的2014还有一个主题词就是”坚持“，在坚持之后少不了一些领导的信任和鼓励，家庭上坚实的支持，还有自己那一颗渴望激情和挑战的内心。一年的历程年初：团队折戟自进入公司以来一直以进入核心技术研究院这个团队感到庆幸，在这里你不会有太多的束缚，
2015-04-05 21:08:14
495
原创 一定要打造极致的产品吗？
看了文章的标题，是不是好像一个技术人员在写一篇反对产品经理的檄文？不是，因为我也是无比龟毛的处 女座啊，我这人不但对工作、对生活都很处 女座，做技术做产品也一样，经常把各种极致挂在嘴边。但是近几个月针对一款新产品我们这支内部创业团队深入到市场、产品、研发的交叉工作中，也深入了解了一些成王败寇产品的历程，期间也没少和有经验的人士进行交流学习，再也不敢时时刻刻处处要求各种极致了，难道产品汪们就是犯了我
2015-04-05 21:05:04
971
原创 网络编程释疑之：TCP连接拔掉网线后会发生什么
背景：前些天团队在进行终端设备和服务器端长连接业务的测试时，发现了这么一个情况：在拔掉设备端的网线后，再插上网线，有时可以继续正常的进行长接连请求，而且用的还是拔掉网线之前的那个长连接。但是有时却不能继续正常的长连接请求，需要重新建立一个新的长连接。让我尤感诧异的是第一种网线断开再插上后长连接可以恢复的情况，彻底颠覆了我一直抱有的一个所谓的“物理连接”的观念。究竟怎么回事，我们来探个究竟。
2015-04-05 21:03:46
6401
原创 我看产品
背景：从年中就一直奔波忙碌在公司一款互联网产品和团队上，从产品调研、商业模式的制定、各种合作交流、团队搭建......几乎事无巨细的都深度参与进去。直到现在我们的团队已经基本成型并且开始产品的研发试运营工作。在这些进程中，我的产品观也得到了一次洗礼，不妨和大家简单交流下。作为一个技术人或者团队的技术负责人需不需要深入的了解产品？ 我想如果在传统行
2015-01-08 18:53:25
595
原创 数据库的唯一标示符（ID）的选择
背景：数年的工作中，已经设计了很多系统或产品的数据库，有单机的、有局域网环境下的、也有互联网环境下的，对于不同的环境，设计考虑都有所不同。即使对于相同的环境，也会因为业务或者数据量的不同而有不同的设计。近期，又要设计一款互联网产品的数据库（MySQL服务）。经过之前的积累，在表的ID设计这个环节就进行了大量的分析、比较、学习，对ID的设计也有了更系统和深刻的认知，把自己学习实践到的知识总结下来，分
2015-01-03 21:46:33
8636
原创 我的网络编程之旅——P2P相关话题
最早接触P2P是大学时利用BitTorrent下载电影和游戏，当时我们只知道这个软件叫bt，给女性同学介绍此软件为什么会有如此高效时，简单讲述了一下P2P网络的特点后，还特意强加一句所以这个软件叫变态（bt）软件，现在想起来都好笑，完全误解了BitTorrent软件名的由来。近两年的工作中因为要涉及到点对点的视频传输，用户对用户的视频传输，对这块也曾经做了较为系统的学习和研究，今天拿出来和大家简要
2014-10-20 08:37:03
741
原创 我的网络开发之旅——socket编程
上一篇文章《TCP/IP协议分析》讲述了自己是如何和网络领域的开发扯上关系的。正如从招聘网站上抽出的几个关键词“TCP/IP, Socket, 多线程”可见，协议分析并不是网络开发的主流俗话我们所说的网络编程是socket编程今天就以我的经历来讲一下socket编程的相关知识。socket编程的基础知识我就不在这里科普了大家可以通过相关书籍和资料去了解。socket编程
2014-09-22 20:18:28
904
原创 《卓有成效的管理者》书摘
最近又第二次拿起大师德鲁克众多管理学著作中的一部——《卓有成效的管理者》细细品读了起来。近几年伴随着工作性质的改变，越来越多的参与到自我管理、团队管理、公司的管理之中，对其中的很多观点有了越来越深的体会，也更加认可书中的很多观点，利用这次阅读，把书中部分内容摘抄总结出来，加深自己的印象同时也分享给大家。这本书要告诉我们什么？一群平凡人，能做出不平凡的事业吗？这是
2014-09-18 12:01:25
841
原创 我的网络开发之旅——TCP/IP协议分析
之前在当地的一期技术沙龙做了一个《网络开发那些事》的技术分享，讲述了自己职业生涯从事的与网络相关的开发工作。在接触这类开发之前一直在从事业务系统或者单机系统的开发，说真的那时感觉自己对程序员这个职业既没有兴趣也没有多大能力，但是接触了网络相关的开发之后，慢慢的激发出了自己对这个行业的热情和潜力，使自己找到了方向。到底这类开发工作有什么神奇的地方？来吧，咱一起来看看。网络开发究竟有些什么
2014-09-18 12:01:03
776
原创 Jira和Confluence的权限管理
(关于Jira和Confluence的基本介绍请参看文章团队协作，集成工具推荐)背景：已经使用Jira和Confluence管理了一个产品团队的任务和资源，现在又想加入另外一个产品团队的任务和资源,首要问题是如何解决两个团队之间的权限隔离。研究了半天，阅读了Jira和confluence的相关文档，终于搞定，现在分享给大家。Jira打开系统管理中的权限模型我们可
2014-08-30 10:18:10
6032
原创 一次服务器IO占用率高的定位分析
背景：请事假在外中，听平台组同事反馈了一个问题，在往生产数据库中导入部分数据时会造成客户端的访问超时，初步定位是因为服务器磁盘占用IO过高，导数据时IO会飙升到100%，因此引起了不少数据库的慢查询操作导致客户端响应超时，无奈只好暂时停止了导入数据的脚本，同时也延误了针对这部分数据的生产测试工作。于是我第二天回到公司就投入了对这个问题的跟踪定位工作。环境描述：操作系统
2014-08-19 17:50:13
4028
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人