自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 资源 (21)
  • 收藏
  • 关注

原创 如何把事做成(整理)

如何把事做成https://mp.weixin.qq.com/s/KMJTlYsuI8EiJemdjFrAuw靠谱不是不拒绝,说到做到。靠谱其实是量力而行,做自己有把握的事,即使没有在预期的时间内做完,也要积极反馈。所谓「凡事有交代,件件有着落,事事有回音」。答应别人的事,一定要积极的反馈,频率可以是每天,每两天都可以,切记不要耗着,沉默着,等有结果了再反馈,也不要攒一个惊喜给老板。因为这样的惊喜往往是惊吓,因为每一次反馈和沟通都是对焦的过程,可以保证整个事情不会变形,符合起初的预期。上面的例子,

2021-07-14 20:23:58 114

原创 20210714 文章整理

通过567饱腹法来饮食控制,开始戒糖https://mp.weixin.qq.com/s/wOmPjpCw70R1I3-d4Z_abQ5分非淀粉类的蔬菜, 6分蛋白质(肉类,大豆制品,蛋类,乳制品),7分主食(含谷薯)。合理的买菜顺序选购符合身体真正需求的食物,优先规划营养密度最高的那部分。第一梯队是深色的蔬菜和水果,这些是身体营养素的集中来源,浅色的蔬果不是不能选,但不是优先选的对象。接着是第二梯队,我们该着力于优质蛋白质(如豆制品,海鲜或鱼类,蛋类),然后才是红肉类。第三梯队,我们该考.

2021-07-14 20:19:16 129

原创 文章整理 - 接了个破烂的数据仓库,我该如何自救?

https://dbaplus.cn/news-73-3855-1.html在接手不成熟的数仓时,需要梳理存在的一些问题,而这些问题一般情况下都大同小异,常见的一些问题主要包括:数仓分层不清晰数据域划分不明确模型设计不合理代码不规范命名不统一通用分层设计思路DWD:数据仓库明细层数据(Data Warehouse Detail)。对ODS层数据进行清洗转化,以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细事实表。可以结合企业的数据使用特点,基于维度建模思想,将.

2021-06-06 15:46:22 113

原创 文章整理 - Autovacuum Tuning Basics

https://www.2ndquadrant.com/en/blog/autovacuum-tuning-basics/最主要的手段还是修改 scale_factor 以及根据硬件配置修改 cost_limit 。单独修改 autovacuum_max_workers 只会回收的更慢。Cleanup of dead tuples is not the only task of autovacuum. It’s also responsible for updating data distr.

2021-06-06 15:32:28 101

原创 文章整理 - 资深技术Leader曹乐:如何成为技术大牛?

https://mp.weixin.qq.com/s/QaBTm_9AJC01Isr3LLR3aw正确的学习方法:快速梳理该领域的知识点,形成框架体系(寻找pattern)。针对每个知识点,找书里的相关章节,该领域相关paper里的相关section深入学习,建立起自己对这个知识点的理解(刻意练习)。再把知识点和现实工作中的情况(自己工作,或其他公司相关的工作)进行对照(及时反馈),从而建立对一个知识点的深度理解,最后融会贯通建立对一个领域的理解。对于每一个软件工程师,最重要的两个能力.

2021-06-06 15:12:21 211 2

原创 文章整理 - HOW TO INTERPRET POSTGRESQL EXPLAIN ANALYZE OUTPUT

https://www.cybertec-postgresql.com/en/how-to-interpret-postgresql-explain-analyze-output/

2021-05-30 16:07:28 125

原创 文章整理 - 当指标下跌,该如何进行分析?【珍藏版】

当指标下跌,该如何进行分析?【珍藏版】https://mp.weixin.qq.com/s/MTD31M07qA69pmOevEBPfA数据分析在解析原因上,更大的作用是定位问题而不是解答问题。想要解答问题背后的业务逻辑,市场调查要有用得多。解读指标才是数据分析师的看家本事,而这些年过度迷信技术,沉迷可视化,沉迷阿尔法大狗子,搞得新入行的数据分析师们的看家本事的水平越来越差。常规指标下跌怎么看:看数据错了没有确定下跌程度看下跌频率下跌前后是否有什么时间下跌是否聚焦到某些区域,群体.

2021-05-30 16:02:34 75

原创 网易有数海量任务调度和智能运维实践(整理)

网易有数海量任务调度和智能运维实践https://mp.weixin.qq.com/s/LJIS7xeHsiTpf12os3DtNw根据依赖关系,智能推算出每个具体实例的完成时间。实现:任务运维中心最核心的一个逻辑就是:根据依赖关系,智能推算出每个具体实例的完成时间。在推算前,需要先将跨流依赖打平,打平的主要目的是为了方便后面的推算。打平的逻辑也比较简单,就是将工作流依赖节点打平为节点依赖节点。如图所示,下游任务1依赖上游任务的c节点,经过打平后变成了下游任务1的a、b节点依赖上游任务的c节点.

2021-05-30 15:27:18 369

原创 技术核心管理者的时间,都只花在这20%的事情上(文章整理)

沈剑:技术核心管理者的时间,都只花在这20%的事情上https://mp.weixin.qq.com/s/5TTY53ZehFO3T06qwuPwjQ管理技能有很多通用的地方,文章是从公司管理的角度来谈的。其实不少内容对个人也同样适用。其实管理要达成的首要目标是**“持续稳定的产出”**,也就是保证下限,在此基础上再进一步提升和突破。个人管理也是同样的,首先需要解决的就是怎么保证自己持续稳定的输出。然后是如何优化和提高自己的工作效率。今天所分享的内容,都是我这些年来所总结出的经验教训。在如

2021-04-11 11:42:42 93

原创 Python最佳实践指南(文章整理)

The Hitchhiker’s Guide to Python!Python最佳实践指南!https://pythonguidecn.readthedocs.io/zh/latest/结构化您的工程文档结构README.rstLICENSEsetup.pyrequirements.txtsample/__init__.pysample/core.pysample/helpers.pydocs/conf.pydocs/index.rsttests/test_basic.py

2021-04-04 13:33:38 335 2

原创 20210314 “打工”不是一切——与五位学者对谈互联网加班文化及其他(文章整理)

“打工”不是一切——与五位学者对谈互联网加班文化及其他https://mp.weixin.qq.com/s/4kN65Eu_mYKmC-GLig082g996 反应出的管理问题:往更高水平的管理走,对公司的挑战是很高的,但是要倒退到低水平管理却比较容易。公司管理的进步相对来说比较难,因为权力太好用了。通过加大劳动强度来保证竞争力,而不是在更聪明的工作方式和工作流程上进行改进。总结一下,就是 996 目前是成本较低的一种管理方式,就像日本喜欢加班一样。靠现行《劳动法》,监管部门可以约束 996

2021-03-14 15:59:24 139 1

原创 有赞数据治理之提质降本(整理)

有赞数据治理之提质降本https://mp.weixin.qq.com/s/B6VWtTZT8XI3AiYx6PxLtA内容质量校验预定义校验:包括数据量的波动、文件还有组件唯一性的校验等等。自定义校验:比如说非空校验、数值范围校验、还支持自定义SQL校验。质量校验的结果正常的话,下游任务就可以正常进行;如果是可接受的异常,这时候会触发邮件和企业微信的报警;如果是不可接受的异常,结果数据是有问题的,则阻断下游的任务执行以避免数据资源的浪费,同时触发电话报警,通知相关人去处理。

2021-03-07 16:59:43 251

原创 20210307 阅读整理

文章目录Fuzzy Name Matching in Postgreshttps://blog.crunchydata.com/blog/fuzzy-name-matching-in-postgresql- Remember text_pattern_ops for indexed prefix filtering.- Use lower() and functional indexes for case-insensitive queries.- Combine indexes on soun

2021-03-07 16:44:17 85 1

原创 AIOps在美团的探索与实践——故障发现篇(整理)

原文地址https://tech.meituan.com/2020/10/15/mt-aiops-horae.html整理:故障大致可分为 3 类:周期型,平稳型,无规律型。对于时序数据来说,最合适的算法可能是 CNN 。异常数据的特征大致包括:- 周同比- 日环比- 波动比- 移动平均- 水平方向孤立森林特征- 垂直方向孤立森林特征- 余弦相关- 标准差- 熵- 斜率将AI和运维很好地结合起来,这个过程需要三方面的知识:1. 行业、业务领域知识,跟业务特点相关的知.

2021-02-28 17:45:15 429

原创 20210221阅读笔记

对“懂IT的管理者”而言,IT只是众多技能中的一项,无甚稀奇,他考虑和决策的标准是生意,是通盘的管理。在懂得IT价值的同时,一定也要能看到整条价值链,看到其它团队的价值所在,不要做僭越自己身份的事情。把这些追新的精力用来提升自己取舍的能力,与人交流协作的能力,打磨工作方式的能力,价值定位的能力,对提升个人价值来说往往反而能起到事半功倍的效果。不过,千万不要被“越界”和“变身”给吓倒了,以我的经验,最大的困难来自于你的大脑,只要不时时刻刻绷着“我是(跟其他人不同的)IT人”的那根弦,剩下的都好办。管理.

2021-02-21 16:15:51 106

原创 20210126-20210130 阅读笔记

唯一约束带来的锁问题多索引会带来的问题PG CBO 算法https://billtian.github.io/digoal.blog/2016/02/03/01.htmlpg_hint_planhttps://zh.osdn.net/projects/pghintplan/https://github.com/ossc-db/pg_hint_plan优化器https://www.postgresql.org/docs/12/planner-optimizer.htmlThe planne

2021-01-31 14:49:18 109

原创 20210131 写给一线分析师的几点总结(文章整理)

写给一线分析师的几点总结https://zhuanlan.zhihu.com/p/149400859重点回顾好的分析就是一个「数据比较 -> 洞见 -> 业务优化」的过程。无论是哪种场景,「比较」都要具象化到实际业务场景才能提出可落地的业务洞见,而具象化的分析依赖一个关键工具:画像体系与业务指标体系。这个体系对业务的还原度越高,分析质量也越高,因此分析师团队要不断去「养」自己业务的画像指标体系。最直接「养」画像与指标体系的机制就是不断去用,每次应用所发现的问题持续小步迭代解决。在对接

2021-01-31 14:46:43 269

物联网白皮书【2018】

在供给侧和需求侧的双重推动下,物联网进入以基础性行业和 规模消费为代表的第三次发展浪潮,5G、低功耗广域网等基础设施 加速构建,数以万亿计的新设备将接入网络并产生海量数据,人工 智能、边缘计算、区块链等新技术加速与物联网结合,应用热点迭 起,物联网迎来跨界融合、集成创新和规模化发展的新阶段。

2018-12-12

中国电信智慧家电决方案

中国电信智慧家电解决方案主要应用于两个方面:家电制造企业和智慧家电运营企业。

2018-11-08

中国电信智慧电动自行车解决方案

电动自行车”虽然应用非常广泛,但是在使用过程中,的确还存在很多问题需要解决。比如“盗窃”,“电动自行车”很容易被盗。比如“违章”,由于车主不规范的驾驶行为,很容易造成交通事故。比如“火灾”,由于充电电路方面的故障,有可能会引发火灾事故。针对这些问题,车主以及政府管理部门,都迫切需要有先进的方案来加以解决。

2018-11-08

大数据开发平台(Data Platform)在有赞的最佳实践

DP 的系统设计以及在有赞的落地情况,内容包括: DP 的系统设计,包括架构设计,以及重点介绍了调度模块的设计 目前在有赞的落地现状 总结和展望

2018-09-30

Lambda架构在有赞广告平台的应用与演进

有赞广告平台的数据分析模块提供了不同的时间维度(天、小时),不同的实体维度(广告计划、广告、性别、年龄、地域)下的不同类型指标(曝光、点击、花费、转化下单、增粉数)的分析。所有这些数据都是秒级到10min级别的准实时数据,为了做到将实时数据和离线数据方便的结合,我们引入了 大数据系统的lambda架构 , 并在这样的lambda架构的基础下演进了几个版本。

2018-09-30

阿里 为物联网而生-高性能时间序列数据库

阿里云栖大会,物联网高性能时间序列数据库 PPT,包括架构和对标。

2018-06-25

阿里 新型互联网架构

阿里 新型互联网架构,包括飞天平台,分布式存储,中间件,容器,数据安全

2018-06-25

美团点评业务系统的建设之路

挑战一:业务理解困难 自身: 业务参与方多,业务形态多样,业务过程复杂,业务边界与职责分不清楚 上游: 业务运营本身对业务缺乏一定思考 产品经理无法抽象业务需求

2018-03-27

美团云高可用基础设施 构建“智慧酒店”的技术基石

美团云高可用基础设施 ⾼可⽤数据中⼼ ⾼可⽤⽹络架构 ⾼可⽤基础服务

2018-03-27

2018年美团点评技术年货(中)

过去的一年,美团点评作为全球领先的一站式生活服务互联网平台, 在吃喝玩乐住行等 200 多个品类,2800 多个城区县,服务了亿万消费 者、数百万商家,日订单数超过 2200 万,年度交易总额达到了 3600 亿。 2017 年 10 月最新一轮融资,300 亿美元的估值,也使我们进入全 球独角兽的最前列。

2018-03-27

美团扫码付前端可用性保障实践

扫码付前端可用性定义 影响可用性的关键因素 端到端监控与降级 保障动作标准流程

2018-03-27

微服务基础架构图

微服务架构总体技术体系,包括接入层、网关层、业务服务层等

2018-02-23

微服务架构总体技术体系

微服务架构总体技术体系,包括服务框架、运行时支撑服务等

2018-02-23

腾讯云数据安全白皮书整理

基于腾讯云数据安全白皮书整理,包括数据安全原则及技术 png

2018-02-07

王延炯-支撑微服务的平台服务

普元 Pworld2016 微服务 王延炯-支撑微服务的平台服务

2017-11-28

邓通-流程驱动的企业数字化转型

普元 Pworld2016 数字化 邓通-流程驱动的企业数字化转型

2017-11-28

宋潇男-Docker+与+K8S+在企业基础设施服务的应用

普元 Pworld2016 宋潇男-Docker+与+K8S+在企业基础设施服务的应用

2017-11-28

郝振明-React Native 移动技术在企业架构的应用

普元 Pworld2016 材料 郝振明-React Native 移动技术在企业架构的应用

2017-11-28

奚金鑫-React风格的企业前端技术

普元 Pworld2016 材料 奚金鑫-React风格的企业前端技术

2017-11-28

吕品-创新架构推动大数据的行业应用

普元 Pworld2016 吕品-创新架构推动大数据的行业应用

2017-11-28

王轩-敏捷数据管理的12个技术原则

2017云栖社区大数据分会场,王轩-敏捷数据管理的12个技术原则

2017-11-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除