- 博客(145)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 美团分布式ID生成服务
Leaf是美团基础研发平台推出的一个分布式ID生成服务，名字取自德国哲学家、数学家莱布尼茨的一句话“There are no two identical leaves in the world”。Leaf具备高可靠、低延迟、全局唯一等特点。目前已经广泛应用于美团金融、美团外卖、美团酒旅等多个部门。具体的技术细节，可参考此前美团技术博客的一篇文章：《Leaf...
2019-08-20 21:12:00
624
原创 MQTT 详解
一、简述MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低...
2019-05-19 14:26:00
7052
原创 分布式分析引擎Kylin Spring DataSource封装
Kylin 概述Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。image.pngKylin 特性image.pngJDBC认证基于Apa...
2019-03-15 21:15:00
823
原创 Spring Cloud Gateway 2.1.0 中文官网文档
目录1. How to Include Spring Cloud Gateway2. Glossary3. How It Works4. Route Predicate Factories5. GatewayFilter Factories6. Global Filters7. TLS / SSL8. Configuration9. Re...
2019-03-10 21:17:00
5769
原创 Elasticsearch 实战案例（索引切分、模板、别名、数据迁移）
背景基于ELK搭建的日志平台，前期匆忙建设过程中一些参数和设计未做过多的考虑，上线后就需要不断根据实际情况做调整，而一些调整限于ELK的一些特性，一旦操作不当就会出现丢数据、数据写入异常、数据查不到等情况。因此如何在这种背景下，做到对使用方无感知的动态调整是我们所要实现的目标。所以本文更加注重实践而非深层次的理论讲解，有兴趣深入了解的可以自行研习。总...
2019-01-15 13:50:00
854
原创 分布式任务调度组件 LTS 用户文档
LTS用户文档LTS(light-task-scheduler)主要用于解决分布式任务调度问题，支持实时任务，定时任务和Cron任务。有较好的伸缩性，扩展性，健壮稳定性而被多家公司使用，同时也希望开源爱好者一起贡献。项目地址github地址: https://github.com/ltsopensource/light-task-scheduler...
2018-12-06 12:28:00
679
原创 大数据实时查询-Presto集群部署搭建
Presto介绍Presto是一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。Presto的运行模型和Hive或MapReduce有着本质的区别。Hive将查询翻译成多阶段的MapReduce...
2018-10-11 13:42:00
1923
原创 Hive介绍与核心知识点
HiveHive简介Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给了Apache软件基金会。官网定义：The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in...
2018-10-10 17:41:00
315
2
原创 Presto介绍与常用查询优化方法
PrestoHive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。2012年秋季开始开发，目前该项目已经在超过 1000名Facebook雇员中使用，运行超过30000个查询，每日数据在1PB级别。Facebook称Presto的性...
2018-10-10 17:01:00
1223
原创 数据仓库模型说明
1.数仓概述数据仓库的建设是一个过程，而不是一个项目。在这个过程中我们需要形成自己的规范，以方便管理和维护。在数据仓库的建设过程中，不仅会面临着公司业务迅速发展，业务系统迭代变更，需要对业务系统数据进行相应的整合，形成公司完整的统一数据视图；而且基于数据仓库的应用也是多样化的，比如支撑自己企业的数据可视化平台、即席查询、对策略提供数据支持等。2.数仓...
2018-09-27 13:39:00
1072
原创 大数据分析基础——维度模型
image.png1基本概念维度模型的概念出自于数据仓库领域，是数据仓库建设中的一种数据建模方法。维度模型主要由事实表和维度表这两个基本要素构成。1.1维度维度是度量的环境，用来反映业务的一类属性 ， 这类属性的集合构成一个维度 ， 也可以称为实体对象。 维度属于一个数据域，如地理维度(其中包括国家、地区、 省以及城市等级别的内容)、时...
2018-07-29 22:10:00
5007
原创 使用Docker（Mac）搭建 Nginx/Openresty - Kafka - kafkaManager
本文默认读者已经对Docker有一定了解，且清楚使用Docker进行部署的优势。1.安装Docker（Mac） 官网：https://docs.docker.com/docker-for-mac/install/1.1 下载 Docker for Mac地址：https://store.docker.com/editions/community/docker-...
2018-05-26 23:20:27
1478
原创 使用Docker（Mac）搭建 Nginx/Openresty - Kafka - kafkaManager
本文默认读者已经对Docker有一定了解，且清楚使用Docker进行部署的优势。1.安装Docker（Mac）官网：https://docs.docker.com/docker-for-mac/install/1.1 下载 Docker for Mac地址：https://store.docker.com/editions/communit...
2018-05-26 00:17:00
221
原创 Google Analytics 维度和指标
转载自：https://support.google.com/analytics/answer/1033861?hl=zh-Hans概览Google Analytics（分析）中的每个报告都由维度和指标组成。“维度”是指数据的属性。举例来说，“城市”维度表示的是发起会话的城市，例如“巴黎”或“纽约”。“网页”维度表示的是用户浏览过的网页的网址。...
2018-05-13 16:47:00
509
原创 Druid：实时处理时序数据的OLAP数据库
大数据分析和Druid大数据一直是近年的热点话题，随着数据量的急速增长，数据处理的规模也从GB 级别增长到TB 级别，很多图像应用领域已经开始处理PB 级别的数据分析。大数据的核心目标是提升业务的竞争力，找到一些可以采取行动的洞察（Actionable Insight），数据分析就是其中的核心技术，包括数据收集、处理、建模和分析，最后找到改进业务的方案。...
2018-05-12 20:31:00
684
原创 Apache Kylin在美团数十亿数据OLAP场景下的实践
本文根据2016年4月北京Apache Kylin Meetup上的分享讲稿整理，略有删节。美团各业务线存在大量的OLAP分析场景，需要基于Hadoop数十亿级别的数据进行分析，直接响应分析师和城市BD等数千人的交互式访问请求，对OLAP服务的扩展性、稳定性、数据精确性和性能均有很高要求。本文主要介绍美团的具体OLAP需求，如何将Kylin应用到实际场景...
2018-05-12 19:06:00
263
原创 Apache Dubbo 开源现状与未来规划
官网地址：https://github.com/apache/incubator-dubbo/wiki12345678欢迎关注 高广超的简书博客 与 收藏文章 ！欢迎关注 头条号：互联网技术栈 ！个人介绍：高广超：多年一线互联...
2018-05-07 13:51:00
322
原创 领域驱动模型（DDD）
本文作者是组内同事 杜宁，目前负责美团外卖活动管理模块业务。什么是领域驱动模型? 2004年Eric Evans 发表《领域驱动设计——软件核心复杂性应对之道》（Domain-Driven Design –Tackling Complexity in the Heart of Software），简称Evans DDD，领域驱动设计思想进入软件开发者的视野。领域驱动设...
2018-05-04 10:35:05
9004
3
原创 软件架构师的12项修炼[4]—个人技能修炼（2）—激情
总纲 本书假定你已经有了成为架构师必备的技术技能，因此本书不会关注此类技能。 换句话说，本书着重于阐述对作为架构师日常行为非常关键的十二项必备软技能。这些技能对于有技术背景的人们来说往往是最有挑战性的技能，也是成为优秀的软件架构师必须修炼的技能。第二部分 个人技能修炼 只要你能把握自己，你就能把握任何东西。“` 本部分致力于讲述架构师的三个必...
2018-05-04 10:33:58
274
1
原创 垃圾回收算法优缺点对比
GC之前 说明：该文中的GC算法讲解不仅仅局限于某种具体开发语言。mutatormutator 是 Edsger Dijkstra 、 琢磨出来的词，有“改变某物”的意思。说到要改变什么，那就是 GC 对象间的引用关系。不过光这么说可能大家还是不能理解，其实用一句话概括的话，它的实体就是“应用程序”。这样说就容易理解了吧。GC 就是在这个 mutator 内部精神饱满...
2018-05-04 10:33:21
3488
1
原创 Java中的锁[原理、锁优化、CAS、AQS]
本文作者：景小财 作者简介：美团外卖活动业务负责人1、为什么要用锁？ 锁-是为了解决并发操作引起的脏读、数据不一致的问题。2、锁实现的基本原理2.1、volatile Java编程语言允许线程访问共享变量， 为了确保共享变量能被准确和一致地更新，线程应该确保通过排他锁单独获得这个变量。Java语言提供了volatile，在某些情况下比锁...
2018-05-04 10:32:42
292
4
原创 软件架构师的12项修炼[4]—个人技能修炼（2）—激情
总纲本书假定你已经有了成为架构师必备的技术技能，因此本书不会关注此类技能。换句话说，本书着重于阐述对作为架构师日常行为非常关键的十二项必备软技能。这些技能对于有技术背景的人们来说往往是最有挑战性的技能，也是成为优秀的软件架构师必须修炼的技能。架构师必备技能脑图第二部分 个人技能修炼只要你能把握自己，你就能把握任何...
2018-04-27 22:30:00
335
1
原创 垃圾回收算法优缺点对比
image.pngGC之前说明：该文中的GC算法讲解不仅仅局限于某种具体开发语言。mutatormutator 是 Edsger Dijkstra 、 琢磨出来的词，有“改变某物”的意思。说到要改变什么，那就是 GC 对象间的引用关系。不过光这么说可能大家还是不能理解，其实用一句话概括的话，它的实体就是“应用程序”。这样说就容易理解...
2018-03-30 18:19:00
825
1
原创 Java中的锁[原理、锁优化、CAS、AQS]
本文作者：景小财作者简介：美团外卖活动业务负责人1、为什么要用锁？锁-是为了解决并发操作引起的脏读、数据不一致的问题。2、锁实现的基本原理2.1、volatileJava编程语言允许线程访问共享变量， 为了确保共享变量能被准确和一致地更新，线程应该确保通过排他锁单独获得这个变量。Java语言提供了volatile，在某些情况下比锁要更加方...
2018-03-30 17:14:00
789
4
原创 领域驱动模型（DDD）
本文作者是组内同事 杜宁，目前负责美团外卖活动管理模块业务。什么是领域驱动模型?2004年Eric Evans 发表《领域驱动设计——软件核心复杂性应对之道》（Domain-Driven Design –Tackling Complexity in the Heart of Software），简称Evans DDD，领域驱动设计思想进入软件开发者...
2018-03-16 21:32:00
1105
3
原创 Spring Boot 2.0 Release Notes 中文版
image.pngUpgrading from Spring Boot 1.5由于1.5版本是Spring Boot的主要版本，所有升级现有的应用程序可能会比平常更复杂一点。我们制定了专门的迁移指南来帮助您升级现有的Spring Boot 1.5应用程序。如果您目前正在运行更早版本的Spring Boot，强烈建议在迁移到Spring B...
2018-03-06 11:49:00
322
原创 缓存Tair高性能使用规范
2x.png不要短时间大量重复读写相同的keyserver端的原理是网络收包后，放入到工作队列（读写队列分离，但都只有一个），再由工作线程从队列中取出进行处理。这里一个问题是，为保证数据的正确性，会对同一个key的读写加锁，而如果存在大量读写同一个key的情况，则势必会阻塞其他线程（锁不慢，锁竞争才慢），导致拖慢整个服务端的处理速度。不要...
2018-01-28 17:26:00
532
1
原创 软件架构师的12项修炼[3]——个人技能修炼（1）——透明化
总纲本书假定你已经有了成为架构师必备的技术技能，因此本书不会关注此类技能。换句话说，本书着重于阐述对作为架构师日常行为非常关键的十二项必备软技能。这些技能对于有技术背景的人们来说往往是最有挑战性的技能，也是成为优秀的软件架构师必须修炼的技能。架构师必备技能脑图第二部分 个人技能修炼只要你能把握自己，你就能把握任何...
2018-01-24 19:44:00
231
原创 Databus 分布式数据库同步系统
社区wiki主页：https://github.com/linkedin/Databus/wiki背景一个大型分布式系统往往存在多种的存储系统，mysql，tair，redis，memcache，hbase等等。一些重要的或者需要事务支持的数据操作，通常都会放到mysql处理。但是，为了满足高性能的访问需求或者做一些服务定制化的查询，业务上通常又会把mysql的数据再写到tair或者
2018-01-22 19:46:48
3550
原创 Databus 分布式数据库同步系统
社区wiki主页：https://github.com/linkedin/Databus/wiki背景一个大型分布式系统往往存在多种的存储系统，mysql，tair，redis，memcache，hbase等等。一些重要的或者需要事务支持的数据操作，通常都会放到mysql处理。但是，为了满足高性能的访问需求或者做一些服务定制化的查询，业务上通常又会...
2018-01-22 19:28:00
1002
原创 五大常用算法简述
分治法基本思想将一个问题，分解为多个子问题，递归的去解决子问题，最终合并为问题的解适用情况问题分解为小问题后容易解决问题可以分解为小问题，即最优子结构分解后的小问题解可以合并为原问题的解小问题之间互相独立实例二分查找快速排序合并排序大整数乘法循环赛日程表动态划分算法基本思想将问题分解为多个子问题（阶段），按顺序求解，前...
2018-01-21 17:02:00
142
原创 设计模式之设计原则
image.png“开一闭” 原则(OCP)经典力学的基石是牛顿三大定律。 而面向对象的可复用设计 (Object Oriented Design, 或 OOD) 的第一块基石，便是所谓的”开－闭“原则 (Open-Closed Principle, 常缩写为OCP)。“开－闭 ” 原则讲的是：一个软件实体应当对扩展开放， 对修改关闭...
2018-01-11 10:18:00
108
原创 Dubbo 3.0 即将到来
Dubbo 3.0重大革新据了解，新的 Dubbo 内核与 Dubbo 2.0 完全不同，但它兼容 2.0。Dubbo 3.0 将以 Streaming 为内核，而不再是 2.0 时代的 RPC，但是 RPC 会在 3.0 中变成远程 Streaming 对接的一种可选形态。梁飞给出了一个内核接口：Streaming docking(Streaming）...
2018-01-10 14:28:00
130
原创 Dubbo作者聊 设计原则
以下内容均来自 梁飞 的个人博客 http://javatar.iteye.com/blog/1056664魔鬼在细节一些设计上的基本常识谈谈扩充式扩展与增量式扩展配置设计设计实现的健壮性防痴呆设计扩展点重构魔鬼在细节中转于自己在公司的Blog：http://pt.alibaba-inc.com/wp/experience_1...
2018-01-06 20:57:00
302
1
原创 架构师技术栈 个人总结 beta版
架构师技术栈，是自己从业这些年来涉猎的主要部分，也是自己不断提升的方向，其中的内容也在不断的完善中，随时会更新版本，姑且算作beta版本。互联网技术日新月异，作为从业者，也需要不断学习，扩展技术视野。同时随着具体技术应用与实战，对其的理解也不断加深，配合对其原理与细节的深入研究，以增加技术深度。架构师技术栈.png个人介绍：高广...
2018-01-01 21:37:00
611
原创 七周七并发模型
image.png七个模型来介绍并发与并行。线程与锁:线程与锁模型有很多众所周知的不足，但仍是其他模型的技术基础，也是很多并 发软件开发的首选。函数式编程:函数式编程日渐重要的原因之一，是其对并发编程和并行编程提供了良好的支 持。函数式编程消除了可变状态，所以从根本上是线程安全的，而且易于并行执行。Clojure之道——分离标识与状态...
2018-01-01 21:20:00
601
原创 四层负载均衡转发模式
负载均衡又分为四层负载均衡和七层负载均衡。四层负载均衡工作在OSI模型的传输层，主要工作是转发，它在接收到客户端的流量以后通过修改数据包的地址信息将流量转发到应用服务器。image七层负载均衡工作在OSI模型的应用层，因为它需要解析应用层流量，所以七层负载均衡在接到客户端的流量以后，还需要一个完整的TCP/IP协议栈。七层负载均衡会与客户端...
2018-01-01 21:05:00
980
原创 Elasticsearch之元数据(meta-fields)介绍
image.png1. 什么是meta-fields在Elasticsearch下，一个文档除了有数据之外，它还包含了元数据(Metadata)。每创建一条数据时，都会对元数据进行写入等操作，当然有些元数据是在创建mapping的时候就会设置,它里面定义了每个添加的doc的处理方式。 类似于数据库的表结构数据。2. 有哪些meta-fi...
2017-12-29 21:19:00
1188
1
原创 Redis 队列
队列的实现举例： 队列主要用在系统解耦、流量削峰、异步处理、数据顺序处理等场景。新手在使用时可能会犯一些常见的错误。下面讲一个新手容易犯的错误，在这个示例中把队列的入队、出队和Redis存储节点的主从关系给混淆了，示例如下存储： Redis主节点M, 使用数据List类型做为队列,列表名称M (标记为M.L，意为主节点上的List) Redis从节点S,
2017-12-25 10:25:28
480
原创 Redis 单key值过大 优化方式
Redis使用过程中经常会有各种大key的情况， 比如：1： 单个简单的key存储的value很大2： hash， set，zset，list 中存储过多的元素（以万为单位）由于redis是单线程运行的，如果一次操作的value很大会对整个redis的响应时间造成负面影响，所以，业务上能拆则拆，下面举几个典型的分拆方案。1、单个简单的key存储的value很大1.1、 改对象需要每次都整存整取
2017-12-25 10:24:13
37951
6
freemarker-ide-0.9.14.zip freemarke reclipse插件
2014-10-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人