- 博客(89)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Happens-Before规则与DCL失效原因分析
先行发生是Java内存模型中定义的两项操作之间的偏序关系，如果操作A先行发生于操作B，其实就是说在发生操作B之前，操作A产生的影响能被操作B观察到，“影响”包括修改了内存中共享变量的值/发送了消息/调用了方法等。Happens-Before规则（先行发生原则）1. 程序次序规则（Program Order Rule）：在一个线程内，按照程序代码顺序，书写在前面的操作先行发生于书写在...
2020-04-21 23:52:59
279
转载 开源PaaS Rainbond的架构与实现
最近看这个项目，了解相关原生云业务,感兴趣可以关注下回顾云计算产业技术的发展，IaaS层虚拟化的逐步成熟，解决了过去使用物理计算集群所面对的资源提供者和使用者之间的耦合问题，一定程度上降低了交付应用和创造业务价值的门槛，但在开发和运维的技术难度方面表现一般。随后，以Docker、Kubernetes为代表的容器技术日益盛行，对应用的虚拟化为创造和交付大规模业务系统铺平了道路。然而单纯的容器...
2020-04-14 18:44:28
355
转载 Mysql 分区表事项
分区表是一种粗粒度,简易的索引策略,适用于大数据的过滤场景.最适合的场景是,没有合适的索引时,对其中几个分区表进行全表扫描.或者只有一个分区表和索引是热点,而且这个分区和索引能够全部存储在内存中.限制单表分区数不要超过150个,并且注意某些导致无法做分区过滤的细节,分区表对于单条记录的查询没有优势,需要注意这类查询的性能.分区表语法 分区表分为RANGE,LIST,HASH...
2020-01-18 03:07:39
288
转载 Flink的可靠性保证 – CheckPoint机制
Flink支持Exactly-Once级别的准确行，这是一个很高的要求，一般的高吞吐量系统只支持At-least-Once级别的。Lightweight Asynchronous Snapshots for Distributed Dataflows这篇论文是Checkpointing机制的理论基础，这个机制的思想来源于K.MANI CHANDY和LESLIE LAMPORT 发表的一...
2019-12-11 18:19:07
346
转载 Istio原理与架构
最近在折腾k8s体系，稍微总结下 当应用被拆分为多个微服务后，进程内的方法调用变成了进程间的远程调用。引入了对大量服务的连接、管理和监控的复杂性。随着微服务出现，微服务的连接、管理和监控成为难题，istio相对springcloud体系代码入侵低，跨域语言通信相对容易,相关详情可以参考这篇文档https://blog.csdn.net/zhonglinzhang/articl...
2019-08-29 15:44:13
1265
转载 理解深度学习中Batch Normalization批标准化
深度学习调优过程中，有很多的tricks,其中Batch Normalization是一项，这个篇博客介绍Batch Normalization讲得还不错，所以推荐下Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一...
2019-07-13 00:02:56
303
转载 理解机器翻译模型 Transformer
transformer是一种不同于RNN的架构，模型同样包含 encoder 和 decoder ，但是encoder 和 decoder 抛弃了RNN，而使用各种前馈层堆叠在一起。Encoder： 编码器是由N个完全一样的层堆叠起来的，每层又包括两个子层(sub-layer)，第一个子层是multi-head self-attention mechanism层，第二个子层是一个简...
2019-06-16 07:50:50
2417
1
转载 微服务监控方案介绍
引入微服务带来便捷的同时，同时也引入了技术上的挑战，比如服务编排,监控等，这介绍下微服务监控方案及监控指标 首先，您需要了解什么是微服务架构设计，同时了解相关微服务与Docker介绍， 微服务架构的本质，是把整体的业务拆分成很多有特定明确功能的服务，通过很多分散的小服务之间的配合，去解决更大，更复杂的问题。对被拆分后的服务进行分类和管理，彼此之间使用统一的接口来进行交互。...
2019-05-30 21:10:31
7349
2
转载 协同过滤推荐算法:UserCF、ItemCF python现实
目录一、协同过滤算法二、基于邻域的算法：UserCF、ItemCF三、UserCF、ItemCF的改进一、协同过滤推荐算法协同过滤算法是指基于用户行为数据设计的推荐算法，主要包括：1.基于邻域的算法：UserCF（基于用户的协同过滤算法）、ItemCF（基于物品的协同过滤算法）2.隐语义模型(LFM)：基于矩阵分解的推荐算法3.基于图的随机游走算法：PersonalR...
2019-04-20 16:21:43
2502
1
转载 推荐系统与知识图谱应用
推荐一篇知识图谱应用到推荐系统的论文，感兴趣的可以看看简介推荐系统最初是为了解决互联网信息过载的问题，给用户推荐其感兴趣的内容。在新闻推荐领域，有三个突出的问题需要解决：1.新闻文章具有高度的时间敏感性，它们的相关性很快就会在短时间内失效。 过时的新闻经常被较新的新闻所取代。 导致传统的基于ID的协同过滤算法失效。2.用户在阅读新闻的时候是带有明显的倾向性的，一般一个用户阅读过的文章会...
2019-04-09 16:59:24
951
转载 强力推荐flink流式引擎入门
这篇文章强力推荐，介绍flink流式引擎比较细致Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint ...
2019-04-01 12:02:40
1179
转载 深度学习在知识图谱的应用
探索下深度学习在知识图谱中的应用实践，感兴趣的同学可以看看，研究下一、大规模知识图谱的构建 知识图谱自上世纪60年代从语义网络发展起来以后，分别经历了1980年代的专家系统、1990年代的贝叶斯网络、2000年代的OWL和语义WEB，以及2010年以后的谷歌的知识图谱。谷歌目前的知识图谱已经包含了数亿个条目，并广泛应用于搜索、推荐等领域。知识图谱的存储和查询语言也经历了历...
2019-03-08 11:49:24
8814
1
转载 Faster R-CNN中的RPN和anchor机制理解
先上图看一下Faster R-CNN操作流程： 图片说明：Faster R-CNN=Fast R-CNN+RPN，其中Fast R-CNN结构不变；RPN负责生成proposals，配合最后一层的feature map，使用ROI Pooling，生成fixed length的feature vector。我们详细讨论一下RPN的操作过程 图片说明，红框只是一个滑窗的操作过程，注意...
2019-01-07 11:29:30
8429
转载 CTC算法基本原理解释
语音识别中的CTC算法的基本原理解释目前主流的语音识别都大致分为特征提取，声学模型，语音模型几个部分。目前结合神经网络的端到端的声学模型训练方法主要CTC和基于Attention两种。本文主要介绍CTC算法的基本概念，可能应用的领域，以及在结合神经网络进行CTC算法的计算细节。CTC算法概念CTC算法全称叫：Connectionist temporal classification...
2018-12-25 22:26:41
11123
1
转载 Java后端架构公共组件及学习应用
RPC/统一配置中心/基于注解的分布式锁/dubbo请求级缓存/调用链追踪/RabbitMQ/Elasticsearch/zookeeper/Sping boot公共组件统一配置中心统一配置中心1 统一配置中心2RPCDubbo环境下基本请求级的缓存 （未同步代码）变通实现微服务的per request以提高IO效率1 变通实现微服务的per request以提高I...
2018-11-24 18:22:25
2707
原创 理解Attention机制
Attention应用 ： 注意力机制即 Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入Attention模型，对源数据序列进行数据加权变换，或者在解码端引入Attention 模型，对目标数据进行加权变化，可以有效提高输入序列对目标序列的注意力的表现。 Attention理解： 上图中Enco...
2018-11-18 21:32:11
265
转载 几种共识算法介绍
共识算法（POW,POS,DPOS,PBFT，PAXOS，RAFT） POW：Proof of Work，工作证明。（最终一致性，适用公有链）要得到合理的Block Hash需要经过大量尝试计算，计算时间取决于机器的哈希运算速度。寻找合理hash是一个概率事件。当节点拥有占全网n%的算力时，该节点即有n/100的概率找到Block Hash。简单说明：pow主要是依靠计算机的机器的性能...
2018-10-11 11:47:48
3895
转载 浏览器加载、解析、渲染的过程
浏览器的渲染下面是渲染引擎在取得内容之后的基本流程：先来看个图： 解析html以构建dom树 -> 构建render树 -> 布局render树 -> 绘制render树所以，浏览器会解析三个东西： （1） HTML/SVG/XHTML，解析这三种文件会产生一个 DOM Tree。 （2） CSS，...
2018-08-01 17:00:25
271
转载 解析Elasticsearch/lucene打分策略
最近业务上遇到重新排序制定打分策略需求，参考这篇文档，对es打分策略有所了解在进行搜索时，对于召回的排序方式一般是两种方式：不指定sort按照相关度以及其他因素综合得到的分值排序；另外一种是完全按照指定的sort（可以使多个field,和顺序有关）,此时分数是0，即没有相关性的概念。指定字段排序比较简单，按照分值排序就涉及到一些打分策略和二次评分的方式。ES采用的是lucene的打分算法(es 5...
2018-05-15 01:33:59
1220
转载 springboot集成Swagger
手写Api文档缺点：文档需要更新的时候，需要再次发送一份给前端，也就是文档更新交流不及时。接口返回结果不明确不能直接在线测试接口，通常需要使用工具，比如postman接口文档太多，不好管理Swagger也就是为了解决这个问题，当然也不能说Swagger就一定是完美的，当然也有缺点，最明显的就是代码移入性比较强。其他的不多说，想要了解Swagger的，可以去Swagger官网，可以直接使用Swagg...
2018-04-30 04:09:20
1846
转载 电商用户画像
一、 前言大数据时代已经到来，企业迫切希望从已经积累的数据中分析出有价值的东西，而用户行为的分析尤为重要。利用大数据来分析用户的行为与消费习惯，可以预测商品的发展的趋势，提高产品质量，同时提高用户满意度。本课程是基于大型电商公司的真实用户画像中提练出的精华内容，旨在培养学员了解用户画像的内容，掌握构建用户画像的方法。二、 初识用户画像 右边是一个人的基本属性，通过一个人的基本属性我们可以了解...
2018-04-27 03:28:56
14473
4
转载 python 微服务方案
介绍使用python做web开发面临的一个最大的问题就是性能，在解决C10K问题上显的有点吃力。有些异步框架Tornado、Twisted、Gevent 等就是为了解决性能问题。这些框架在性能上有些提升，但是也出现了各种古怪的问题难以解决。在python3.6中，官方的异步协程库asyncio正式成为标准。在保留便捷性的同时对性能有了很大的提升,已经出现许多的异步框架使用asyncio。使用较早的...
2018-04-17 17:08:09
28587
3
原创 分布式爬虫架构设计
1.基于scrarpy-redis及celery设计分布式架构爬虫 Scrapy-redis Queue替换为Redis对列Scrapy-redis 分布式架构图 scrapy-redis改进型这里值得说明的是:可以基于Celery构建分布消息任务队列爬虫Master作为Producer任务生产者，Slaves作为Workers执行者,实现爬虫任务精确、灵...
2018-04-12 18:42:48
1184
原创 python2到python3兼容写法
1.from __future__ import absolute_import绝对引入: 引入系统自带库查找相应模块相对引入:在python2.4或之前,引入模块会在当前程序目录查找相应的模块，没有找到则再到系统自带库查找相应模块PS:推荐工程自带模块引入模块时写法,from xxx import xxx2.from future impor...
2018-04-11 18:16:04
1403
2
转载 Spark job WordCount分析
最近捣腾Spark原理,这篇博客分析还不错推荐下WordCount可以说是分布式数据处理框架的”Hello World”，我们可以以它为例来剖析一个Spark Job的执行全过程。我们要执行的代码为：sc.textFile("hdfs://...").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect只有一行，很简单也很经典的代码。...
2018-04-11 16:18:52
339
转载 netty源码到应用一系列教程
最近在学习Netty，这个博客总结的不错，推荐下http://www.cnblogs.com/ll409546297/p/8004409.html
2018-04-02 10:15:38
268
转载 理解CAS
CAS（Compare and Swap） 硬件同步原 对于常用多线程编程的人估计知道，对于一般人估计都不曾听说。在jdk5之前,我们知道，在多线程编程的时候，为了保证多个线程对一个对象同时进行访问时,我们需要加同步锁synchronized,保证对象的在使用时的正确性，但是加锁的机制会导致如下几个问题 1.加多线程竞争下，加锁和释放锁会导致较多的上下文切换，引起性能问题。 ...
2018-04-02 09:57:00
178
转载 悲观锁与乐观锁
什么场景下需要使用锁？在多节点部署或者多线程执行时，同一个时间可能有多个线程更新相同数据，产生冲突，这就是并发问题。这样的情况下会出现以下问题：更新丢失：一个事务更新数据后，被另一个更新数据的事务覆盖。脏读：一个事务读取另一个事物为提交的数据，即为脏读。其次还有幻读。。针对并发引入并发控制机制，即加锁。加锁的目的是在同一个时间只有一个事务在更新数据，通过锁独占数据的修改权。锁的实现方式 ...
2018-04-02 09:53:05
113
原创 决策树剪枝
一、决策树的生成算法 基本的决策树生成算法主要有ID3和C4.5, 它们生成树的过程大致相似，ID3是采用的信息增益作为特征选择的度量，而C4.5采用信息增益比。构建过程如下： 1.从根节点开始，计算所有可能的特征的信息增益（互信息），选择计算结果最大的特征为根节点。 2.根据算出的特征建立子节点，执行第一步，直到所有特征的信息增益（互信息）很小或者没有特...
2018-03-29 00:26:01
386
转载 django jwt认证机制原理详解
几种常用的认证机制转载：https://segmentfault.com/a/1190000010312468HTTP Basic AuthHTTP Basic Auth 在HTTP中，基本认证是一种用来允许Web浏览器或其他客户端程序在请求时提供用户名和口令形式的身份凭证的一种登录验证方式，通常用户名和明码会通过HTTP头传递。在发送之前是以用户名追加一个冒号然后串接上口令，并将得出的结果字符串...
2018-03-25 09:55:51
4808
1
转载 基于内容推荐算法详解(比较全面的文章)
Collaborative Filtering Recommendations (协同过滤，简称CF) 是目前最流行的推荐方法，在研究界和工业界得到大量使用。但是，工业界真正使用的系统一般都不会只有CF推荐算法，Content-based Recommendations (CB) 基本也会是其中的一部分。 CB应该算是最早被使用的推荐方法吧，它根据用户过去喜欢的产品（本文统称为 ite...
2018-03-22 17:43:01
89800
4
转载 深度学习入门系列好文
https://zybuluo.com/hanbingtao/note/581764零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线性单元和梯度下降 零基础入门深度学习(3) - 神经网络和反向传播算法 零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络 零基础入门深度学习(6) - 长短时记忆网络(LSTM) 零基础入门深度学习(7) -...
2018-03-13 14:47:38
985
转载 深度学习理解tensorflow之Dropout
前言 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按
2017-12-26 12:23:15
1176
1
原创 理解Python多继承
当遇到:Error when calling the metaclass bases Cannot create a consistent method resolution order (MRO) for bases P2,P1这个异常，原因是多重继承的时候因为父类的顺序问题导致。class P1(object): def foo(self): print 'called...
2017-12-23 12:27:57
509
转载 详解正则表达式中的\B和\b
对于正则表达式的中\B和\b 有些地方会出现弄清楚的情况或许你看了下面这篇博客 你就能够对\B和\b认识加深了根据查看API可以知道 \B和\b都是边界匹配符先说说\b这个单词边界吧！竟然想了解 首先必须清楚什么叫单词边界！我们可以以\b为分割来探究一下单词边界import java.util.regex.Matcher;import java.util.regex.P...
2017-12-15 18:45:21
27459
3
转载 行锁与表锁详解
mysql常用引擎有MYISAM和InnoDB，而InnoDB是mysql默认的引擎。MYISAM不支持行锁，而InnoDB支持行锁和表锁。1.行锁和表锁2.行锁的类型3.行锁的实现1.行锁和表锁在mysql 的 InnoDB引擎支持行锁，与Oracle不同，mysql的行锁是通过索引加载的，即是行锁是加在索引响应的行上的，要是对应的
2017-12-15 17:07:34
23759
6
转载 增强的格式化字符串format函数
自python2.6开始，新增了一种格式化字符串的函数str.format()，可谓威力十足。那么，他跟之前的%型格式化字符串相比，有什么优越的存在呢？让我们来揭开它羞答答的面纱。语法它通过{}和:来代替%。“映射”示例通过位置In [1]: '{0},{1}'.format('kzc',18) Out[1]: 'kzc,18' In [2]: '{},
2017-12-12 17:22:32
302
转载 HAProxy简介及配置文件详解
一 HAProxy简介 HAProxy提供高可用、负载均衡以及基于TCP和HTTP的应用代理，适合处理高负载站点的七层数据请求。类似的代理服务可以屏蔽内部真实服务器，防止内部服务器遭受攻击。 HAProxy特点和优点： 1.支持原声SSL,同时支持客户端和服务器的SSL. 2.支持IPv6和UNIX套字节（sockets） 3.支持HTTP Keep-Alive 4.支持H...
2017-12-08 18:43:23
284
转载 Netty实现原理浅析
Netty是JBoss出品的高效的Java NIO开发框架，关于其使用，可参考我的另一篇文章 netty使用初步。本文将主要分析Netty实现方面的东西，由于精力有限，本人并没有对其源码做了极细致的研 究。如果下面的内容有错误或不严谨的地方，也请指正和谅解。对于Netty使用者来说，Netty提供了几个典型的example，并有详尽的API doc和guide doc，本文的一些内容及图示也来
2017-11-24 11:28:03
329
VS2013OpenCV3属性配置文件(修正)
2016-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人