一头秀发的刘大叔-CSDN博客

转载 SVM常见问题

SVM常见问题本文转自：https://www.jianshu.com/p/fa02098bc220SVM的面试题目相对有章可循，本次记录一下常见的几个面试题一句话介绍SVMSVM是一种二分类模型，他的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔大使它有别于普通的感知机，通过核技巧隐式的在输入空间直接求解映射空间中特征向量的内积，使其成为一个非线性分类器。SVM的学习策略是间隔最...

2019-06-25 20:53:17 2389

转载 DBSCAN聚类算法

DBSCAN聚类算法本文转自：https://blog.csdn.net/huacha__/article/details/81094891 一、前言二、DBSCAN聚类算法三、参数选择四、DBSCAN算法迭代可视化展示五、常用的评估方法：轮廓系数六、用Python实现DBSCAN聚类算法一、前言去年学聚类算法的R语言的时候，有层次聚类、系统聚类、K-me...

2019-06-25 15:51:25 988

原创 hive转义问题详解

hive转义问题详解引言hive控制台执行字符串不包含 ’ \ ‘字符串包含 ’ \ ‘hive -e的方式嵌入到shell脚本执行字符串不包含 ’ \ ‘字符串包含 ’ \ ‘总结引言hive转义问题想必进来的同学都遇到过，这里就直奔主题了。此类问题大致可以分为两种常用情况：在hive控制台执行的sql语句通过hive -e的方式嵌入到shell脚本执行sql的方式。按被转义字符...

2019-06-12 15:03:55 12549 3

原创线性回归最小二乘法和最大似然估计

线性回归概念求解最小二乘法概念简单的说，线性回归代表基于某些特征 X （自变量）和预测变量 y（因变量）的线性关系。公式如下：y=w0x0+w1x1+w2x2+…+wnxny = w_0 x_0 + w_1 x_1 + w_2 x_2 + … + w_n x_ny=w0x0+w1x1+w2x2+…+wnxn ; 其中 x0=1x_0=1x0=1 (公式1...

2019-06-11 17:14:25 13565 1

原创 Kafka消费者源码解析之三ConsumerNetworkClient

ConsumerNetworkClient解析开篇ConsumerNetworkClient 概述成员变量内部类和内部接口RequestFutureCompletionHandler 内部类UnsentRequests 内部类开篇通过消费者第一篇KafkaConsumer解析，我们可以知道，client主要做了两件事情：maybeTriggerWakeup() 安全的唤醒消费者客户端p...

2019-05-13 17:47:21 1085

Fetcher解析回顾Fetcher概述成员变量方法sendFetches方法回顾上一篇介绍了消费者KafkaConsumer两个主要方法，一个对外可以调用的poll方法和一个内部私有的pollForFetches方法。我们知道pollForFetches方法主要是抓取数据的实现细节，里面多次出现Fetcher对象，其中最主要的两个方法是 fetcher.sendFetches() 和 fe...

2019-04-29 18:44:20 1149

原创 Flink检查点问题

Flink检查点问题问题简介扫盲什么是检查点如何配置检查点路径如何启用检查点如何使用检查点解决思路小结问题简介Cannot find meta data file '_metadata' in directory 'hdfs://nn-HA-service/flink/flink-checkpoints'上面是本人实际工作中遇到的一个问题，于是便百度了一下问题，查无结果，可能是很低级的错误...

2019-04-28 19:18:26 3565 1

原创 Kafka消费者源码解析之一KafkaConsumer

KafkaConsumer解析引言消费者的hello word一人之下的poll方法引言前面几篇主要针对kafka生产者流程，介绍了主要的类和运作流程，大致流程清晰，有些细节不是很懂，所以一笔带过，水平有限，望读者见谅。接下来从一个例子进入到kafka消费者的圈子，见识下这个圈子里形形色色的对象。消费者的hello wordpublic class KafkaConsumerSimple...

2019-04-25 19:30:50 2242

原创 Kafka生产者源码解析之五小结

kafka生产者小结前言两件事初始化发送消息前言本篇主要把前几篇关于生产者做一个小结，主要以过程描述为主，就不附加代码了。想看代码和解释的同学可以参考下前几篇博客。其实kafka生产者总结起来就干了两件事，运行了两个线程。两件事初始化其实kafka生产者总结起来就干了两件事，第一件事就是初始化。看下面得实例代码。 ProducerRecord<String,String&...

2019-04-19 19:45:23 280

原创 Kafka生产者源码解析之四Sender

Kafka的Sender解析回忆线程startrun方法2.1 RecordAccumulator 的 hasUndrained方法2.2 NetworkClient 的 inFlightRequestCount方法2.3 核心run方法2.4 NetworkClient 的 close方法回忆上几篇我们从主线程出发介绍了kafka的消息发送的过程，NIO核心组件的初始化。本篇主要从另一个辅助...

2019-04-10 21:44:28 935

原创 Kafka生产者源码解析之三NIO

Kafka的NIO解析回顾回顾之前两篇介绍了KafkaProducer类send消息的具体过程，和RecordAccumulator类append消息的具体过程。这一条线路其实就算完了，可是总觉得还缺点什么。 RecordAccumulator.RecordAppendResult result = accumulator.append(tp, timestamp, serializ...

2019-04-04 19:46:15 874

原创 Kafka生产者源码解析之二RecordAccumulator

RecordAccumulator解析引言回忆引言此类是kafka生产者发送消息的第一接收站，故接着KafkaProducer之后分析，废话不多说，直入主题。回忆上一篇中类 KafkaPRoducer中 dosend 方法里面先将消息的key和value进行序列化，然后发送给消息累加器，即我们今天要分析的类RecordAccumulator。 RecordAccumulator.Reco...

2019-03-30 19:21:54 876

原创 Kafka生产者源码解析之一KafkaProducer

KafkaProducer解析程序开始doSend方法功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入程序开始kaf...

2019-03-27 20:35:58 2248

刘大叔的博客