- 博客(42)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 elasticsearch 如何删除某字段中含有null的所有文档
具体就不说我遇到的场景了，主要是不好意思说。下面我直接讲一下我解决的过程吧。首先也是google一下看有没有现成了，果然是有滴详细可以查看：https://blog.csdn.net/zhang862520682/article/details/80333196这篇文章说了如何查询出某个字段为空的文档，操作如下：GET vas_user_tags/_search{ "qu...
2019-03-25 16:03:22
3018
2
原创 将mysql数据同步到elasticsearch时，mysql的float类型出现精度损失及解决方法
场景描述之前将mysql数据同步到ES，采用的是如下的架构，打造的是千万级别的实时搜索系统详情请看 https://blog.csdn.net/laoyang360/article/details/52227541#commentBox最近运营突然找到我说有一个问题就是为什么数据库源表这种是2.99肿么变成了这个2.990000009536743，出现了精度上面的一些问题。一开...
2019-02-03 10:59:09
1846
原创 elasticsearch xpack sql group by 如何对时间按年月日进行分组查询
ES从6.3开始已经支持SQL了，当然还有很多不完善的地方，比如对于嵌套查询，连表查询，但是对于单表而言，提供的SQL已经基本够用了。这里只讲一下我在实际业务中遇到的一个问题，运营那边想要对时间进行分组查询，可以按年或是月或是日进行分组，为了能满足运营那边的要求，自己研究了一下在ES中group by的使用方式。首先当然是网上google了一下，看看有没有现成的资料可以用一下，找了半天发现...
2018-11-25 13:41:21
6335
2
原创 js制作CSV文件下载功能时，由于值中含有json字符串导致导出格式错误解决方法
问题描述：由于做的是真分页，所以下载的时候不用在查询数据库，因而直接用的是js制作CSV文件下载功能，但是由于值中含有json字符串导致导出格式错误。格式错误体现在json字符串被拆分，占用了多个单元格。解决方法：根据CSV文件识别单元格的方式，用双引号括起来的内容被识别为一个单元格。所以问题主要出在json字符串中含有双引号。因此只需要先过滤每个单元格中的双引号就可以解决问题...
2018-10-17 09:37:48
1598
原创 kibana 创建index pattern 索引模式时过慢导致无法创建成功 以及解决方案
下面我具体描述一下我遇到的问题。在kibana上面创建索引点击创建时，一直显示下面的页面就看到不停的在那转，始终创建不成功。查看后台日志，看到状态码为403,报了如下的错误由于我用的是es6版本，所以怀疑是.kibana没有写入权限我尝试修改index.blocks.write执行：PUT .kibana/_settings{ "index.blocks.wr...
2018-10-13 11:51:08
8295
2
原创 遗传编程——java语言实现
对于遗传编程的理论请参看《集体智慧编程》一书，书中对于遗传编程的原理有详细的阐述。遗传编程的大体执行过程如下图所示：我们使用树形表示法来描述图中遗传编程中的程序。下面进入到我们这篇博客的重点了，用遗传编程实现格子战争游戏（相互追逐游戏）——java语言实现一、由于是使用树形表示法来描述，所以我们首先需要构造一棵树树节点的构造由于有三种类型的节点，所以首先我们定义一个通用的节点接口public in...
2018-06-04 23:45:44
1602
翻译 机器学习（二十）——文本分类的事件模型（Event models for text classification）
原文：http://cs229.stanford.edu/notes/cs229-notes2.pdf为了结束我们对生成性学习算法的讨论，让我们再来谈谈一个专门用于文本分类的模型。虽然我们已经介绍了朴素贝叶斯，但它在许多分类问题例如文本分类上都会很好地工作，会有一个相关的模型做得更好。在文本分类的具体背景下，提出的朴素贝叶斯采用所谓的多元伯努利事件模型。在这个模型中，我们假设产生电子邮件的方式是首...
2018-05-30 21:14:52
1634
翻译 机器学习（十九）——拉普拉斯光顺（Laplace smoothing）
原文：http://cs229.stanford.edu/notes/cs229-notes2.pdf我们已经描述过的朴素贝叶斯算法能够很好地解决许多问题，但是有一个简单的改变使得它更好地工作，特别是对于文本分类。让我们简单地讨论算法在当前形式下的问题，然后讨论如何修复它。考虑垃圾邮件/电子邮件分类，让我们假设在完成CS229并完成了对项目的出色工作之后，您决定在2003年6月左右将您所做的工作提...
2018-05-30 20:48:48
6589
翻译 机器学习（十八）——朴素贝叶斯（Naive Bayes）
原文：http://cs229.stanford.edu/notes/cs229-notes2.pdf在GDA中，特征向量x是连续的实数向量。现在让我们来谈谈一种不同的学习算法，其中是离散值的。对于我们的引入示例，考虑使用机器学习构建一个电子邮件垃圾邮件过滤器。在这里，我们希望根据是否是垃圾邮件，或非垃圾电子邮件进行分类。在学习了这一点之后，我们就可以让我们的邮件阅读器自动过滤掉垃圾邮件，或者将它...
2018-05-22 16:03:54
446
翻译 机器学习（十七）——高斯判别分析模型（The Gaussian Discriminant Analysis model）
原文：http://cs229.stanford.edu/notes/cs229-notes2.pdf当我们有一个输入特征x是连续值随机变量的分类问题时，我们可以使用高斯判别分析(GDA)模型，该模型p(x|y)使用多元正态分布。这个模式为：写出它的展开形式，如下所示：这里，我们的模型的参数是φ，Σ，µ0和µ1。(请注意，当存在两个不同的均值向量µ0和µ1时，通常只使用一个协方差矩阵Σ。)这些数据...
2018-05-16 07:52:37
1715
翻译 机器学习（十六）——多元正态分布（The multivariate normal distribution）
原文：http://cs229.stanford.edu/notes/cs229-notes2.pdfn维的多元正态分布，也称为多元高斯分布，是用均值向量和协方差矩阵参数化的，其中Σ≥0是对称的和正半定的。也被写作，它的密度函数为在上面的方程中，“|Σ|”表示矩阵Σ的行列式。对于一个随机变量X分布的，均值是向量值随机变量Z的协方差定义为。这是一个实值随机变量方差的概念.协方差也可以定义为。(你应该...
2018-05-15 22:30:14
46856
5
原创 安装pydelicious遇到DeliciousItemExistsError的解决方法
对于pydelicious的下载，可以从下面的网址中选择需要的版本下载https://code.google.com/archive/p/pydelicious/downloads我下载的是pydelicious-0.6.zip，下载之后解压缩cd pydelicious-0.6进入运行python setup.py install进行安装的过程中报错：E:\python学习笔记\集体智慧编程\...
2018-05-04 19:37:09
477
翻译 机器学习（十五）——生成学习算法（Generative Learning algorithms）
原文：http://cs229.stanford.edu/notes/cs229-notes2.pdf到目前为止，我们主要讨论的学习算法，模型p(y|x；θ)，即给定x的条件下，y的条件分布。例如，Logistic回归将p(y|x；θ)建模为，其中g是Sigmoid函数。下面，我们将讨论一种不同类型的学习算法。考虑一个分类问题，根据动物的一些特征，我们想要学习区分大象(y=1)和狗(y=0)。给定...
2018-04-25 08:43:36
1137
翻译 机器学习（十四）——证明softmax回归属于GLM模型族
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf让我们再看一个GLM的例子。考虑一个分类问题，其中响应变量y可以接受任意一个k值，因此y∈{1,2，…，k}。例如，与其将电子邮件分为垃圾邮件或非垃圾邮件--垃圾邮件--这可能是二进制分类问题--不如将其分为三类，例如垃圾邮件， 个人邮件和与工作有关的邮件。响应变量仍然是离散的，但现在可以接受两个...
2018-04-25 08:43:21
714
翻译 机器学习（十三）——证明逻辑回归属于GLM模型族
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf我们现在考虑Logistic回归。这里我们以二进制为例，其中y∈{0，1}。鉴于y是二值的，因此，选择伯努利分布的伯努利族似乎是自然的，以便对给定的x的条件分布y进行建模。在我们将Bernoulli分布表述为指数族分布的过程中，我们有。此外，注意，如果y|x; θ ~Bernoulli(φ),那么...
2018-04-25 08:43:09
363
翻译 机器学习（十二）——证明普通最小二乘属于GLM模型族
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf为了证明普通最小二乘是GLM模型族的特例，考虑目标变量y(在GLM术语中也称为响应变量)设置为连续的，我们将给定x的条件分布建模为一个高斯分布（这里µ可能依赖x）。因此，我们把上面的ExponentialF amily(η)分布设为高斯分布。正如我们以前看到的，在把高斯描述为指数族分布的过程中，我...
2018-04-25 08:42:55
365
翻译 机器学习（十一）——构造广义线性模型（Constructing GLMs）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf假设您希望建立一个模型来估计在任何给定时间内到达您的商店的顾客数量y(或您网站上的页面浏览量)，基于某些特点x，如商店促销，最近的广告，天气，每周一天等。我们知道泊松分布通常给出了一个很好的游客数量模型。知道了这一点，我们如何才能为我们的问题建立一个模型？幸运的是，Poisson是指数族分布，因此...
2018-04-25 08:42:42
679
翻译 机器学习（十）——指数族（The exponential family）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf为了达到广义线性模型，我们首先定义指数族分布。我们说如果一个分布是指数族分布，那么它可以用以下形式表示：这里，η被称为分布的自然参数（也称为规范参数）；T(y)是充分统计量（对于我们所考虑的分布，通常情况下有T(y)=y）；a(η)被称为对数划分函数。这一项本质上是起到了正则化常数的作用，确保了分...
2018-04-24 22:11:12
12798
1
翻译 机器学习（九）——用牛顿法来最大化ℓ(θ)
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf回到使用sigmoid函数作为g(z)g(z) 的 logistic回归问题，让我们讨论一种不同的最大化 l(θ)l(θ) 的算法。开始之前，我们先想一下牛顿法去求函数零点。假如我们有一些函数 f:R↦Rf:R↦R， 接着我们希望找到一个 θθ ，满足 f(θ)=0f(θ)=0，其中 θ∈Rθ∈R...
2018-04-24 22:11:01
744
翻译 机器学习（八）——感知器学习算法（The perceptron learning algorithm）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf现在，让我们简要地谈论一个历史上曾经令人很感兴趣的算法，当学习到学习理论章节的时候我们将还会提到这个。试想一下修改logistic回归的方法，来“迫使”它能够输出除了0或1亦或是其它以外的输出值。为了达到这个目的，自然而然地会想到去改变阈值函数 gg 的定义：接下来，如果我们和前面一样令 hθ(x...
2018-04-24 22:10:50
734
翻译 机器学习（七）——逻辑回归（Logistic regression）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf我们可以忽略y是离散值的事实来处理分类问题，并利用我们的线性回归算法来尝试根据给定的x来预测y。但是，在这种方法性能很差的情况下，构造示例是很容易的。直观地说，当我们知道y∈{0，1}时，取大于1或小于0的值也是没有意义的。为了解决这个问题，让我们改变假设的形式。我们将选择其中，称为逻辑函数或Si...
2018-04-24 22:10:38
371
翻译 机器学习（六）——局部加权线性回归（Locally weighted linear regression）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf考虑从x∈R中预测y的问题。下面最左边的图显示了将拟合到数据集的结果。我们看到数据并不是直线上的，所以拟合不是很好。 取代原来的方法，如果我们加上一个额外的特征 ，并用 来拟合数据，你会发现效果稍微好了那么一点（看中间这幅图片）。似乎可以天真地认为，我们添加的特征越多越好。然而，添...
2018-04-24 22:10:24
11464
5
翻译 机器学习（五）——概率解释（Probabilistic interpretation）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf当面临回归问题时，为什么线性回归，特别是为什么最小二乘损失函数可能是一个合理的选择？在本节中，我们将给出一组概率假设，在此假设下，最小二乘回归是一种非常自然的算法。让我们假设目标变量和输入是通过下面的方程关联的上面的是误差项，用于考虑建模时忽略的变量所产生的影响（ 比如可能某些特征...
2018-04-24 22:10:09
2016
翻译 机器学习（四）——最小二乘（Least squares）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf借助矩阵导数的工具，现在让我们继续以封闭的形式找到的值，使得最小化。我们从用矩阵向量表示法重写开始。给定一个训练集，设计矩阵为矩阵，(实际上是，如果我们包括拦截项)，其中每一行为训练样本的输入值：另外，让是包含训练集中所有目标值的m维向量：现在，由于，我们可以很容易的证明：...
2018-04-24 22:09:55
2808
翻译 机器学习（三）——最小均方算法（LMS algorithm）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf我们要选择，以便最小化。要做到这一点，让我们使用一个搜索算法，它以的初始值开头，反复变化使越来越小，直到我们收敛到一个值,使得最小化。具体来说，让我们考虑梯度下降算法，由一些初始化的开始，然后反复执行更新：(对的所有值同时执行此更新)在这里,被称为学习速率。这是一个反复朝的下降幅度最大...
2018-04-24 22:09:27
7757
1
翻译 机器学习（二）——线性回归（Linear Regression）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf为了使我们的住宅更有趣，我们可以考虑一个稍微更丰富的数据集，我们也知道每个房间的卧室数量： 2104 3 400 1600 3 330 2400 3 369 1416 2 232 3000 4 ...
2018-04-24 22:09:11
606
翻译 机器学习（一）——监督学习（Supervised learning）
原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf让我们从几个有监督的学习问题的例子开始。假设我们有一个数据集，显示来自俄勒冈州波特兰的47个住宅的起居面积和价格： 2104 400 1600 330 2400 369 1416 232 3000 540 我们可以...
2018-04-24 22:08:51
3150
原创 一个即将面临毕业的菜鸟程序员
仅作为一段记录，用来总结一下自己这大学四年。大学信誓旦旦的选择了一个自以为是计算机的专业，但没想到居然是个数学专业，顿时就一脸懵逼了。大一一开始就听我们教学院长说数学是有多么多么牛逼，又说数学是有多么多么难学，学习数学的平均一万个人中只有一个人能学好数学。那时，我就在心里想着是否自己会是院长所说的能学好数学的人呢。于是，怀着试一试的心态，就开始学习数学了。之后，就是每天四点一线的生活了，教室-图书...
2018-04-24 16:39:19
513
原创 如何在java中插入音乐
下面是我在java中插入背景音乐的一些学习心得，在此向大家做一下分享。我使用的JDK版本是1.8版本。以我做的登陆界面为例在java中插入背景音乐我给出两种方法：第一种方法：新建一个Music类[java] view plain copyimport java.applet.Applet; import java.applet.AudioClip; import java.io.File; ...
2018-04-14 14:20:07
17430
5
原创 单例模式的五种实现与比较
一、懒汉式实现单例模式读取配置文件[java] view plain copyimport java.io.IOException; import java.io.InputStream; import java.util.Properties; //懒汉式 public class Singleton1 { /** * 定义一个类变量用来存放创建好的类实例 ...
2018-04-14 14:15:26
201
原创 通过缓存实现多例模式
下面的实例是通过Map泛型来缓存实现三例本文只是展示设计模式，对于实例的调度问题不做叙述。简单的循环返回三例模式的实现‘[java] view plain copyimport java.util.HashMap; import java.util.Map; /** * 简单演示如何扩展单例模式，控制实例个数为三 * @author Administrator * */ pu...
2018-04-14 14:13:59
253
原创 线性回归与逻辑回归python实现
1、线性回归定义一个线性回归类LinearRegression只使用一个库numpy在一开始导入from numpy import *（1）先进行初始化由于传入的是训练样本X以及标签y，所以初始化函数为：def __init__(self, X, y): self.m = len(X) self.n = len(X[0]) self.theta = ones((self.n...
2018-04-10 13:15:51
1744
原创 jsp+servlet项目——班级博客
这是一个没有使用任何框架的jsp+servlet项目，前端使用的技术是html、css、js，后端使用的是jsp、servlet，使用MVC模式。整个项目由班里一共三位同学开发完成，总共耗时1个月。项目github地址:https://github.com/2014214128/class_blog班级博客使用手册 一、 如何注册登陆1、 首先在主页面的右上角找到登录注册链接 2、 点击进入注册界...
2018-03-31 15:46:57
702
原创 java运行机制
对于JVM如何执行一个.java文件我们分成如下四步来介绍：第一步：首先JVM会在我们配置的系统变量中找到classpath变量；第二步：通过classpath找到JDK中的javac.exe文件来对.java文件编译解释成.class字节码文件，换言之，就是通过JVM的解释器将.java文件编译解释成.class字节码文件；第三步：然后JVM会在我们配置的系统变量中找到path变量；第四步：通过...
2018-03-31 14:27:17
177
原创 bezier 曲线的绘制 matlab实现
Bezier曲线的定义如下：下面用matlab实现Bezier曲线的绘制：1、绘制二维bezier曲线代码如下：function [X,Y]=bezier2(x,y)%用法：%bezier(x,y)% 生成n-1次贝塞尔曲线,其中x和y是n个点的坐标%h=bezier(x,y)% 生成n-1次贝塞尔曲线并返回曲线句柄%[X,Y]=bezier(x,y)% 返回n-1次贝塞尔曲线的坐标...
2018-03-31 14:18:02
13688
4
原创 B-样条基函数 matlab实现
B-样条基函数的递归形式如下：matlab实现：function result = Bbase(i,k,u,NodeVector)% 计算基函数result% i为控制顶点的序号 k为次数 u为带入的值 NodeVector为节点向量if k==0 if NodeVector(i)<=u && u<=NodeVector(i) ...
2018-03-28 20:33:18
9558
6
原创 Win10 Anaconda 安装tensorflow-gpu遇到的问题以及解决方案
对于window10安装tensorflow，tensorflow官网已经有比较好的教程网址为：https://tensorflow.google.cn/install/install_windows下面我主要来说下我在安装的过程中遇到的问题1、使用pip安装过程中，pip安装过慢导致超时此时需要换源详细请看：https://blog.csdn.net/darkfour/article/detai...
2018-03-26 20:59:49
2156
原创 java集合之ArrayList源码解读 帮助大家自己动手写一个ArrayList
本文解读了java集合ArrayList的源码，通过我们使用ArrayList的过程，将ArrayList的实现原理一一进行解析，最后解析完，大家能够很轻松的写一个自己的简化版ArrayList，我的目的也就达成了。
2017-10-14 21:55:40
380
原创 如何快速找出一个数组中只出现一次的两个数，其他元素出现两次？保证时间复杂度O(n),空间复杂度O(1)
如何快速找出一个数组中只出现一次的两个数，其他元素出现两次？保证时间复杂度O(n),空间复杂度O(1)分析步骤：1、对数组中所有元素求异或，得到结果result。那么由于这个数组中有两个数只出现一次，而其他元素出现两次，所以result的结果一定不为零2、找出result中任意不为零的位，保存位的下标，记作index3、将数组分为第index位为零和不为零两组，分别对这两组进行异或运算，即可得到数组中只出现一次的两个数
2017-09-29 21:51:16
1757
原创 安装Scrapy遇到UnicodeDecodeError问题解决方法
本文阐述了作者在安装Scrapy时，遇到UnicodeDecodeError问题以及解决问题的过程。
2017-06-24 19:59:33
2824
pydelicious的__init__.py替换文件
2018-05-04
cudnn-9.0-windows10-x64-v7.0
2018-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人