kangpeng1107-CSDN博客

原创蓄水池算法

今天有幸听同事讲到蓄水池算法：题目描述：在M个元素的队列中，随机选取k个元素，队列中每个元素的选取是等概率的；证明过程：略https://blog.csdn.net/alicelmx/article/details/95880727 （在这里转载的其他人的文章，如有侵犯请私聊）使用方向：对数据进行等概率采样；该题目并不是为了证明这个算法，是利用这个算法进行采样；根源分析：此算...

2019-09-26 21:00:57 583

原创 JVM缓存

缓存是将数据在整个程序生命周期中存储的内存；作用：（1）能够提升获取数据的效率，避免IO读取耗时操作；（2）被大量的读取，更新频率低；（3）经常变化，但是不会被持久化的；方式：使用static关键字开辟内存与搜索时间复杂度为O(1)的HashMap来存储数据提高读取效率；然后实现相应的缓存写入、更新、读取、删除等逻辑；问题：（1）上述提到缓存存活在程序应用的生命周期...

2018-12-21 14:59:21 9144 1

原创 float，double精度

Double与float类型（1）基本存储方式：与int、long存储方式不同，double与float在内存中是以符号位、指数位与尾数位三部分进行存储的，其中符号位表示数字分正负，占位1位；指数位表示浮点的位置，占位8位，无符号存储，取值范围：0-256，其与实际指数的偏差值为127，尾数表示数值的精度，占位23位。我们以8.25为例来进行说明：8.25用二进制表示可表示为1000.

2017-06-20 10:00:02 7522 2

原创 redis

学的东西有些杂乱，有些多了，但是创业公司都是这样干吧，

2017-04-10 11:30:05 847

原创 hadoop随手笔记（2）--mapreduce的运行机理

（1）InputFormat输入格式：里面定义了getSplits方法，主要将输入的文件分割成逻辑上的多个分片InputSplit，这里面的分片不是真正意义上的分片，只是逻辑上的分片，每个分片同伙输入文件的路径、开始时为止和偏移量三个信息来唯一标识。使用createRecordReader方法去创建一个RecorReader记录读取器，分别读取输入分片中的键值对，交给Map处理：在MapR

2017-04-10 11:28:09 482

原创 hadoop随手笔记（3）

（1）FairScheduler调度器当只有一个job在集群中运行时，这个job可以使用整个集群的资源，但是当有其他的jobs提交到集群上的时候，那么在有其他的jobs提交到集群上的时候，那么在那个时刻空闲的内存slot就可以被分配给心提交上来的jobs，所以在一定时间内，每个job都得到了比较平均的cpu使用时间。（2）TaskTracker的数量和DataNode的数量相同，TaskT

2017-04-10 11:27:56 312

原创 MR程序编写

做了一个有关于读取三张hbase表处理进行统一处理的项目：（1）MR中读取多张表：TableMapReduceUtil.initTableMapperJob()支持对多张scan组成的list，每个scan是对每张表的浏览，其中scan又可以对表进行过滤类似于hbase。List scans = new ArrayList<>(); Scan scan1 = new Scan();

2017-04-10 11:27:24 4424

（1）hadoop的信息的传递主要依靠心跳机制：依靠传递packet来想Datanode写入数据，一个packet由多个数据chunk组成，每个chunk对应这一个校验和，当chunk的数目足够多的时候，packet会被写入Dataqueue。其中packet包含两种：心跳packet（里面不含有任何chunk，4个字节存储packet的长度，8个字节存储呢packet在block中的偏移量，8个

2017-04-10 11:24:25 978

原创监控系统nagios的安装

nagios:一个监视系统的框架。它用来集成各种监听服务的插件来实现对从属机的监听。原理：nagios通过周期性的自动调用插件去检查从属机器的状态，在此同时会创建一个队列，将返回的消息状态放入到队列中，然后通过web界面显示出来。主要功能：网络服务监控（SMTP、POP3、HTTP、NNTP、ICMP、SNMP、FTP、SSH）主机资源监控（CPU load、disk us

2017-03-06 22:17:34 314

原创傅里叶变换

因为喜欢从根本上去理解问题，但是好多问题都是一些很基础很简单的问题，我却喜欢打破砂锅，所以如果大神的话请绕远吧。。。而且看到好多东西都喜欢问一个为什么，所以好多师兄也对我无语了，也喜欢自己看书钻研。问题1：傅里叶变换中为什么将原函数与或者与进行积分，尽可以转换到频域中，这样的原理是什么？信号的分解：任意信号都可以使用空间内不同正交信号（其中正交函数是定义在一个区间上面的）的表示。而三角函

2016-11-30 16:35:24 815

原创 ELK搭建与hbase关联

ELK（ElasticSearch Logstash Kibana）是三个开源工具，最常用的功能就是检查日志。如果开动脑洞，还会有更多的用途，这三个组合在一起确实功能很强大，每一种工具都有自己的功能的实现（按照日志处理的顺序来说）：（1）Logstash：具备了日志的“收集-过滤-输出”功能，其实也就这三个功能最常用。通过命令行来指定相关的配置，且配置的命令行都是固定（要根据官网提供的模板进行

2016-10-14 20:13:49 4348

转载 kmeans聚类算法

（1）选取m个质心；（2）计算任意点与m个质心的相似度（或者是距离），最短或者误差最小的便归该类。质心的选取：（1）选择批次尽量远的点。首先随机选择一个点作为第一个初始类簇中心点，然后选择距离该点最远的那个点作为第二个初始类簇中心点，然后再选择距离前两个点的最近距离最大的点作为第三个初始类簇的中心点，以此类推，直至选出K个初始类簇中心点。（2）层次聚类算法或者canopy算法

2016-09-30 15:19:35 468

原创 SVM的个人理解

支持向量机–SVM大家都不会陌生，其实就是一种分类器。在集合空间中寻找一个能够正确分隔这些元素的超平面，当只有两个元素的时候，符合我们条件的超平面有很多，但是找到最佳的超平面的只有一个。在这里面超平面是一条线，是一个wx+b=0的直线。这里面说一下我遇到的疑惑点： SMO（Sequential minimal optimization）：参考文献根据pluskid中的博客所提到的，我们使用点到

2016-09-15 19:41:54 534

原创 java最大线程数

问题：java.lang.OutOfMemoryError: unable to create new native thread一切都是因为这个问题造成的，当运行hbase程序的时候，出现了这个问题（内存溢出），不能去创建本地线程，第一次遇到，又开始学习新知识了。首先判断内存的剩余量，打开终端，运行程序，内存还有一些，报错！！百度：说是系统线程的限定。好，尝试一下，Thread.

2016-08-19 20:11:52 2714

原创 java中http请求

最近在做爬虫项目，在浏览器下获取到可以返回json数据的连接，但是使用java.net自带的请求，请求的只有网页源代码，没有json数据，但是在浏览器上可以直接返回json数据。String urlpath = "http://www.xxxx.xxx/xxx?status=2&xxx=xxxx&xxxx=2&xxxx=120"URL url = new URL(urlpath);Buf

2016-06-13 17:54:07 1338

转载 Mac自带系统读取NTFS文件系统

将OS X系统下面自带的mouts_ntfs默认加载方式从只读改为读写。使用root方式进行下面操作（切记明确每一个步骤，知道自己在做什么，否则很容易摧毁系统）。cd /sbin

2016-06-06 18:37:26 3658

原创 tsocke的解析+ssh代理登陆

今天做项目又遇到了问题，首先是知道了跳板机（网关机）的ip地址，但是如何去访问网关机局域网内部的机器，现在知道的两种方法：1.端口映射；2.ssh登陆。端口映射似乎听起来很高端（要从底层做起），端口映射会将一个端口对外开放，让外面的主机可以直接访问局域网内部的机器，但是这样的话，就造成了潜在的危险，一个全封闭的屋子是永远都比一个打开一个窗子的屋子要安全的很多。ssh的功能真的是十分强大，ssh有个

2016-06-06 09:42:42 935

转载 grub分析

grub.cfg是类UNIX系统的启动文件，有的文章上说是meu.lt，因为menu.lt是grub.cfg的链接文件。当开机进行启动的时候，机器首先去检测grub文件，根据grub文件里面的命令去执行相应的操作。很多时候，特别是在linux调整分区后，开机重启时会出现 error : unknow filesystem grub rescue>

2016-05-29 16:49:57 362

转载 grub命令解析

一、菜单命令菜单命令只能用于grub配置文件的全局配置部分，不能用在grub命令行交互界面，菜单命令在配置文件中应放在其它命令之前。1、default //设置默认启动的菜单项2、fallback //设置启动某菜单项失败后反回的菜单项3、hiddenmenu //隐藏菜单界面4、timeout //设置菜单自动启动的延时时间5、title //开始

2016-05-29 16:32:03 536

原创 Unity3D之四元数

四元数，对于我以前的经历来说，是一个新的数学概念，即不同于以前的算法。**先介绍一下一些概念：**超复数：简单的说，就是在以前复数的基础上又发现了新的数据表示方式或者说是新的空间表示，例如a+bj就是实数与复数的组合，但是只有一个复数（所以没有超），有了两个以上类似于复数的表示就是超复数了。四元数：是一个简单的超复数，三元数是不存在的，是因为不符合模法则，其形式：a+bj+ci+dk，i,j,

2016-05-20 15:25:21 1291

一个懒虫的博客