- 博客(206)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 （高效率排序算法三）堆排序
一.堆的介绍 堆有如下特点的二叉树： 1.他是完全的二叉树。也就是说，除了树的最后一层布需要时满的，其他的每一层从左到右都是满的.(如下图的完全二叉树跟不完全二叉树) 2.它常常用一个数组在实现。（如下图显示了堆它与数组之间的关系。堆在存储器中的表示是数组；堆只是概念上的表示。注意树是完全二叉树，...
2015-05-05 21:34:36
2647
3
原创 大数据处理算法二：Bloom Filter算法
百度面试题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。 一. 实例 为了说明Bloom Filter存在的重要意义，举一个实例
2015-04-29 11:21:47
3605
原创 大数据处理算法一：BitMap算法
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ 解析:bitmap算法就好办多了 所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。 例如，要判断一千万个人的状态，每个人只有两种状态：男人，女人，可以
2015-04-29 09:57:23
12063
6
原创 消消乐游戏算法实现（三消乐）
先上前端效果图3消乐地图初始化的时候不允许有下面两种情况的发生，就是不允许3个（3个以上已经包含3个，所以只要判断3个就可以了）相同颜色的格子连在一起，下图是两种情况，细分分为6种情况，就是初始点为3个格子中的一个为一种情况，所以细分2*3=6种情况
2015-04-28 10:30:41
62195
19
原创 KNN算法例子（java,scala,python 代码实现）
java 版本package com.fullshare.test;import java.util.ArrayList;import java.util.Collections;import java.util.Comparator;import java.util.List;/** * @author huangjiangnan * @email huangjiangna
2017-12-14 18:40:09
1789
1
原创 用scala 写spark程序
scala sdk下载地址 https://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.zipscala eclipse 下载地址 http://downloads.typesafe.com/scalaide-pack/4.7.0-vfinal-oxygen-212-20170929/scala-SDK-4.7.0-vfinal-2.12
2017-12-01 11:31:09
2414
原创 spark 统计线上日志ip分组统计
线上日志格式如下每次访问都会记录ip,标记红色部分获取某一行看看怎么解析2017-12-01 09:57:11.970 [http-nio-8082-exec-2] INFO - com.fullshare.common.aop.ControllerAop [ 144] - 请求head:{content-type=applicat
2017-12-01 11:14:28
2002
原创 spark 单词统计
maven 项目 前提是装好hadoop集群和spark集群 并上传好文件到hdfs pom.xml 如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.a
2017-11-30 20:08:06
1117
原创 Linux下实现免密登录
Linux下实现免密登录1.Linux下生成密钥 ssh-keygen的命令手册，通过”man ssh-keygen“命令： 通过命令”ssh-keygen -t rsa“ 生成之后会在用户的根目录生成一个 “.ssh”的文件夹 进入“.ssh”会生成以下几个文件
2017-10-26 11:34:33
2757
原创 面试阿里后的总结
毕业从事java开发工作4年，被别人面试过好多次，也面试过别人，感觉人跟人的差距可以好大，有的人工作没几年，但技术广度和深度都很够；有的人工作近10年，好多基础原理都不明白。今年一个月内面了3次阿里天猫3个不同部门，全在首轮电面挂了，好打击，也感觉好失败，浪费了不少机会总结了一下，技术广度是够了，但技术深度不够，但感觉还不够扎实，尤其某些技术细节了解得不够透彻看的书够多，但都不
2017-10-10 10:05:12
950
转载 binlog日志详解释
binlog 基本认识 MySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。 一般来说开启二进制日志大概会有1%的性能损耗(参见MySQL官方中文手册 5.1.24版)。二进制有两个最重要的使用场景: 其一：MySQL Repli
2017-09-28 11:40:44
4070
原创 jmap dump
jmap -dump:format=b,file=jconsole.dump 18511jhat jconsole.dump
2017-09-07 18:24:23
1799
原创 用top，ps，jstack找到java线程异常代码
找到CPU利用率持续比较高的进程, 命令：top找到进程数中cpu占用最高的线程，命令：ps p 16480 -L -o pcpu,pid,tid,time,tname,cmd转换称16进制命令：printf "%x\n" 16498 结果：4072查看进程16480中的信息：命令：jstack -l 16480 > 16480.pid找到more 16480.pid gerp "
2017-09-07 18:00:27
424
原创 Unsafe的 用法
package com.test.jdk.curren;import java.lang.reflect.Field; import sun.misc.Unsafe;public class UnsafeTest { private static Unsafe unsafe; static { try {
2017-08-22 15:23:32
351
原创 常用但易忘记脚本命令
常用易忘记脚本命令应该是我自己易忘，哈哈最近懒了，少写博客，还是应该多写1.查看当前目录下一级子文件和子目录占用的磁盘容量du -lh --max-depth=1-l 统计硬链接占用磁盘空间的大小-h 以人类可读的方式显示--max-depth=1 目录深度为12.查看端口占用情况netstat -tln-t (tcp)仅
2017-08-21 10:26:17
298
原创 elasticsearch5.3linux集群
必须安装jdk8以上wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.zipmkdir ela1mkdir ela2cp elasticsearch-5.3.0.zip ela1cp elasticsearch-5.3.0.zip ela2
2017-05-04 14:51:04
1426
原创 elasticsearch5.3集群 java 调用实例
前提先搭好集群maven项目 pom.xml引入 org.elasticsearch elasticsearch 5.3.0 代码示例package com.test.ela;import java.net.InetAddress;import java.net.UnknownHostException;import java.u
2017-05-04 14:36:21
5282
4
原创 tomcat 设置http代理
/apache-tomcat-7.0.67/bin/catalina.sh:6:JAVA_OPTS="$JAVA_OPTS -Dhttp.proxyHost=10.25.101.237 -Dhttp.proxyPort=3128"
2017-02-04 11:24:13
11031
4
原创 tomcat控制台启动成功但是却访问不了主页
tomcat控制台启动成功但是却访问不了主页但是无论如何把项目放到tomcat的Tomcat 6.0\webapps下面怎么也访问不了，访问tomcat的主页http://localhost:8080/也是404重装tomcat还是不行想到\etc\hosts ，罪魁祸首出来了删除本地host中localhost映
2017-01-14 10:46:35
7250
1
原创 启动tomcat很慢处理
启动tomcat很慢，检查后发现：[localhost-startStop-1] org.apache.catalina.util.SessionIdGeneratorBase.createSecureRandom Creation of SecureRandom instance for session ID generation using [SHA1PRNG] took [234,1
2017-01-14 10:41:42
1462
转载 smartgit需要序列号
smartgit需要序列号SmartGit工具需要序列号，我们只需要选择学习版就行了。但是很可能我们安装的时候点下一步下一步点的太块了，选的付费版，发现卸载也没用，怎么办呢？ 找到下面路径，删除文件就行了。 步骤 + window+R打开运行，输入%APPDATA%\syntevo\SmartGit\ + 删除setting.xml就行了，再重新打开smartgit
2017-01-06 10:56:58
1238
转载 git linux下安装
在安装NIOS2-LINUX中必须要安装git，可按照Altera WiKi提供的方法根本装不上（输入命令：yum install git-all git-gui make gcc ncurses-devel bison byacc flex gawk gettext ccache zlib-devel gtk2-devel lzo-devel pax-utilslibglade2-devel），
2017-01-04 14:31:35
629
转载 MYSQLMTOP!开源MYSQL监控系统
MySQLMTOP是一个由Python+PHP开发的MySQL企业级监控系统。系统由Python实现多进程数据采集和告警，PHP实现WEB展示和管理。最重要是MySQL服务器无需安装任何Agent，只需在监控WEB界面配置相关数据库信息功能非常强大：可对上百台MySQL数据库的状态、连接数、QTS、TPS、数据库流量、复制、性能等进行时时监控能在数据库偏离设定的正常运行阀值
2016-12-25 09:53:18
3486
转载 Redis服务的集中监控
1、基础环境安装https://pypi.python.org/packages/source/b/backports.ssl_match_hostname/backports.ssl_match_hostname-3.4.0.2.tar.gz# tar xvzf backports.ssl_match_hostname-3.4.0.2.tar.gz # cd backports.ss
2016-12-25 09:47:15
471
转载 GitLab 安装
GitLab，是一个使用 Ruby on Rails 开发的开源应用程序，与Github类似，能够浏览源代码，管理缺陷和注释，非常适合在团队内部使用。gitlab是基于Ruby on Rails的，安装和配置非常麻烦，不过有傻瓜安装包，https://about.gitlab.com/downloads/，或者，https://bitnami.com/stack/gitlab/inst
2016-12-17 14:11:04
2171
原创 redis 在单台linux集群安装
#安装gcc编译环境yum -y install gcc#创建目录cd /mkdir data1cd data1mkdir rediscd redis#下载解压wget http://download.redis.io/releases/redis-3.2.1.tar.gztar -zxvf redis-3.2.1.tar.gzcd redis-3.2.
2016-12-16 20:32:02
576
转载 mysql的四种启动方式:
mysql的四种启动方式:1、mysqld启动mysql服务器:./mysqld --defaults-file=/etc/my.cnf --user=root客户端连接:mysql --defaults-file=/etc/my.cnformysql -S /tmp/mysql.sock2、mysqld_safe启动my
2016-12-16 14:13:21
1189
转载 mysql的四种启动方式
mysql的四种启动方式:1、mysqld启动mysql服务器:./mysqld --defaults-file=/etc/my.cnf --user=root客户端连接:mysql --defaults-file=/etc/my.cnformysql -S /tmp/mysql.sock2、mysqld_safe启动my
2016-12-14 19:58:58
548
转载 Storm：最火的流式处理框架
Storm：最火的流式处理框架伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用
2016-12-07 10:41:21
793
原创 随机数算法
软件实现的算法都是伪随机算法，随机种子一般是系统时间在数论中，线性同余方程是最基本的同余方程，“线性”表示方程的未知数次数是一次，即形如：ax≡b (mod n)的方程。此方程有解当且仅当 b 能够被 a 与 n 的最大公约数整除（记作 gcd(a,n) | b）。这时，如果 x0 是方程的一个解，那么所有的解可以表示为：{x0+kn/d|(k∈z)}其中 d 是a 与 n 的最大
2016-10-17 11:23:59
2668
原创 基于netty游戏服后台搭建
项目要转游戏开发了，所以搭个游戏服，游戏一般是长连接，自定义协议，不用http协议，BIO,NIO,AIO这些我就不说了，自己查资料我现在用spring+netty搭起简单的游戏服思路：1自定义协议和协议包；2spring+netty整合；3半包粘包处理，心跳机制等；4请求分发（目前自己搞的都是单例模式）下个是测试用的，结构如下首先自定义包头Header
2016-10-14 16:17:37
12992
7
转载 bio nio aio的区别
在高性能的IO体系设计中，有几个名词概念常常会使我们感到迷惑不解。具体如下： 序号 问题 1 什么是同步？ 2 什么是异步？ 3 什么是阻塞？ 4 什么是非阻塞？ 5 什么是同步阻塞？ 6 什么是同步非阻塞？ 7 什么是异步阻塞？ 8 什么是异步非阻塞？ 散仙不才，在查了一部分资料后，愿试着以通俗易懂的方式解释下这几个名词。如有不足之处，还望告知。
2016-10-13 11:18:36
1158
原创 spring+mybatis多数据源（数据库主从）实例
项目中用的的，展示给大家，结构如下applicationContext.xml<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springfram
2016-10-11 21:37:52
1734
1
转载 领域驱动设计系列（2）浅析VO、DTO、DO、PO的概念、区别和用处
领域驱动设计系列（2）浅析VO、DTO、DO、PO的概念、区别和用处作者: Johnny.Liang 发布时间: 2015-06-02 18:47 阅读: 6960 次 推荐: 14 原文链接 [收藏] 上一篇文章作为一个引子，说明了领域驱动设计的优势，从本篇文章开始，笔者将会结合自己的实际经验，谈及领域驱动设计的应用。本篇文章主要讨论一下我们经常会用到
2016-08-29 10:31:19
576
转载 编写高质量的代码——从命名入手
编写高质量的代码——从命名入手作者: Johnny.Liang 发布时间: 2015-05-28 17:48 阅读: 5782 次 推荐: 47 原文链接 [收藏] 笔者从事开发多年，有这样一种感觉，查看一些开源项目，如Spring、Apache Common等源码是一件赏心悦目的事情，究其原因，无外两点：1）代码质量非常高；2）命名特别规范（这可能跟老
2016-08-29 10:16:21
513
转载 zookeeper
ZooKeeper学习笔记—配置管理 2014 年 5 月 8 日 16:18JavaZooKeeper 最近在工作中，为了完善公司集群服务的架构，提高可用性，降低运维成本，因此开始学习ZooKeeper。 至于什么是ZooKeeper？它能做什么？如何安装ZooKeeper？我就不一一介绍了，类似这些资料网上到处都是。我主要是把
2016-08-26 15:43:02
1010
转载 PV、TPS、QPS是怎么计算出来的？
术语说明：QPS = req/sec = 请求数/秒【QPS计算PV和机器的方式】QPS统计方式 [一般使用 http_load 进行统计]QPS = 总请求数 / ( 进程总数 * 请求时间 )QPS: 单个进程每秒请求服务器的成功次数单台服务器每天PV计算公式1：每天总PV = QPS * 3600 * 6公式2：每天总PV = QPS * 3600
2016-07-29 15:09:34
11077
3
转载 架构设计经验
从毕业到现在已经快7年开发经验了，做过基础用户系统、积分商城、偷菜游戏、论坛、博客等等；也一个人全栈开发在线视频网站（http://sishuok.com/），也开发过几万、几十万、几千万、几个亿不同量级的系统，踩过不少坑，也学到许多经验。 设计了一些系统，也有了一些自己的观点，个人认为设计系统要因场景因时间而异，一个系统不是一下子就设计的非常完美，在有限的资源情况下一定是先解决当
2016-07-27 16:46:09
2689
转载 CAP理论
CAP理论在互联网界有着广泛的知名度，知识稍微宽泛一点的工程师都会把其作为衡量系统设计的准则。大家都非常清楚地理解了CAP：任何分布式系统在可用性、一致性、分区容错性方面，不能兼得，最多只能得其二，因此，任何分布式系统的设计只是在三者中的不同取舍而已。事实上，让人吃惊的是，CAP在国外的响力完全不如所想，相反还伴随着诸多的争论。下面我们系统地阐述一下CAP的来龙去脉。1.CAP的历史
2016-06-27 16:16:44
363
转载 数据库索引
数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。为表设置索引要付出代价的：一是增加了数据库的存储空间，二是在插入和修改数据时要花费较多的时
2016-06-21 14:49:07
341
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人