- 博客(34)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 redis实现单点登录，不同电脑登录挤出
1、redis中要存放两个k-v，第一个（token，user信息），第二个（userid，token）2、用户登录时，查询账号密码无误后，通过时间和加密算法生成一个token（每次登录生成的都不同），然后加入两个k-v如上3、当用户在其他电脑再次登录时，先查出userid，并生成新的token，并继续放入两个k-v4、当用户在上一次登录的地方，再次点击查询时（把token和userid带过...
2019-08-29 18:34:48
1258
原创 JVM内存分配记录
1、当发生minor gc进行新生代垃圾回收时，为什么需要内存分配担保假如eden可剩下2M内存分配，此时申请一个3MB的空间，此时空间不够，JVM将出发一次minor gc。这时就有两种情况：1、新生代中的内存可以被回收（可达性分析后），此时回收之后，能够容纳3mb，那么就能执行成功2、新生代的内存全部都被引用，那么就不能被回收，所以jvm会让老年代进行内存分配担保，就是因为新生代内存不够...
2019-08-26 18:30:33
173
原创 hive hadoop部署
先决条件： 1. 已安装hadoop就去哪 2. 已安装mysql数据库 3. 在mysql数据库中创建hive数据库1：在hive官网下载一个2.几版本 我这里是下载的2.1.1 2：将mysql的java驱动包放到hive的解压包下的lib目录（里面是hive的依赖包） 3：修改配置文件 在hive/conf目录中新建hive-site.xml，内容如下<configuration
2017-03-01 16:38:40
540
原创 golang标准库 io
Go 语言中，为了方便开发者使用，将 IO 操作封装在了如下几个包中： - io 为 IO 原语（I/O primitives）提供基本的接口 - io/ioutil 封装一些实用的 I/O 函数 - fmt 实现格式化 I/O，类似 C 语言中的 printf 和 scanf - bufio 实现带缓冲I/O1.1 io — 基本的 IO 接口 在 io 包中最重要的是两个接口：
2017-01-26 20:10:36
2593
原创 搭建go交叉编译环境
1: go1.5开始使用了自居，意味的你编译其他平台的库你必须用go去编译本人解决方法如下：环境： 系统：macos serira 1:安装brew ，去官网安装brew链接 2:先安装一个版本的golang， brew install go3:安装完后， go env查看你的go环境4: 进行go的其他平台编译cd /usr/local/Cellar/go/1.7.4_2/libexec ／
2017-01-25 19:23:29
1952
原创 mysql 字符问题
1：登录mysql终端 2：输入 status： 结果如下: 如果客户端和服务端的字符集不相同，肯定是会报错的3：决解方案：vim /etc/my.cnf[mysqld]default-storage-engine=INNODBcharacter-set-server=utf8collation-server=utf8_general_ci然后重启mysql
2017-01-23 21:18:54
266
原创 charles mac下https抓包和iphone https抓包
1:去官网下载安装包 charles 我这次使用的是最新版本4.0.2（破解文件自己去搜，找不到在评论中问我） 2：本机mac生成证书 点击 install Charles root certificate 此时会自动跳转到钥匙串中 这里要改成信任 3:然后重启花瓶和浏览器 mac本机的https请求就可以被抓包了4：i
2017-01-02 19:16:03
8326
原创 hadoop找出QQ共同好友算法实现
背景 A：B,C,D,E,F 表示A有bcdef好友 B：C，D，H，Y 以上可知道AB的共同好友为CD 思路： 1：我们先找出一个人被哪几个人共同拥有 测试数据： 2：第一阶段mr程序：package sharefriends;import join.DataJoin;import org.apache.hadoop.conf.Configuration;impo
2016-12-04 11:12:41
4618
1
原创 hadoop join数据倾斜解决方法
注意点： 1： map输出的一定是两表的外键 2：构造的信息bean要有一个标志位，用来判别现在的bean中的信息是属于哪个表的 下面是实现代码已运行通过package join;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.I
2016-12-01 11:08:43
1132
原创 python ssh爆破
1：我直接上我的代码 python ： 3.4from optparse import OptionParserfrom threading import BoundedSemaphore, Threadimport timefrom pexpect import pxsshmax_connection = 5Found = FalseFails = 0connection_lock
2016-11-30 21:32:50
1085
原创 idea中hadoop本地debug调试以及本地提交模式（不需要打jar包上传）
环境：ubuntn 14.04 1：将hadoop的目录加入环境变量中gedit .bashrcexport JAVA_HOME=/usr/local/javaexport PATH=$PATH:$JAVA_HOME/binexport HADOOP_HOME=/home/willian/programing/hadoop-2.7.3export PATH=$PATH:$HADOOP_HO
2016-11-30 11:07:08
2645
原创 hadoop 性能优化
1：对于有很多小文件的时候，hadoop默认使用TextInputFormat处理文件，所以会有很多maptask 处理措施： 1：在前端处理的时候先将小文件合并，再传入hadoop 2：如果已经是小文件在hdfs中了，可以使用combineInputFormat 进行小文件合并job.setInputFormatClass(CombineTextInputFormat.cla
2016-11-30 10:24:28
311
原创 hadoop常用命令
1： 停止mapreduce任务yarn application -kill 你的mapreduce的id//可以通过8088端口查看
2016-11-28 16:28:59
270
原创 mapreduce程序编写规范
1：用户编写的程序分成三个部分：Map，Reducer，Driver（用户提交mr程序的客户端） 2：map的输入数据是KV对的形式（kv的类型可以自定义） 3：map的输出数据是KV对的形式（kv的类型可以自定义） 4：map中的业务logic写在map()方法中 5：map方法对每一个
2016-11-27 16:14:53
1072
原创 redis cluster集群搭建
环境：centos7.2 redis集群搭建环境准备：yum install gcc ／／安装编译器 第一步先尝试安装单机版 1: 安装redis 3到redis官网：https://redis.io/download／／下载redis源码tar -zxvf redis-3.2.1.tar.gzmv redis-3.2.1 /usr/local/rediscd /usr/local/re
2016-09-06 10:50:53
433
原创 docker使用阿里云镜像仓库
1：阿里云docker仓库 https://cr.console.aliyun.com2：进去注册帐号后，点击自己的管理中心。3：在管理中心点击加速器，右边面板会有你的加速地址，右边面板下面有详细设置步骤。
2016-09-01 16:09:23
67338
原创 atom python开发环境搭建
1：到官网下载atom 2：安装python插件和自己喜欢主题 3：apm install script apm install Monokai-Setiapm install autocomplete-python apm install autocomplete-plus-python-jed apm install atom-monokai
2016-08-13 17:46:51
9430
原创 关于支付接口的调用（感谢beecloud）
1：到beecloud官网注册一个账号，并成为开发者https://beecloud.cn/ 2：申请企业认证，企业认证通过后 3：点击渠道代申请，点击下一步（此时会告诉你怎么申请）4：支付宝网页接口的使用代码 1：beecloud中企业认证通过后，再在创建的支付应用中开启live模式 2：此时要进行一个支付宝pid和secret的填写 3：之后beecloud系统会配发本台的
2016-08-11 16:26:51
3840
原创 beetl 和 beetlsql
1：beetl模板中 cate.list 在java是调用cate对象的getList()方法 2：beetlsql query.setParas使用 paras.put("status",1);sql中： select @pageTag(){ o.*,p.supplierId,s.supplierName,p.fob,s.country @} FROM `order`
2016-07-27 10:47:23
1733
原创 云服务器搭建hadoop集群
1：环境准备 3台服务器配置如下公网ip 119.29.186.83 内网ip10.104.157.113 公网ip 119.29.250.47 内网ip 10.104.9.181 公网ip 119.29.251.99 内网ip 10.104.196.48 以上全是centos 7.22：配置hostname 在3台机器上分别执行//主服务器vim /etc/sysconfig
2016-05-13 23:46:41
3737
2
原创 linux相关
1：添加用户useradd 用户名 //更改刚才创建的用户密码passwd 用户名2:删除用户userdel 用户名userdel -r 用户名 //删除用户及其用户主目录
2016-05-12 20:35:47
332
原创 git 自动化
先用git clone http通道下来 git remote -v 查看中央版本库地址git remote rm origin git remote -v git remote add origin git通道地址秘钥生成ssh-keygen 找到生成的秘钥 方法项目管理 秘钥管理中 即可以后都不用打密码l !!!!!!
2016-05-07 16:21:34
572
原创 datatables使用记录
1：当前环境：jfinal+beetSql 2：所需文件：`jquery.dataTables.js和dataTables.bootstrap.js和bootstrap.css 3：第一步在html中建立该表格 <table id="example" class="table table-striped table-bordered" cellspacing="0" width="100%"
2016-04-14 14:50:51
3955
原创 关于无限级理解，及其树形结构
首先在表中含有parent_id字段 树级菜单的顶层parent_id=0 那么如何根据顶层菜单查找它所属的子级菜单呢？ 思路如下 ： 首先找到parent_id=0的记录（可以有多条，意味的多条顶级菜单）； 根据该条记录的id（此id作为子级菜单的parent_id），查找parent_id为该条记录的id 一直递归下去即可下面给出一段例子 (1, '商品列表', 'Admin',
2016-04-03 11:29:29
2629
原创 beetl使用
1：<%for (good in goodsList!){%> <tr class="tron"> <td>${good.GoodsName}</td> <td><img src="${good.logo}"></td> <td>${good.price}</td> <td>${
2016-03-24 20:29:51
600
原创 nginx+tomcat均衡负载实践
server_name localhost:8080; location / { proxy_pass http://localhost:8080 } 该段代码，表示所有请求直接转发给tomcatlocation ~ \.(html|js|css|png|gif)$ { root D:/software/developerTools/server/apache-tom
2016-03-19 13:47:34
259
原创 jquery ajax
//1..ajax带json数据的异步请求varaj=.ajax带json数据的异步请求 var aj = .ajax( { url:’productManager_reverseUpdate’,// 跳转到 action data:{ selRollBack : selRollBack, selOperatorsCod
2016-03-16 21:35:13
280
原创 ngrok在linux和win下的使用
1：linux下ngrok的使用 下载linux64位的版本（请自行找资源）到电脑， 使用scp协议或其他上传到linux系统的主机解压文件后cd 到ngrok目录下chmod -R 777 ngrokchmod -R 777 ngrok.cfg分配了权限后才可运行 免费代理请点击该网站 后台运行需求 首先在服务器上安装screen yum install screen scr
2016-03-13 15:47:13
8129
1
原创 centos7 搭建SVN服务器
1：经多次实践，最终终于成功搭建，特此记下该过程 2：首先在服务器安装svn yum install subversion -y 3：检查是否安装成功 svnserve –version 4：创建一个版本库 mkdir /opt/svn/repos (绝对路径创建) 创建目录 svnadmin create /opt/svn/repos 初始化版本，此时会生产很多配置文件
2016-03-10 23:13:10
7744
原创 ajax总结
1：ajxa是调用浏览器异步引擎去向服务器发送请求的 2：ajax开发步骤： 1：new 对象 var xmlHttp = new XMLHttpRequest(); 2：绑定readystate改变函数（回调函数的实现原理就是绑定readystate为正确响应） xmlHttp.onreadystatechange= function(){
2016-01-08 10:35:48
253
原创 centos7 安装mysql
1：更改mysql默认创建表的引擎，在配置文件中增加： default-storage-engine=INNODB即可
2016-01-06 08:14:41
457
原创 centos 7.0 java+tomcat+mysql 环境搭建
一个CentOS 7.0 服务器 所需工具 1：apache-tomcat-9.0.0.M1.tar.gz 2 : jdk-8u65-linux-x64.rpm 开始第一步: 1 : 先安装mysql（CentOS）自带mariadb，安装非常快捷方便 1：yum install mariadb mariadb-server 2：systemctl start mar
2015-12-17 12:32:20
824
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人