huang1196-CSDN博客

原创 Spark从s3中读取数据

根据Spark官网Quick Start，简单修改下file source ref: http://spark.apache.org/docs/latest/quick-start.htmlpackage myspark;import org.apache.spark.api.java.*;import org.apache.spark.SparkConf;import org.apache.

2017-02-10 17:13:30 8869 1

原创 Ubuntu虚拟机下使用docker构建cluster运行Spark

1. 安装Docker参考https://docs.docker.com/engine/installation/linux/ubuntu/ 安装docker2. 选择基础镜像这里选择ubuntu:16.04版本docker pull ubuntu:16.04运行ubuntu镜像：docker run --rm -it ubuntu:16.04root@mark-virtual-machine:/

2017-02-10 17:00:36 1147 1

原创使用erlang开发服务端の使用rebar生成release

继续使用之前的game_server做例子（加入了简易登陆的半实现

2014-11-11 16:22:45 1673

原创使用erlang开发服务端の代码热升级

之前写过yihttp://blog.csdn.net/huang1196/article/details/38401197

2014-11-11 13:09:21 1310

原创 erlang格式化生成(utf8)字符串。

erlang服务端做多语言时往往会遇到这种情况。

2014-10-31 17:03:52 2520

转载 Erlang开发MMO的一些思考

转自： http://www.myexception.cn/program/1252498.htmlErlang开发MMO的一些思考最近混了一些群，发现用erlang做页游的越来越多了，时不时的还有人站出来让新手去学erlang。不过主要还是应用于页游后端，游戏逻辑简单的就可以一试。还未见到有实时的MMORPG采用erlang作为后台。原因不外乎端游几乎是C++

2014-10-15 14:35:33 1172

原创 erlang性能分析及进程监控工具

erlang性能分析工具使用示例

2014-08-18 16:49:51 11524

原创使用erlang ranch tcp开发服务端

使用ranch tcp开发服务端

2014-08-09 15:28:34 5156

转载 git 删除错误提交

git reset --hard git push origin HEAD --force

2014-06-17 13:24:33 456

原创 eclipse导入ejabberd

1.下载ejabberd源码2. 创建一个erlang项目my-ejabber（eclipse需要安装erlide插件)3.将解压的ejabberd源码拷贝至my-ejabber, 包括src, contrib, doc, examples, tools4. > cd my-ejaber/src> ./configure --prefix=/home/

2014-01-04 11:31:26 1727 2

原创 ejabberd服务端开发笔记

网上一搜一大陀ejabberd安装配置的，扩展开发的资料少之又少，写个笔记记录一下。xmpp protocal： http://xmpp.org/xmpp-protocols/xmpp-extensions/安装与配置：http://www.process-one.net/docs/ejabberd/guide_en.html默认配置文件在 /etc

2014-01-03 14:25:20 4211 1

原创 erlang random sort

a.单进程10万次随机3个元素.[{"192.168.17.102",27017}, {"192.168.17.102",27018}, {"192.168.17.102",27019}]b.随机10个元素[1,2,3,4,5,6,7,8,9,10]c.随机100个元素lists:seq(1, 100).1.https://erlangcen

2013-12-09 11:02:08 795

原创 mongodb-erlang driver Replica Set Secondary节点分配不均衡的问题

服务端使用Mongodb的Replica Set，一个Primary节点，两个Secondary。开始一直没注意，前天设置了MMS之后发现两个Secondary节点的查询操作分配明显不平衡，其中一个的op数量似乎总是另一个的2倍。一开始以为是mongodb配置有问题，各种排查后没有发现问题，而且原理上讲RS并不是将Primary作为proxy进行load balance，也就不可能是因为mo

2013-12-05 16:08:31 1179

原创 EC2使用iostat, netstat，需安装

yum info sysstatsudo yum install sysstat>iostatLinux 3.4.43-43.43.amzn1.x86_64 (ip-XXXXX) 11/25/2013 _x86_64_ (4 CPU)avg-cpu: %user %nice %system %iowait %stea

2013-11-25 17:15:14 731

转载 git push, error: insufficient permission for adding an object to repository database .git/objects

For Ubuntu (or any Linux)From project root,cd .git/objectsls -alsudo chown -R yourname:yourgroup *You can tell what yourname and yourgroup should be by looking at the permissions on the major

2013-10-22 11:14:25 1175

原创 Play framework 内存泄漏以及nginx写log占用磁盘空间的问题

公司用play framework 2.1写的服务端要处理大量的图片和音频文件，接收手机客户端的请求并将文件上传至Amazon S3。运行一段时间后出现内存泄漏，开始以为是因为接受图片的输入输出流没有关闭造成，但是多次检查后发现所有流及文件均可正确关闭。通过如下命令得到dump文件，通过Eclipse下的MAT分析堆栈信息：jmap -dump:format=b,file=

2013-06-18 12:48:59 1921

原创 Amazon EC2 上的各种安装。。。

gcc:sudo yum install gccerlang:wget http://www.erlang.org/download/otp_src_R16B.tar.gz解压tar -xzf otp_src_R16B.tar.gz然后是./configure makesudo make install在./configure

2013-05-27 14:30:09 1271

转载 kill -3无法输出java堆栈信息，使用jstack

Redirect thread dump to another file?On Jboss or Tomcat application server, we usually use kill -3 PID to get thread dump to default STDOUT which is catalina.out under $Tomcat_Home/logs folder. It

2013-04-12 11:26:33 5728

原创 Tsung 错误及处理

执行/usr/lib/tsung/bin/tsung_stats.pl 出现错误：1.Cant exec Gnuplot...需要安装gnuplot2.Can't locate Template.pm in @INC (@INC contains: /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.

2013-04-11 12:13:55 1254

原创 mongodb

启动mongdobd，master-slave模式：./mongod --dbpath=../data/db/ --logpath=../data/ --master --port 27017./mongod --dbpath=../data/slavedb --slave --source localhost:27017 --port 27018查看现有数据库：show db

2013-02-20 14:12:07 310

erlang ranch实现的游戏tcp服务器

使用ranch tcp开发的简易服务端，可根据需求扩展添加各种功能。

2014-11-11

Huffman编码解码，附实验报告

数据压缩中常用的Huffman编码和解码源码，输入一段文本（汉语英语均可），输出为使用huffman编码压缩后的二进制文件，然后再进行解压缩，得到原始文本。

2009-04-30

词法分析+语法分析(附实验报告)

编译原理词法分析器+语法分析器的C/C++源码实现，附详细的实验报告，代码有注释。

2009-02-06

词法分析器(附实验报告)

编译原理的词法分析器，有详尽的代码注释，实验报告里含详尽的解释以及词法分析的每个正则表达式的状态转换图。

2009-02-06

最长上升子序列nlgn源码

输入序列，求最长上升子序列的长度，算法复杂度nlgn

2008-10-18

素数的(快速)判定——prime judge

使用Miller rabbin方法实现对素数的快速判定输入为一个整数，若为素数输出Yes，否则输出NO

2008-10-13

算法导论习题答案，经典

详细说明了算法导论课后习题的答案，非常经典。

2008-10-11

经典的背包问题九讲，必看

背包九讲，经典的背包问题讲解，不用做过多介绍，必看

2008-10-06

Steiner tree(斯坦纳树)

网上搜集的关于Steiner tree(斯坦纳树)的一些文献，现在逐渐开始流行，应用范围也正在拓宽。历年ACM的大小比赛都能看到其身影。

2008-10-06

博弈论问题的解决方法

用POJ的几道例题初步阐述了博弈论问题的解决方法。

2008-10-06

2分图匹配之BFS实现

2分图匹配的BFS实现,C/C++源码。适用于稀疏二分图，边较少，增广路较短。

2008-09-20

一维和二维树状数组的实现

实现一维和二维树状数组，对区间内的值进行更新和求和，复杂度lgn

2008-09-15

实现trie树的C/C++模板

建立trie树，并进行相关操作，包括 insert：插入一个字符串，重复插入无效 remove：删除指定的字符串，如果不存在，则不进行操作 find：判断是否有指定的字符串

2008-09-15

快速幂取模，大数幂次求模，a^p%m

本函数输入a,p,m，结果输出为a的p次方对m求模的结果。

2008-09-15

线性代数行列式求值实现源码

此资源为一函数，输入行列式（以矩阵形式），计算行列式的值。

2008-09-15

并查集C/C++代码实现

按照算法导论的描述的并查集，集合并操作O（1），查找操作O(lgn)的复杂度。

2008-09-11

Dijkstra单源最短路径代码 C/C++实现

DIJKSTRA单源最短路径算法C/C++实现，内有注释，输入邻接矩阵，输入源点到终点最短路径长度。

2008-09-11

qsort/快速排序C/C++实现

qsort的具体实现，有注释。排序函数：int findpivot(int i, int j, int a[]); void swap(int l, int r, int a[]); int partition(int i, int j, int pivot, int a[], int pivotindex); void quicksort(int i, int j, int a[]);

2008-09-11