wguangliang-CSDN博客

原创 split(" ") 和 split(" ", -1) 区别

做实验表明： 1.如果字符串最后一位有值，则没有区别， 2.若干最后n位都是切割符，split(" ")不会继续切分，split(" ", -1)会继续切分String line = "a b c "; String [] tmp = line.split(" "); System.out.println(tmp.lengt

2016-09-13 16:17:45 23917

原创 Spark高斯混合模型

聚类数据源下载地址：http://download.csdn.net/detail/wguangliang/9595795提供local单机测试代码，如下：import org.apache.spark.{ SparkConf, SparkContext }import org.apache.spark.mllib.clustering.GaussianMixtureimp

2016-08-05 11:22:32 1339

转载 java中volatile关键字的含义

转载自http://www.cnblogs.com/aigongsi/archive/2012/04/01/2429166.html在java线程并发处理中，有一个关键字volatile的使用目前存在很大的混淆，以为使用这个关键字，在进行多线程并发处理的时候就可以万事大吉。Java语言是支持多线程的，为了解决线程并发的问题，在语言内部引入了同步块和 volatile

2016-07-21 18:48:46 316

原创 SPARK-5063

org.apache.spark.SparkException: RDD transformations and actions can only be invoked by the driver, not inside of other transformations; for example, rdd1.map(x => rdd2.values.count() * x) is invalid

2016-07-14 13:54:54 2778

原创 LeastSquaresGradient

LeastSquaresGradient 计算每个样本的梯度和误差作用：对每一个单例样本，计算线性回归的最小二乘损失函数的梯度和损失在LinearRegression.scala的第87行生成了该类的实例该类有两个compute方法1.override def compute(data: Vector, label: Double, weights: Vector) 方法返

2016-06-02 20:28:23 1264

原创 SimpleUpdater

org.apache.spark.mllib.optimization.SimpleUpdater SimpleUpdater 在SparkMLlib中用于权重特征向量的更新，在GradientDescent梯度下降中有用到该类中只有一个compute方法进行权重更新权重更新规则 weights=weights - stepSize/sqrt(iter)*gradi

2016-06-01 18:34:25 1266

转载协同过滤之ALS-WR算法

这篇文章是参考：https://github.com/ceys/jdml/wiki/ALS 改写的，由于原文Latex公式没有正常展现+少量笔误，妨碍阅读，所以这里重新整理了一下。ALS是alternating least squares的缩写 , 意为交替最小二乘法；而ALS-WR是alternating-least-squares with weighted-λ -regulariza

2016-05-30 17:30:18 5886

原创 java版简易 nc

实现一个Java版的简易nc，用于方便windows上spark streaming的socketTextStream 的测试界面如下运行方式有两种：不添加端口号参数，直接运行的话，默认监听9999端口java nc 端口号，添加一个端口参数。实现代码import java.awt.BorderLayout;import java

2016-05-30 10:12:46 2360 3

原创 Spark WordCount TopN

三种方法统计单词出现次数，并取出现次数的top n数据文件basicTopN.txtA C D GB B KC A CD A JA A ICD DEF E A FCGHI JH J HAJ KKD代码object TopNBasic { val N = 5 def main(args: Array[String]): Unit =

2016-05-29 14:46:09 947

原创 scala spray.json

Scala 使用spray.json进行解析json转换描述如下图 parseJson convertTo[T] String ----------> JSON AST --------------> Scala types:Texample1解析单条json{"name":"CadetBlue","red":9

2016-05-27 16:09:39 3456

原创 sql分组排序取top n

数据库查询*分组排序要求：按照课程分组，查找每个课程最高的两个成绩。数据文件如下：第一列no为学号，第二列course为课程，第三列score为分数mysql> select * from lesson;+-------+---------+-------+| no | course | score |+-------+---------+-------+| N01

2015-12-03 23:08:41 31811 4

原创 windows安装phpunit

windows安装phpunit参考这篇文章http://www.th7.cn/Program/php/201407/251630.shtml发现到最后一步pear install pear.phpunit.de/PHPUnit报错了报错信息如下：最后还是参考官网搞定：https://phpunit.de/manual/current/zh_cn/ins

2015-11-09 11:41:31 386

原创 windows基于Thrift的php客户端访问java的服务端

windows基于Thrift的php客户端访问java的服务端安装下载thrift下载地址如下：http://thrift.apache.org/download一个压缩包，一个.exe都要下载下来。其中：php运行需要的是压缩包中的 thrift-0.9.3\lib\php\lib\Thrift.thrift文件生成接口文件需要的是.ex

2015-11-06 12:05:55 843 1

原创证明分布越均匀熵越大

证明分布越均匀熵越大：有两个二分类样本，第一个样本p1,p2，第二个q1,q2，且p1---来自一道博士的面试题。分析其实熵拐了两个弯。熵意思是信息的混乱程度，越混乱，熵越大。分布越均匀，则是越混乱。思路是求导取极值，而这个极值是极大值，左增右减大概长这样的计算求导的过程如下0.5是极值点，所以在中间的熵会比较大

2015-11-05 20:00:14 5618 1

原创 Matplotlib以小时为单位统计文件数据

Matplotlib 统计数据统计文件中以小时hour为单位的数据数量1.文件文件内容如下：2015-10-27 09:11:222015-10-27 00:11:222015-10-27 15:11:222015-10-27 02:11:222015-10-27 19:11:222015-10-27 04:11:222015-10-27 05:11:222015-1

2015-10-27 17:16:51 597

原创 Php 解析XML文件

需要解析的xml文件area.xml如下张映张映2 男 28 tank 男 28 北京 1 南京 2 程序1：function getArray($elements) { $arr=array(); if($elements-

2015-10-20 19:47:26 451

原创 Coco2dx入门教程-切换场景Test

创建一个项目，项目名为gametest，包名 com.cocos.test，创建在F:\Cocos2dx\MyGame 目录下，使用语言为c++在cmd下输入：cocos new gametest -p com.cocos.test -d F:\Cocos2dx\MyGame -l cppcocos new 项目名称 -p 包名 -l 语言 -d 目录意思是创建一个项目

2014-07-15 19:15:35 1789

转载从零开始教你制作cocos2dx-3.0 版本FlappyBird（可上架版本）（包括添加广告等）完整制作过程

转载地址：http://blog.csdn.net/zp522123428/article/details/29357851一、coco2dx-3.0环境搭建这个网上很多参考教程也属于基础部分我就不再敷述，这里给大家提供csdn博客上的大家可以参考一下，我大概看了一下比较全面了；参考地址：http://blog.csdn.net/aa4790139/articl

2014-07-11 19:22:42 1653

转载 Cocos2d-x相关的博客以及官网信息

Cocos2d-x相关的博客以及官网信息1、CSDN博主无幻的博客：http://blog.csdn.net/akof1314/article/category/11752242、CSDN博主bill_man小满的专栏：(1)cocos2d-x游戏实例：http://blog.csdn.net/column/details/cocos2d-x-game.html笔者

2014-07-11 19:15:29 625

原创 Python核心编程-网络爬虫的分析

# -*-coding:utf-8 -*-'''Created on 2014年7月5日@author: root网络爬虫'''from sys import argvfrom os import makedirs,unlink,sepfrom os.path import dirname,exists,isdir,splitextfrom string import r

2014-07-10 22:19:29 2050

原创 Scrapy 安装

零、安装Python2.7Python下载地址https://www.python.org/ 对于windows用户：https://www.python.org/downloads/windows/ 安装很简单，就不多说了，我安装的是Python 2.7.7，写这篇文档的时候看了下，已经有Python 2.7.8安装完成后将Python的安装路径加入到环境变量

2014-07-05 20:56:54 932