念来过倒蛋笨-CSDN博客

原创 Hadoop开发环境搭建

Hadoop版本：2.4.0集群运行环境：Ubuntu14.04java version：1.7.0_

2014-08-23 10:36:59 8865

转载最短路算法

1.Dijkstra、A*、双向Dijkstra、双向A*基本原理（https://www.cnblogs.com/gisorange/p/3632958.html）要特别注意双向Dijkstra和双向A*算法的终止条件2.CRP算法（https://blog.csdn.net/carbon06/article/details/79475527）论文：https://www.mi...

2019-06-29 18:34:37 184

原创 R leaflet：多路线

library(shiny)library(leaflet)library(readr)library(dplyr)library(tidyr)library(splitstackshape)library(DT)library(maptools)options(shiny.maxRequestSize=1024*1024^2) # 定义配色方案 ----ui <-...

2018-09-30 11:57:32 790 2

原创 R leaflet：热力图

library(readr)library(dplyr)library(geohash)library(leaflet)rider_gps <- read_tsv("170348.txt")geohash8_df <- rider_gps %>% cbind(gh_decode(gh_encode(lats = rider_gps$bmuserlat/1e6, l...

2018-09-25 17:39:05 1783

转载 tf.variable_scope和tf.name_scope的用法

转自：https://blog.csdn.net/uestc_c2_403/article/details/72328815tf.variable_scope可以让变量有相同的命名，包括tf.get_variable得到的变量，还有tf.Variable的变量tf.name_scope可以让变量有相同的命名，只是限于tf.Variable的变量例如：import tensorfl...

2018-09-09 11:46:15 173

原创随笔

GLM采用期望估计预测输出的方式可以推导出线性回归、逻辑回归的表达式，而最大似然估计是用来求损失函数

2018-04-13 18:05:37 140

转载 LDA主题模型

（一）LDA作用传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。举个例子，有两个句子分别如下： “乔布斯离我们而去了。” “苹果价格会不会

2017-11-26 16:20:26 439

转载 FTRL

1. 背景介绍最优化求解问题可能是我们在工作中遇到的最多的一类问题了：从已有的数据中提炼出最适合的模型参数，从而对未知的数据进行预测。当我们面对高维高数据量的场景时，常见的批量处理的方式已经显得力不从心，需要有在线处理的方法来解决此类问题。在CTR预估中，经常会用到经典的逻辑回归（LR），而对LR的各维度参数进行估计的时候会用到最优化算法，常见的比如梯度下降（Gradient De

2017-11-26 16:05:51 393

转载贝叶斯平滑

1. 背景介绍广告形式：互联网广告可以分为以下三种：1）展示广告（display ad）2）搜索广告（sponsored search ad）3）上下文广告（contextual ad）竞价模式：对于在线广告，主要有以下几种竞价模式：1）pay-per-impression（按展示付费）：广告商按照广告被展示的次数付费，这是

2017-11-26 15:56:27 2218

原创 Failed to merge incompatible data types StringType and BinaryType

使用spark1.4.0加载parquet报错：org.apache.spark.SparkException: Failed to merge incompatible schemas StructType(StructField(ip,StringType,true), StructField(log_time,StringType,true), StructField(pos_type,

2015-12-01 16:40:39 2658 1

原创用户热搜词相似度计算

公司实习需要做用户热搜词相似度计算以为用户搜索推荐提供相关信息，主要使用了两种算法实现词相似度计算：LDA和Word2Vector（参考spark algorithm） (目前Word2Vector算法效果更好，LDA对于词频较高的会发生结果中出现过多的情况)算法所需数据来源： 1.商品信息。 2.用户搜索历史记录。 3.标准词表，用来补充搜索历史记录以

2015-11-10 17:46:21 1768

原创 Hive列拼接

在工作中需要根据user_id将两列以一定规则合并，实现语句如下：select user_id,concat_ws('@',collect_list(concat(save_on,'#',end_time))) //效果为***#***@***#***from default.wireless_coupons where partitiontime=:DAY and status=0

2015-11-09 11:26:28 9342

原创 scala jar包运行问题

将scala打包后执行java -classpath *.jar *.* [args]出现java.lang.NoClassDefFoundError: scala/Function1或者Match错误，需要将命令改为exec scala可解决。但是在运行中又出现Class Not Found问题，我使用的scala版本为2.10.3，将命令改为exec scala -cp "scalache

2015-08-17 15:48:10 8335

原创 hive jdbc所需jar包

Hadoop版本：2.4.0Hive版本：0.13.1

2014-09-04 11:30:56 14379

原创 hive导入HDFS数据

HDFS文件路径：/user/test/qar_test.txt

2014-09-04 10:11:36 27977 1

转载 python 3.x 与 2.x的区别

__doc__ __file__ __name__ _abcoll _itemgetter _sys defaultdict deque 另外，数值类型也被ABCs化。关于这两点，请参阅 PEP 3119和PEP 3141。 3）迭代器的next()方法改名为__next__()，并增加内置函数next()

2014-05-26 10:10:14 577

转载 EM算法

Maximum Likelihood EstimationMaximum Likelihood Estimation(MLE)是要选择一个最佳参数θ*，使得从训练集中观察到和情况出现的概率最大。即模型：举例来说明。如下图一个小黑球沿着一个三角形的木桩滚入杯子a或b中，可建立一个概率模型，由于是二值的，设服从Bernoulli分布，概率密度函数为：p是k=0的概率，也是我

2014-05-12 15:52:07 629

转载 Hashtable、HashMap和HashSet区别

Hashtable是Dictionary的子类，HashMap是Map接口的一个实现类HashTable的应用非常广泛，HashMap是新框架中用来代替HashTable的类，也就是说建议使用HashMap，不要使用HashTable。可能你觉得HashTable很好用，为什么不用呢？这里简单分析他们的区别。1.HashTable的方法是同步的，HashMap未经同步，所以在多线程场合

2014-04-20 20:47:44 596

原创用混合遗传算法求解物流配送路径

从某物流中心用多台配送车辆向多个客户送货,每个客户的位置和货物需求量一定,每台配送车辆的载重量一定,其一次配送的最大行驶距离一定,要求合理安排车辆配送路线,使目标函数得到优化,并满足以下条件:(1) 每条配送路径上各客户的需求量之和不超过配送车辆的载重量; (2) 每条配送路径的长度不超过配送车辆一次配送的最大行驶距离; (3) 每个客户的需求必须满足,且只能由一台配送车辆

2014-04-04 16:51:53 10771 5

原创移动硬盘无法识别

突然有一天我自己的移动硬盘无法识别（win8系统），别人的移动硬盘却可以，也可以识别U盘，最后自己找到了一个解决的办法。首先进入控制面板的设备与打印机然后选择自己的移动硬盘（如图的Backup+BK）右击，选择删除设备。这样就会将该移动硬盘在电脑上安装的文件删除，移动硬盘再插入电脑后会重新安装，这样就没问题了。

2014-03-13 09:25:38 1014

转载使用geoserver+openLayers加载google地图

1、准备工作　　安装java环境即JDK 　　下载geoserver 官网：http://geoserver.org/display/GEOS/Welcome　　我的描述使用的是geoserver1.7版本，2.0版本类似，只是1.7是中文的，2.0版本可以再使用过1.7版本后自己摸索，大同小异。　　下载openLayers 官网：http://w

2014-02-24 20:47:21 3043

原创 geoserver无法启动

在win8系统上安装geoserver放置到了C盘，可是启动一直报异常，经过检查才发现是用户对文件夹的权限不够，所以只需要将User用户对文件夹的权限设置为全部就可以了

2014-02-24 16:15:33 8345

转载计算机视觉论文

找到了一个很好的博客，作者很详尽的总结了一系列有深刻影响的计算机视觉方面的论文，希望有更多的人能够看过这些经典的论文。在此转载改博客，在此向水木上表示深深的敬意，只有有更多像这样善于总结和分享的人才能给我们更好的网络学习环境。前言：最近由于工作的关系，接触到了很多篇以前都没有听说过的经典文章，在感叹这些文章伟大的同时，也顿感自己视野的狭小。想在网上找找计算机视觉界的经典文章汇总，一

2013-11-29 09:36:54 3690

转载动态规划，Dijkstra算法，A*算法的比较

动态规划，Dijkstra算法，A*算法的框架是相同的，不同点仅在于“推进点的选取”和“算法终止条件”。一，动态规划：（参见http://blog.csdn.net/iwantnon/archive/2009/07/07/4329269.aspx ）推进点选取：（1），在粗犷的动态规划算法中：根本不进行选择，而是对所有已存在节点全部推进一遍。这可能造成如下两点浪费：[1]，重复

2013-11-17 15:52:49 6008

原创关于Java的引用

提到Java的引用很多人会觉得和C中的地址引用相似，可是之间还是有差别的class Node {int name;}public void test1(Node n1,Node n2) {n2 = n1;}public void test2(Node n) {n = new Node();n.name = 1;}public vo

2013-11-11 23:47:29 862

转载 Android AlertDialog嵌套及二调用报错解决方法：The specified child already has a parent. You must call removeView()

在AlertDialog中重新调用一个AlertDialog时会出现错误：java.lang.IllegalStateException: The specified child already has a parent. You must call removeView() on the child's parent first.出错的代码为：final LayoutInflater

2013-11-08 23:27:34 6935

转载 Android文件存放

导师需要我为学校做一个地图定位，需要事先将文件放置于sdcard中，所以在网上找了个实例，以下的代码经过测试是可行的，忘与后来者共勉。sdcard路径获取：String path = Environment.getExternalStorageDirectory().getPath();对于应用携带的静态数据，可以放置在应用的assets目录或者res,raw目录下。对于ass

2013-11-06 19:51:25 896

转载 DetachedCriteria用法

http://uule.iteye.com/blog/947923转载在常规的Web编程中，有大量的动态条件查询，即用户在网页上面自由选择某些条件，程序根据用户的选择条件，动态生成SQL语句，进行查询。　　针对这种需求，对于分层应用程序来说，Web层需要传递一个查询的条件列表给业务层对象，业务层对象获得这个条件列表之后，然后依次取出条件，构造查询语句。这里的一个难点是条件列

2013-07-30 11:42:56 30486 5

原创 HibernateTemplate聚合函数的使用

String hql = "select count(*) from DeviceInfo device where device.orderStr=0";Long count = (Long)getHibernateTemplate().find(hql).listIterator().next(); return count.intValue();

2013-07-29 12:30:25 2066

PermGen space的全称是Permanent Generationspace,是指内存的永久保存区域OutOfMemoryError: PermGenspace从表面上看就是内存益出，解决方法也一定是加大内存。说说为什么会内存益出：这一部分用于存放Class和Meta的信息,Class在被Load的时候被放入PermGen space区域，它和和存放Instance的Heap区域不同,GC

2013-07-03 10:37:50 704

转载 JS截取字符串substr 和 substring方法的区别

substr 方法返回一个从指定位置开始的指定长度的子字符串。stringvar.substr(start [, length ])参数stringvar必选项。要提取子字符串的字符串文字或 String 对象。start必选项。所需的子字符串的起始位置。字符串中的第一个字符的索引为 0。length可选项。在返回的子字符串中应包括的

2013-07-02 11:16:53 578

转载 Ext.Ajax.request同步请求非ext-basex.js方法

在一个程序中需要Ext.Ajax.request同步请求，网上大多是使用ext-basex.js，但是我使用确实无法正常同步调用。所以查找到了其它方法，在此贴出，希望遇到与我同样问题的人可以有所借鉴：Ext.Ajax.request在2.x是异步请求的，这样话在当前请求没有完成之前就不能在它的外部使用它的返回值，在下面这个表单验证中如果不是同步请求的话就有问题了，如：var text

2013-06-28 10:59:41 3174

原创 ext syntax error syntax error

Ext.Ajax.request({ url:'user!updatePwd.action', params:{ 'newPassword':resetpwdForm.getForm().findField("pwd").getValue()

2013-06-25 11:39:33 843

原创使用ext的Vtype密码验证错误

网站需要两次密码验证，vtype当然是最方便的方法但是只有一个页面的验证正确，代码如下：/* *密码修改 *resetpwdWin 密码显示框 *resetpwdForm 密码修改form */ var resetpwdForm = new Ext.form.FormPanel({ labelAlign:'lef

2013-06-24 18:04:38 1515

转载 extjs的本地化方法

extjs默认的消息文本都是英文的，当然它已经提供了本地化的方法，只需要在页面中引用ext-all.js之后再引用一下locale文件夹下的ext-lang-zh_CN.js就可以了，这样界面中的大部分消息文本就是中文显示了。设置grid使用动态store数据的情况下，从远程加载数据时，grid会锁定并有相应的提示，默认为loading…本文虽然已经本地化了，但是此处消息依然是英文，虽说影

2013-06-20 10:41:34 2124

转载 js数据类型操作

JavaScript之数据类型数据类型　　JavaScript中有5种简单数据类型（也称为基本数据类型）：Undefined、Null、Boolean、Number和String。还有1种复杂数据类型——Object，Object本质上是由一组无序的名值对组成的。　typeof操作符　　介于JavaScript是松散类型的，因此需要有一种手段来检测给定变量的数据类型——typeof

2013-06-18 17:55:57 3328

转载 Restrictions用法

1.方法说明方法说明 Restrictions.eq ＝ Restrictions.allEq 利用Map来进行多个等于的限制 Restrictions.gt ＞ Restrictions.ge ＞＝ Restrict

2013-06-09 15:39:58 663

转载 mysql时间操作手册

1.1 获得当前日期+时间（date + time）函数：now() 除了 now() 函数能获得当前的日期时间外，MySQL 中还有下面的函数： current_timestamp() current_timestamp localtime() localtime localtimestamp() localtimestamp 这些日期时间函数，都

2013-06-09 15:37:18 530

转载 java计算时间差

SimpleDateFormat dfs = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS"); long between = 0; try { java.util.Date begin = dfs.parse("2009-07-10 10:22:21.214");

2013-06-08 15:11:28 532