- 博客(59)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Scala Spark SQL 将dataframe中某一列的所有值转化成list取出（包含列值为Seq(String)的情况）
很久没有更新博客了，因为最近工作确实也很忙，不过忙碌的工作也让我收获了很多新的知识，趁着忙碌的间隙，来记录一下自己的成长。这次的场景是：需要单独取出DataFrame中的某一列的所有值供Java程序使用。下面的demo包含两个例子：1.column value Type -> String, 即 row->String ,需要用到mkString这个方法2.column value Type -> WrappedArray, 即Seq(String) ->String, 需要
2020-12-03 22:55:46
6173
原创 Installing Linux Using Windows Subsystem for Linux(WSL)
因为现在拿到的电脑OS版本比较低，只能支持wsl1，所以该文章只针对wsl1进行配置和使用。（ps:wsl1没有完整的linux内核，所以很多功能不支持，在这里我只针对我遇到的一些问题提供一些解决方法。也欢迎大家有更好的解决方法可以和我一起分享）启用Windows的linux支持项：打开 控制面板-> 程序 ->启用/关闭Windows功能勾选Windows Subsystem for Linux 和 Virtual Machine Platform然后等待配置完成，重启电脑。下载
2020-08-13 18:06:35
323
原创 Mockito实战使用： 修改方法入参
我们都知道在写UnitTest的时候，经常会使用Mockito去mock类中的某一个方法，让调用该方法的函数不调用这个实际方法，而是使用我们mock的方法返回我们事先准备好的返回值。通俗意义上解释就是实际方法的替代品，解决我们要测试的方法会与其他不好测试的模块耦合问题。在这里首先要说明两个使用方式，Mock和SpyMock: Mock声明的对象，对函数的调用均执行mock（即虚假函数），不执行...
2019-06-21 18:20:15
7693
3
原创 关于使用RedisTemplate缓存hashMap的使用小结
在实际项目中我们经常需要使用到Redis缓存来持久化一些我们需要的数据。很多时候这些数据是使用HashMap存储的一些对象集合，这样形式的数据我们如何正确从Redis中存取呢？在我实际使用的过程中使用了一个形式是Map<String, JobProperty> 的HashMap。而JobProperty是一个内部类，这个内部类的结构如下：static class JobProper...
2019-06-10 14:31:08
9247
1
原创 echarts图表显示相关
最近做了一个跟图表显示相关得项目，在图表插件得选用上，我使用了百度得插件echarts。一些基本的功能文档里都写的很清楚。在这里主要说明一下，如何自定义toolbox里得工具，以实现自己想要得功能。以画辅助线为例，如何在图表工具箱中增加辅助线这个工具项，在echarts3之前辅助线工具是本来就有的，到了echarts3之后，辅助线工具就被移除。如果想要使用，必须自己自定义编写功能代码才能实现。...
2018-09-25 17:23:08
801
原创 关于堆栈和队列求最大值问题
最近跟人家讨论到这么一个问题，怎么求stack的最大值？ 我的实现方法是再建一个辅助栈，用来存放stack的当前max值以及历史max值。 代码实现方式如下：public multiStack{ private Stack dataStack; private Stack maxStack; public multiStack(){ this.d...
2018-08-28 17:12:45
962
原创 python根据关键词实现信息检索推荐（使用深度学习算法）
算法中最主要的是用到了gensim.models.doc2vec将信息存储成词典进行建模并将信息文件转存到数据库中供其他代码使用。因为注释写的比较清晰。所以逻辑不再赘述，直接上代码看看就知道啦~因为在前面的算法中已经对数据库操作类进行了描述，这里就不再黏贴出来，有需要的亲可以翻看以前的文章参考即可~算法代码如下：import tensorflow as tfimport osimpor...
2018-05-23 17:14:43
14893
10
原创 python实现wsgi接口提供http服务响应http请求（跨代码语言数据交互）
上一篇说完Java如何实现restful API提供http服务与php进行数据交互，这篇就要开始说python语言如何提供http服务进行跨语言数据交互的实现了。同样也是基于实际的需求要求，需要根据不同的关键词推荐信息库中的相应匹配信息。（让机器自己进行分析推荐，需要结合深度学习的部分监督算法实现。）很明显算法部分需要用到python去进行，而显示则是通过php生成的页面将数据展示给用户看。这一...
2018-05-23 16:01:48
2159
原创 jersey实现restful API提供http服务，实现资源跨代码共享
最近产品提了一个新需求，希望做出像淘宝一样的搜索框（就是那种输入一个字，就有一个下拉框给你推荐以这个字开头的商品名称，然后随着你的输入，变化出不同的提示的那种关联搜索框）。至于效果图的话，嗯，我去扒一张淘宝的图贴上： 效果就类似这种，当然要想实现这样的效果，首先你得有个数据库，里边放着这些可以被检索到的名称用来备选。在页面与后端语言进行ajax交互的时候，将符合用户输入格式的数据传输到前台显示，...
2018-05-23 14:50:43
1757
原创 Tensorflow+gensim实现文章自动审核功能
首先，一定要吐槽一下，千万不要拿笔记本跑训练集很大的模型，不然真的能跑到吐血三升，而且电脑卡到宕机之后好不容易等到电脑能动了就是报错“内存不足”，简直能逼死我。每次跑程序都得把虚存开到最大，然后看着我的电脑在那卡卡卡，我都在想会不会把我电脑跑废了。当然结局是美好的，因为模型跑出来的审核结果正确率在94%以上，简直是惊喜到不行，嗯，基于这个理由，给我配工作站让我专门跑算法了，开心~ 好了，言归正传...
2018-03-12 15:58:35
2255
7
原创 使用Thuctc进行中文文本分类应用
这几个月一直在做跟机器学习相关的东西用来减轻运营在文章方面的工作量：文章自动审核及分类（单分类与多分类并存情况，及对文章进行标签化） 这里介绍的是使用Thuctc对文章进行分类，根据条件来判断多分类情况的取舍（ps：为什么不使用thuctc对文章进行审核，是因为用来训练审核的样本并不好，可能存在脏数据，而且对于关键词的标识度有所偏差，导致结果不太理想，便改用了其他方法）首先介绍一下：THUC...
2018-03-12 14:10:58
3049
7
原创 jieba分词的应用（java）
在上一篇说的猜你喜欢功能中，又加了新的需求，需要对关键词进行分词，扩大推荐文章的范围，这样能够拓展用户的喜欢范围，这时候我就想到可以用jieba分词对中文进行分词，同样的需要去官网下载源码，这样方便自己对源码的修改以达到自己的目的。这里，我需要判断切分出来的词是否是无意义的词，就需要对切出来的词进行筛选，这时候，jieba分词的一个属性就体现出它的强大之处了，jieba分词会将切分出来的词进行词性
2018-01-08 17:49:31
15764
10
原创 lucence的应用（java）
最近做了一个需要猜测用户需求推送文章的猜你喜欢功能，为了便于查找关键词在文章中出现的次数，计算词频，通过词频对推送的文章进行排序获取文章list进行推送，通过自己的实践发现每次查询数据库去计算然后sort获取最终的文章list需要耗费大量的时间，用户体验非常不好；所以最后想到了用lucence这个文章全文检索引擎来简化流程，缩短用户等待时间。通过linux的定时任务增量索引文章表，大大减少了使用关
2018-01-08 16:35:14
1205
原创 使用python selenium TouchAction模拟实现lCalendar滚动和点击效果
在做移动端页面自动化测试时，遇到了一个用Icanlendar实现的地区选择框。不同于PC所用的select，这个需要通过控制手指滑动的幅度来选择不同的地区。通过翻阅文档，我发现可以用selenium的TouchAction模拟用户在移动端的操作。TouchAction的文档地址：https://seleniumhq.github.io/selenium/docs/api/py/webdriver/s
2017-11-13 15:37:12
9528
4
原创 关于selenium python Message: unknown error: Element is not clickable at point错误
今天在用python写平台页面自动化测试代码的时候，因为textarea使用的UEditor文本框，不同于一般的输入操作，直接根据element的相关属性名找到对应元素进行用户输入模拟，为了将值通过程序模拟的方式填入UEditor中，我在官方文档中找到了这段代码：UE.getEditor('editor').execCommand('insertHtml', '页面自动化测试')'然后用Python
2017-11-06 17:36:53
8801
2
原创 移动web顶部导航修订版（续上版）
上一版的链接地址：http://blog.csdn.net/sinat_29673403/article/details/53195760为什么会出这么一个新版的原因，是因为产品需求的改变，导致分类从二级分类变换为三级分类，导致顶部导航栏的布局出现了调整。对右侧二级分类的展开添加了划入划出的效果，同时对整个导航栏的布局进行了调整。 效果图如下： 看到了大概的效果图，现在话不多说，来看看代码吧
2017-10-12 14:42:57
682
原创 使用Ajax实现异步导出数据到excel
最近做项目的时候就遇到需要把用户分散在多个数据表中的数据整合到一起既可以在线查看，又能导出excel。对于这个需求，如果用户量小的情况下直接点击链接跳转请求服务器处理从数据表中取出数据生成excel再返回客户端进行打开下载操作即可。但是当用户非常多，数据非常大的时候服务器处理请求的所需要的时间就会越长，当超出客户端获取响应的等待时间就会返回“502 Bad GateWay”这样的超时反馈。这显然不是
2017-09-13 10:03:47
25643
1
原创 使用nodeJs+web Socket构建即时通讯（WebIM）
在文章的开头，我要解释一下，为什么不直接使用web Socket实现即时通讯，因为一部分浏览器并不兼容web Socket，导致即时通讯在这些浏览器上无法正常使用，所以才需要用到nodeJs里封装好webSocket协议的socket.io包模块来提供不兼容websocket浏览器的解决方案并接管客户与服务器端交互的IO流。（一般处理不兼容websocket的浏览器的方法就是考虑 commit 方式
2017-09-07 15:22:17
12203
3
原创 git使用记录（持续更新中）
一.如何创建git远程分支并fetch到本地1.使用cd命令进入远程服务器上git所在的那级目录2.git fetch origin temp：temp //拉取远程服务器上temp分支的代码到本地temp分支；如果服务器上不存在temp分支，将自动创建temp分支3.git branch --set-upstream-to=origin/temp temp //将远程分支与本地分支关联进行追踪如果
2017-09-07 11:29:26
262
原创 windows下phpunit安装及测试
本文phpunit安转载自：http://blog.csdn.net/wangyibo5843/article/details/53183321 感谢作者大大的经验分享~1.根据phpunit官方手册，安装PHPUnit需要这些扩展：dom,json,pcre,reflection,spl,如果你安装的是wampserver环境，这些扩展默认是开启的。2.配置PHP环境变量，如何配置，自己百度3.下载PHPUni
2017-07-11 13:13:21
1901
原创 分类导航数据杂谈
对于一个电商类网站，首页分类导航尤其重要，哪些是一级大分类，底下都有哪些小分类。别以为这些只是产品经理和市场的事情，这可大大的关乎了咱们这些程序员的工作量；你要知道在他们的文档里只需要改几个字，很简单；但是只要涉及到结构变动，甚至一个删除，对后台数据而言都是巨大的工作量，一个分类后面牵连着许许多多与它相关的店铺，商品，以及其他数据，这些都需要变更，否则就会出现孤岛数据，找不到与之牵连的分类。所以修改
2017-05-18 17:15:00
850
1
原创 妙用php中的array_filter()获取数据
这种问题一般我们常见于页面上既要用到总表，又要用到其中某个用户单条数据的情况。而常见的两种解决方法是1.两次查库取出总表和符合条件的单条数据；（在数据库的数据量不多，涉及到的表较少的情况）2.取出总表用php foreach进行循环，在循环体中判断数据是否符合条件，符合则结束循环并返回这条数据（数据量大，涉及到的数据表多且结构复杂）。是不是哪一种看起来都很麻烦，太简单粗暴不太适合我这种追求矫情美感的
2017-04-29 02:28:41
17558
原创 mysql中sql语句的妙用
大家应该都对sql语句特别熟悉，但是对于不同的人来说用sql语句操作数据库取出自己想要的数据及数据格式的方式都不尽相同。那么，我在这里抛砖引玉的介绍一下我在面对特定的某些需求数据的时候是如何使用sql语句完成功能的（可能效率不是最高的，但是在我看来是我目前能想到的效率不低且可读性高的了，欢迎大家批评指正，我也可以跟着多学一下）。废话不多说，上点干货：1.在项目的实际开发过程中，我们经常会遇到这样的情
2017-04-27 17:08:50
2301
原创 浅谈项目中遇到的关于移动web的JS坑
因为项目需要，自己设计并构建了很多手机web的页面，现在就让我来吐槽一下其中遇到的坑，与君共勉。1.手机横竖屏检测事件```javaScriptwindow.addEventListener('orientationchange', function(event){if ( window.orientation == 180 || window.orientation==0 ) {
2017-04-18 11:43:20
688
原创 Ajax无刷新分页偷懒版（该例子写于YII框架下，其他框架请自行修改部分代码）
首先，我们来说一下，什么样的操作才叫无刷新，就是页面小部分需要修改的内容被替换，整体页面框架不动的一种操作。那么，我们已经知道了只有部分页面内容会被替换，与其在一个页面里死磕代码，不如把这个页面拆成两个部分页面，一部分用来显示页面不刷新的内容，一部分用来显示页面需要刷新的内容，两个页面拼凑起来就达到我们的效果了。既然这样的话，还做什么无刷新分页，直接把普通的分页提出来自成一个页面，然后让它自己刷去，
2017-03-30 14:46:12
1814
原创 jquery实现ajax无刷新分页页码控件
这段时间在做公司项目的时候需要用到ajax进行分页（点击页码也是无刷新的显示上一页或下一页的内容，不是一般的选择跳转），但是在网上找了一下，大部分分页插件都是直接刷新跳转的，感觉和我的需求差距比较大，就自己动手写了一个可以实现自己需要的功能的js来实现这个控件，实现的效果如下： 因为业务需要，我需要在一个页面创建多个这样的页码控件（有些是在ajax中生成的），显然为每一个控件写一个专属的js是
2017-02-28 16:55:02
8803
3
原创 Javascript中的JSON解析
在网站建设中，我们经常会用到ajax进行无刷新交互对页面进行数据的改变或展示，其中我们最常使用的交互数据类型是json。 今天，我在使用的时候就犯了一个json解析的错误。//json是后台传过来的json格式的数据var obj2=eval(json);//eval()方法对json数组进行解析成对象，然后通过对象-属性的方式获取其中的值alert(obj2.property);//发现al
2017-01-09 16:32:13
434
原创 Jquery validate插件自定义验证规则
作为一个有强迫症存在的人，最见不得就是不统一的格式，对不齐的代码。所以在对表单填写项进行validate插件验证时，有一些验证规则是根据实际需要个性化定制的。如果不扩展validate插件规则，就会导致验证提示的表现方式不同，这简直能逼死强迫症。所以我就查找了一下，validate插件果然也有能自定义验证规则的方法，简直是强迫症患者的救星。话不多说，我们来看看是如何自定义的吧。//该方法对提现金额进
2016-12-27 13:41:51
3052
原创 使用Jquery的cropper插件http报错500的解决小结
在使用jquery的cropper插件出现apache报错500我遇到的有两个原因： 1.我在form表单里面进行了嵌套，而form表单是不允许嵌套的，所以在提交表单的时候程序不知道那个跳转链接是它需要的，就会报错500.解决方法是把嵌套的form表单拿出来，变成并行就可以了。 2.在后台进行裁剪的时候，执行到语句：$type = exif_imagetype($file['tm
2016-12-27 10:22:42
1088
原创 php变量与JS变量直接交互不通过跳转
大家都知道如果JS变量要获取后台传来的php变量可以这么写：<?php $aaa = '111';?>var aaa = <?php echo $aaa;?>;那么我们如何将js变量的值直接付给php变量呢 第一种方法也是最常见的方法： 无刷新：使用ajax传参 有刷新：直接跟表单一起提交或者直接跟在跳转链接的后面。 现在我来说一下第二种传值方式： 示例为对js变量进行日期处理：$c =
2016-12-07 11:30:28
2128
原创 Yii 自定义model验证规则
YII的models中的rules部分是一些表单的验证规则，对于表单验证十分有用，在相应的视图（views）里面添加了表单，在表单被提交之前程序都会自动先来这里面的规则里验证，只有通过对其有效的限制规则后才能被提交，可以很有效地保证表单安全和信息的有效性。而且也很节省校验代码的编写时间。 下面来列举Yii提供给我们的简单的校验代码： boolean : CBooleanValidator 的别名
2016-11-28 10:45:34
3006
原创 用VBA完成报表制作
最近帮朋友做了一个报表统计的excel，因为本人比较懒，就直接用vba写了逻辑，而没有使用公式，代码实现了一些较简单的功能，例：算总收入，总支出，按月份统计的报销额度，根据财务人员给的公式自动算出管理费等，在这里mark一下，语言不是最重要的，重要的是解决问题的思路，与君共勉。因为我只对sheet1做了宏处理，所以在代码中使用worksheets(1)来查找sheet1中的单元格。有需要也可以更改成
2016-11-24 10:49:39
7738
原创 关于博客的一些小说明
截止在我发这篇文章之前，我的博客都是从我原来的新浪博客中搬家搬过来的，导致文章中原来的图片位置都显示空白，但是点击查看大图的时候还是可以显示出来的，所以大家要是在查看的时候看到空白图片直接点击查看大图就可以了，给大家造成的不便，我表示深深的歉意，以后再发文章的话代码就不用担心被网页html转义而头疼了，也请大家以后多多指教！！！
2016-11-17 09:49:24
314
原创 移动web顶部导航栏的制作小心得
之前一直涉及到的都是PC端的Web，现在要做微信公众号的时候，发现很多PC端的效果在手机上做起来是有一定的差别，要做很多兼容和调整的东西。现在来谈一谈这些天做顶部固定导航栏的小心得。因为博客貌似会解析文本中写的html代码，影响代码展示效果，所以为了方便，很多时候代码可能使用的是截图，给大家造成不便，聊表歉意。1.关于顶部固定导航栏效果图如下：实现代码如下：整体框架图如下图所示
2016-11-17 09:32:25
8527
原创 iconfont用在placeholder里
阿里巴巴矢量图标库使用方法链接：https://www.zhihu.com/question/25952487/answer/71917554感谢作者大大的分享！！！图标的制作和上传可以参照官网给出的文档：Page 1图标的下载和使用官网上说的不是很清楚，简单介绍下：1.首先在Iconfont-阿里巴巴矢量图标库上面将你需要的图标点击购物车按钮加入“暂存架”2.选择完所有要用的图标后“
2016-11-17 09:32:22
7362
7
原创 在Excel中使用VBA合并相同的数据 保留不同的数据（或替换不同的数据）
替换不同数据的宏代码：Option ExplicitSub hebing() '合并Dim arr, h&, l%, i&, j&, n&arr = Range("a1").CurrentRegion.Valueh = UBound(arr): l = UBound(arr, 2)ReDim brr(1 To h, 1 To l)For i = 1 To h - 1 If
2016-11-17 09:32:20
4357
原创 使用PullToRefresh实现下拉刷新和上拉加载
首先在页面头部加在插件的js文件：然后在js脚本中先初始化插件：（i：将要传到ajax中去后台取值的页码）然后写上自己的ajax去后台取值，在前台拼接显示即可：，在这里尤其要注意一点，wrapper.refresh();必须紧跟在取出的数据后边，不然，refresh刷新会加载数据失败，你在页面上看到的效果就是，你第一次刷新取到了数据但是页面没有变化，你再往上拉的时候又刷新了一次，然后才
2016-11-17 09:32:17
433
原创 jquery实现无刷新滚屏加载
第一个方法是判断页面是否滚动到了底部，若滚动到了底部则执行getData()方法获取新的数据。在getData()中用ajax传入页码，去后台中取数据。在这里，因为用的是YII框架，所以用的是Yii集成好的分页插件。所以大概分页代码如下显示：在页面初始化的时候是不经过ajax，而是通过正常程序读出第一页的数据，所以需要一个参数去区分。我在这里使用的是type(type=0页面初始化，正常取值，
2016-11-17 09:32:15
1298
原创 flexslider插件使用体会
最近网站需要在首页进行活动图片轮播，并在图片上添加链接。为此我在网上搜寻了一下flexslider插件的一些常用属性进行设置，但是在使用时出现了不大不小的问题如下代码所示：《li》《a》《img /》《/a》《/li》确实是可以轮播图片和实现点击图片进行链接跳转但是，图片比起正常的位置右移太多，并且左边图片进行平铺操作，看起来特别的不舒服。而若是将图片放在《li》中当背景图片则位置正
2016-11-17 09:32:12
2793
转载 限制input 输入框只能输入数字
原文地址：输入框只能输入数字">限制input 输入框只能输入数字作者：林然其一，只允许输入数字和小数点。"<input onKeypress="return(/[d.]/.test(String.fromCharCode(event.keyCode)))"style="ime-mode:Disabled">"其二，判断的更详细一些，甚至22..2这样不算数字也判断得出来func
2016-11-17 09:32:09
843
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人