- 博客(41)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【IDEA】常用插件清单
代码提交模板，提交记录规范，便于搜索。分析maven包依赖，冲突好用的工具。AI提示补全代码，免费工具比较好用。HTTP接口快速搜索定位，调试插件。代码中，快速生成get set。快捷生成arthas命令。括号彩色标记，高亮显示。
2023-08-04 14:26:32
975
原创 一台Windows10下搭建Mysql主从同步详细步骤--亲测可用
Mysql5.7主从同步详细步骤Mysql5.7主从同步详细步骤1.下载Mysql1.1 官网下载1.2 解压zip 到指定目录1.2.1 在mysql-master-3309下1.2.2 在mysql-slave-33102.安装命令行详细步骤2.1.主库Master2.1.1 初始化：2.1.2 注册服务2.1.3 启动服务2.1.4 连接mysql2.1.5 修改密码2.1.6 创建用于同步的用户账号2.1.7 查看主库状态3.从库Slave4.准备开启主从同步4.1 查看master和slave各自
2020-12-05 15:49:54
1698
3
原创 快手 sig(sign)签名算法 java版
需求：想要获取快手短视频app的用户粉丝数声明：本博文只是作为研究学习用途，请不要用于非法、商业用途。写个帖子不容易，转载请说明出处，谢谢首先需要用Fidder抓包工具找到接口地址重点来了，快手所有的接口基本都用到了一个参数sig(数据签名)声明：本博文只是作为研究学习用途，请不要用于非法、商业用途。写个帖子不容易，转载请说明出处，谢谢首先需要用Fidder抓包工具找到接口地址这个过程省略...
2019-03-05 22:05:45
15633
69
原创 Spark任务提交-json参数踩坑
Spark提交任务时，需要传递两个参数，其中一个是json字段串json 参数如下：{"dest_catalog":"测试文件1","site":"tencent","song_settings":{"lower_case":"true","remove_brackets":"true","simple_chinese":"true","remove_blank":"true","remove
2017-12-08 15:26:37
3481
4
原创 Cron表达式
cron表达式，有专门的语法，而且感觉有点绕人，不过简单来说，大家记住一些常用的用法即可，特殊的语法可以单独去查。cron一共有7位，但是最后一位是年，可以留空，所以我们可以写6位：* 第一位，Seconds 秒，取值0-59* 第二位，Minutes 分，取值0-59* 第三位，Hours 小时，取值0-23* 第四位，Day-of-Month 天/日，取值1-31* 第五位，Month
2017-11-13 10:41:54
983
转载 SpringBoot学习教程
最近在学习springboot的时候，发现一个很好的教程，写很清晰有条理 特此记录下来，目录地址如下 http://www.jianshu.com/p/9a08417e4e84目录：一、基础第一章：用一个HelloWord来阐述SpringBoot的简单与快速第二章：SpringBoot与JSP间不可描述的秘密第三章：SpringBoot使用SpringDataJPA完成CRUD第四章：使用D
2017-08-31 14:13:07
707
原创 JSON字符串Gson,JSONObject解析中文乱码，接口
mysql数据库中有一个字段类型为json，而且其中存在key=中文，而不是key=“中文”，这种数据在对外提供接口数据的时候，发现页面返回的数据是乱码！！！！我勒个去！Debug时发现，无论使用JSONObject还是Gson去解析从mysql中查询出来的字符串得到的结果都是乱码！后来发现了下面这篇博客的内容后尝试后成功了！1.比如接口传参数为中文会乱码接口中传过来key=中文；；；；而不是这种类
2017-08-30 10:44:28
20700
转载 idea，配置checkstyle 【提高代码质量,检查代码规范的工具 】Checkstyle
原文地址：http://blog.csdn.net/shenhonglei1234/article/details/53669436CheckStyle是SourceForge下的一个项目，提供了一个帮助JAVA开发人员遵守某些编码规范的工具。它能够自动化代码规范检查过程，从而使得开发人员从这项重要，但是枯燥的任务中解脱出来。CheckStyle检验的主要内容列表内容Javadoc注释命名约定
2017-08-29 13:51:40
8645
转载 IDEA中修改文件的默认打开方式
原文：http://blog.csdn.net/sutongxuevip/article/details/72832754 有时候在IDEA中添加配置文件，不小心后缀忘记写，默认打开方式就会是text了，修改ReFactor–》Rename添加后缀后还是file格式，可按以下方式修改回来： 错误展示：新建file后，我们本打算写mapper.xml，可是扩展名忘记了 就会是现在这个样子，删除后
2017-08-29 11:04:49
28217
1
原创 使用IDEA Database Tool连接Hive数据库
问题： IDEA 是现在很流行的开发工具，其功能很强大，其自带一个数据库连接工具，该工具可以连接mysql，oracle等常用数据库，那么问题来了，我能不能用这个工具连接hive数据库了 经过我的不断尝试，终于可以连接查询hive了！解决办法： 步骤如下图： 1.如果idea中最右侧你没有看到database这个选项卡那么请按照下图将其显示出来 2.因为IDEA没有内置hive的驱动，所以
2017-08-28 15:52:40
22132
8
转载 Hive将一行记录拆分成多行
业务背景Hive表test_user_browse记录了用户浏览过的商品，该表的数据如下： username product John product_a,product_b,product_c,product_d Tom product_e,product_f现在，想要将product字段拆分为多行。实现方式现在借助lateral view 和explode()来完成。se
2017-08-24 17:21:25
9722
2
原创 win10 中添加快捷方式到开始菜单
有时候我们自己安装的绿色程序，只有一个快捷方式，不能像其他程序一样右键->固定到开始菜单，如下图： 那么怎样才可以加入开始菜单呢？ 很简单： 1.将程序的快捷方式复制或者拖入一下目录中：C:\ProgramData\Microsoft\Windows\Start Menu\Programs资源管理器中显示的是如下路径： 2.拖进去之后，点开开始菜单会在左侧程序中找到该快捷方式，再右键->选择
2017-08-19 16:16:26
25576
2
转载 电脑无法识别（读取）U盘
自己的电脑无法识别U盘，别人的电脑可以正常读取问题描述： 今天突然遇到一件怪事，我的U盘在我的电脑上无法读取，连U盘的盘符都不显示；然而在别人的电脑上正常使用过，怪事！！解决办法： 经过百度各种方法后找到一个有效的办法，在此记录一下，以便下次遇到，同时也写给遇到相同情况的小伙伴们。1.打开设备管理器，在菜单栏点击“查看” - “显示隐藏的设备”。 2.鼠标左键双击双击“通用串行
2017-08-16 10:01:48
6148
1
原创 Intellij IDEA 中一次性折叠所有代码的快捷键设置
问题： 在Java文件中，想把所有的Java方法代码都一次性给折叠起来，用哪个点开哪个。在新建model bean的时候，要是属性很多，那么对应的getter和setter就会很多，要是所有的方法代码都是展开状态，那么这个文件看着也不甚美观，所以，可以把方法都折叠起来。解决： Collapse All ：折叠 ==>快捷键 ctrl+shift+等号 Expend All：展开 ==>快捷键
2017-08-09 15:02:07
25821
5
原创 IDEA 快速返回上次查看代码的位置
IDEA 快速返回上次查看代码的位置问题： 在win10系统中，使用IDEA 查看源码的时候，经常跳转代码，这样会让使用者感觉和方便，但是当你想要返回上次跳转的位置时，却不知道怎么办？解决： 在IDEA中可以使用快捷键返回，默认是ctrl+alt+方向键在IDEA中查看当前设置的快捷键 (Back和Forward) 你以为就可以了吗？NO！！！！ 问题来了：在win10系统中，“ctrl+a
2017-08-04 14:19:30
260657
68
原创 MongoDB Connector for Hadoop(二)
MongoDB连接器MongoDB连接器 for Hive的两种用法Connecting to MongoDB - MongoStorageHandler1 安装2 Connecting to MongoDB - MongoStorageHandler2 Quickstart Example映射关系-Mappings1 映射字段和mongodb字段名一致的字段可以不用指定2 因为hi
2017-03-30 11:57:03
1229
2
原创 MongoDB Connector for Hadoop(一)
MongoDB连接器MongoDB连接器 for Hive的两种用法Connecting to MongoDB - MongoStorageHandler1 安装2 Connecting to MongoDB - MongoStorageHandler2 Quickstart Example映射关系-Mappings1 映射字段和mongodb字段名一致的字段可以不用指定2 因为hi
2017-03-30 11:56:03
2119
原创 MongDB同步数据到Hive
问题解决方案1 导出csv文件2 创建Hive表3 load data 导入数据查询Hive表踩坑事项1 mongodb 表中字段含有特殊字符2 mongoexport 导出csv文件含有表头附录 fieldFile文件格式样例1.问题如何将mongodb中的数据导入hive中？2.解决方案步骤：使用mongoexport导出CSV数据文件在Hive中创建表（注意指定表se
2017-03-30 11:55:14
2974
2
转载 关于使用 MongoDB Connector for Hadoop 的经验和教训
http://blog.csdn.net/djy572568633/article/details/46654857http://blog.csdn.net/tonylee0329/article/details/51648524
2017-03-02 23:22:58
332
转载 MongoDB常用操作
数据库基本命令操作数据库常用命令1、Help查看命令提示 help db.help(); db.yourColl.help(); db.youColl.find().help(); rs.help();2、切换/创建数据库 use yourDB; 当创建一个集合(table)的时候会自动创建当前数据库3、查询所有数据库 show dbs;4、删除当前使用数据库 d
2017-02-27 22:59:36
358
原创 新的开始
今天进入一家新公司，换个环境换个起点，重新出发。 很幸运，到这个公司后也是参与其大数据开发项目(哈哈，运气),今天下午被告知需要先学习hive相关知识，那么准备开始吧！！ 最后和爬虫说声see goodbye ！
2017-02-22 15:35:14
412
转载 单点登录
该文转载自：http://www.blogjava.net/xcp/archive/2010/04/13/318125.html摘要：单点登录（SSO）的技术被越来越广泛地运用到各个领域的软件系统当中。本文从业务的角度分析了单点登录的需求和应用领域；从技术本身的角度分析了单点登录技术的内部机制和实现手段，并且给出Web-SSO和桌面SSO的实现、源代码和详细讲解；还从安全和性能的角度对现有的实现技
2017-02-15 16:06:16
651
转载 java面试题
原文地址：http://blog.csdn.net/jackfrued/article/details/44921941 讲解详细，答案准确，不用担心其准确性。
2017-02-07 10:49:42
268
转载 java字符串中Emoji表情处理
在爬虫获取字符串内容时，遇到内容中有手机表情，存入数据库是报错！网上找了半天，发现好多人不去实验一下就复制别人的代码网上发，然后导致我拿来用直接不行。最终找到一个可以行办法，在此总结一下： 方法主要有两个： 第一，修改数据库字符集： 这种方法需要的硬性要求就是你的mysql数据库版本5.5以后的。一般有数据库管理工具的，直接打开改了就是了，比如我用的HeidiSQL，直接把表改为u
2017-01-03 18:41:28
24560
3
转载 正则表达式
1. 什么是正则表达式基本说来，正则表达式是一种用来描述一定数量文本的模式。Regex代表Regular Express。本文将用>来表示一段具体的正则表达式。一段文本就是最基本的模式，简单的匹配相同的文本。 2. 不同的正则表达式引擎正则表达式引擎是一种可以处理正则表达式的软件。通常，引擎是更大的应用程序的一部分。在软件世界，不同的正则表达式并不互相兼容。本教
2016-12-09 17:06:27
399
转载 java世界中几种html解析的工具
HTML分析是一个比较复杂的工作，Java世界主要有几款比较方便的分析工具：Jsoup Jsoup是一个集强大和便利于一体的HTML解析工具。它方便的地方是，可以用于支持用jquery中css selector的方式选取元素，这对于熟悉js的开发者来说基本没有学习成本。String content = "blabla";Document doc = JSoup.parse(content);
2016-11-09 17:27:33
27008
转载 优先级队列PriorityBlockingQueue
在爬虫中如果需要对url爬取队列进行优先级爬取时，可以考虑采用此队列进行管理。PriorityBlockingQueue里面存储的对象必须是实现Comparable接口。队列通过这个接口的compare方法确定对象的priority。规则是：当前和其他对象比较，如果compare方法返回负数，那么在队列里面的优先级就比较搞。下面的测试可以说明这个断言（以下代码只为测试）：查看打印结果，比较take出
2016-11-09 15:20:03
1102
原创 从Spring容器中获取bean的几种方式
Java类获取spring 容器的bean 常用的5种获取spring 中bean的方式总结： 方法一：在初始化时保存ApplicationContext对象 代码：ApplicationContext ac = new FileSystemXmlApplicationContext("applicationContext.xml");ac.getBean("beanId");说明：这种方式
2016-11-08 16:20:14
14105
2
原创 java学习计划
看了大神们指点的学习路线，自己记录下来基本重要的学习书籍和大致的学习路线 针对JavaWeb和Java后端（按工作年限划分） 基础书籍：《深入理解计算机系统》、《tcp/ip详解 卷一、卷二、卷三》（三本书）、《数据结构与算法》 1年：《java编程思想》 1-2年：《大话设计模式》、《重构改善既有代码的设计》、《Effective Java》 3-4年：《深入理解Java虚拟机》、《Ja
2016-11-01 13:49:57
476
转载 转载--java中遍历实体类属性和类型，属性值
原文地址：http://www.cnblogs.com/137913828S2/archive/2012/07/10/2584774.htmlpublic static void testReflect(Object model) throws NoSuchMethodException, IllegalAccessException, IllegalArgumentExceptio
2016-10-19 15:11:46
295
转载 Jsoup 网络爬虫 学习例子
发现一个很好的jsoup的学习博客，整理如下： 作者地址：http://injavawetrust.iteye.com/java jsoup 网络爬虫 学习例子（一） 抓取豆瓣电影名称+推荐星级 java jsoup 网络爬虫 学习例子（二） 只抓取豆瓣电影5星（力荐）电影名称 java jsoup 网络爬虫 学习例子（三）抓取豆瓣电影海报图片 下载到本地 java jsoup 网络爬虫 学
2016-10-18 13:40:36
704
转载 使用phantomjs抓取JS动态生成的页面
关于phantomjsphantomjs实现了一个无界面的webkit浏览器。虽然没有界面，但dom渲染、js运行、网络访问等API都很完整。可以利用phantomjs来下载js生成的页面。下载phantomjs（http://phantomjs.org/download.html)。解压到任意目录，在Windows下将包含phantomjs.exe的目录添加到系统路径。Linux下 phantom
2016-10-18 10:52:26
8546
转载 MySQL指定IP用户访问数据库
本文实例讲述了mysql设置指定ip远程访问连接的方法，分享给大家供大家参考。具体实现方法如下： 1. 授权用户root使用密码jb51从任意主机连接到mysql服务器： 复制代码 代码如下:GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'jb51' WITH GRANT OPTION;flush privileges;2.授权
2016-10-14 09:59:17
2157
转载 Java并发编程--转载
转载原文地址：http://blog.csdn.net/ns_code/article/details/17539599 为了方便各位网友学习以及方便自己复习之用，将Java并发编程系列内容系列内容按照由浅入深的学习顺序总结如下，点击相应的标题即可跳转到对应的文章 【Java并发编程】实现多线程的两种方法 【Java并发编程】线程的中断 【Java并发编程】正确挂起、恢复、终止线
2016-09-27 15:09:41
417
转载 HtmlUnit学习总结
本文摘抄其他博客或者技术论坛，自己搜集整理如下：HtmlUnit学习总结摘要htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器，运行速度迅速。(百度百科)环境搭建MAVEN依赖dependency> group
2016-09-13 15:58:25
16791
3
转载 Jsoup学习总结
本文摘抄其他博客或者技术论坛，自己搜集整理如下：Jsoup学习总结摘要Jsoup是一款比较好的Java版HTML解析器。可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。jSOUP主要功能从一个URL，文件或字符串中解析HTML；使用DOM或CSS选择器
2016-09-13 15:48:44
41712
13
原创 HtmlUnit+Jsoup学习总结
一、网页数据大概分为三类：1.静态网页所有内容都写在Html标签中，可以从网页源代码中直接查找到数据。2.动态网页数据是通过JavaScript动态加载显示到中,直接查找源代码不能找到数据。3.登陆网页3.1 无验证码登陆需要通过登陆后才可以查看获取网页数据。（包括静态、动态）3.2 有验证码登陆（暂时还未研究）验证码目前形势也较多:传统验证图片输入拖动
2016-09-08 18:42:40
6162
1
翻译 HtmlUnit学习笔记（二）-----表格的获取使用
官方文档：http://htmlunit.sourceforge.net/table-howto.htmlThe first set of examples will use this simple html.简单的测试页面Table sample id="table1"> Number D
2016-09-02 14:15:44
846
翻译 HtmlUnit学习笔记(一)--快速入门
基本步骤：1.创建WebClient对象://无参构造WebClient webClient=new WebClient();//BrowserVersion有chrome、firefox、ie等选择，创建指定的浏览器对象WebClient webClient=new WebClient(BrowserVersion.CHROME);//使用代理创建对象WebCli
2016-09-02 10:47:49
896
转载 使用HtmlUnit模拟登陆新浪微博
本文非原创，原文地址：http://blog.csdn.net/bob007/article/details/29589059import java.io.IOException;import java.net.MalformedURLException;import com.gargoylesoftware.htmlunit.BrowserVersion;import com.g
2016-09-01 19:41:06
828
2
dbvisualizer 10.0.2 破解文件
2017-11-06
毕业设计-冲孔落料级进模设计(说明书)
2016-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人