- 博客(104)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 Java数据采集-4.分析常见的翻页（加载数据）方式
本篇文章主要分析当下常见的几种翻页（加载数据）的方式，并结合实际例子和截图介绍。在后续博客中针对这些网站，写代码完成数据抓取。1. 根据页码进行翻页 如CSDN的个人博客列表，我们可以轻松的分析出总页数和列表页地址。 共两页，列表页地址为：http://blog.csdn.net/TMaskBoy/article/list/2 对于此类型的网页，我们只需要根据总页数，遍历所有的列表页即可，
2017-07-20 20:15:25
1792
2
原创 Java数据采集-3.抓取开源中国新闻（新版）
最近看之前写的几篇网页数据采集的博客，陆陆续续的有好友发私信交流，又想重新整理一下这些了，抽空继续更新本系列博客。针对开源中国新闻列表新版，重新写代码抓取。 网址：https://www.oschina.net/news jar包：jsoup.1.7.2.jar 项目源码：https://github.com/geekfly2016/Spider分析新闻列表所在位置根据上图我们可
2017-07-19 21:14:19
3133
原创 JavaWeb中导入导出Excel数据
1. 利用文件上传的技术，将需要导入的Excel表上传至服务器上。2. 利用POI技术读取刚上传的文件，将数据封装至List集合。3. 将List集合转为实体类，进行持久化操作。
2016-06-24 19:42:20
19904
18
原创 JavaWeb中将数据从数据库导出到Excel表的实例
首先声明此博客基于 http://blog.csdn.net/evangel_z/article/details/7332535 https://github.com/T5750/poi （原著博客中介绍的程序源码） 这个博客里面开发的项目，使用POI导出Excel，经过修改支持文件弹窗选择，在使用中包括以下几步。 1.添加jar包 在刚才的github的项目里可
2016-05-28 16:03:15
17633
6
原创 SSM框架的搭建（Spring+SpringMVC+Mybatis第一个项目的搭建）
作者使用MyEclipse 2014版本 本博客所编写程序源码为：新建Web project 添加ljar文件 web.xml文件<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/
2016-05-21 09:33:31
22311
6
原创 Shell Mvn启动SpringBoot项目
Linux运行Springboot项目，因为不是开放完成，开发中需不停地调试，修改，更新，重启。每次都需要经过多步，所以考虑shell自动运行。
2022-08-11 16:57:18
343
原创 Ubuntu下安装Datax-web数据交换平台
DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。DataXWeb是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。...
2022-07-31 23:22:25
866
原创 Ubuntu安装PostGres 12
Install PostgreSQL 12 on Ubuntu 22.04|20.04|18.04|16.04
2022-07-12 00:07:35
984
1
原创 如何下载企业微信上课直播回放
一、标题官方渠道直播时开启了直播回放，在15天到期的时候，直播发起人会收到消息提前，在windows系统的企业微信客户端，可直接点击消息下载回放。截止目前Mac版还没有此功能(2021年09月29日)。二、非官方渠道1. 打开企业微信调试工具在企业微信下同时按Ctrl+Alt+Shift+D（Mac电脑按Command+Control+Shift+D）。显示Debug模式开启即可。2. 打开观看直播回放页面，点击检查元素这一步也可以点击右上角，在浏览器中的打开，然后企业微信扫码即可。浏览器需
2021-09-29 20:06:36
19215
原创 Mac OS安装PhantomJS及Selenium中调用
1. PhantomJS是什么？说人话就是：无界面浏览器PhantomJS是一个基于webkit的JavaScriptAPI。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非
2021-08-20 11:51:52
637
原创 Maven 打包报错sun.security.validator.ValidatorException: PKIX path
使用mvn package打包是出现如下错误[ERROR] Failed to execute goal on project canvas: Could not resolve dependencies for project xxx:xxx:jar:0.0.1-SNAPSHOT: Failed to collect dependencies at org.apache.httpcomponents:httpclient-cache:jar:4.5.6: Failed to read artifact
2020-07-22 14:45:29
561
原创 Postgresql设置时区
查看时区show time zone查看时间select now();查看支持的时区列表select * from pg_timezone_names;设置成东八区 北京时间 UTC+8set time zone 'PRC'
2020-07-14 15:12:07
3054
原创 SAI2 安装及导入笔刷素材
1. 下载软件破解版下载网址：https://sai.yufan.me/此处下载 SAI Ver.2 破解版，下载后直接安装即可。2. 修改文件不要启动SAI2！！在桌面点击SAI2启动图标，右键打开文件位置，将笔刷和素材包内的素材文件夹拷贝到init文件夹中，如果提示文件冲突，选择全部替换。打开文档\SYSTEMAX Software Development\，删除SAIv2文件夹，新建SAI2 Demo，将笔刷包中的settings2.ssd拷贝到此文件中。3. 启动软件选择继承旧.
2020-05-14 17:54:04
11324
2
原创 Nginx反向代理某些请求出现502 Bad Gateway
Nginx跳转到另一台服务器提供的服务上，发现某些接口出现502错误，但这个接口有些时候是正常的，服务端的日志没有接收到改请求。通过IP测试访问正常，故怀疑是Nginx的问题。后来找到说压力太大，需要增加缓存。配置了两个地方：proxy_buffer_size 64k;proxy_buffering on;proxy_buffers 4 64k;proxy_busy_buffers_...
2020-04-11 00:46:08
3366
原创 Mac电脑打开文件夹在新标签还是新窗口的设置问题
如果想在新标签打开，打开Finder(访达)，偏好设置，勾选“在标签页中打开文件夹”在文件夹上点右键会出现“在新标签页中打开”或按住 command+双击 可以在新标签打开但是，当点开某个文件夹并没有自动进入，而是在新标签打开了。即使不勾选这个选项也不行。那么需要在偏好设置->程序坞->打开文稿时首选标签页->仅在全屏幕视图下。就不会在新标签中打开了。...
2020-04-05 23:38:23
5863
1
原创 安装seafile 专业版步骤
官方文档参考：部署 Seafile 专业版1. 准备环境Ubuntu16.04注：Ubuntu用户名别使用seafile，否则安装过程中报错：useradd：用户“seafile”已存在2. 下载安装包https://download.seafile.top/d/8c29766a64d24122936f/当前最新版本：seafile-pro-server_7.0.9_x86-64...
2019-10-09 10:24:38
4507
2
原创 NB: JAVA_HOME should point to a JDK not a JRE
在Centos 6.10上部署项目前，使用yum安装jdk，配置环境变量，java -version正常输出，java -jar xx.jar能正常运行Spring Boot项目。但安装Maven并配置后报错。错误信息The JAVA_HOME environment variable is not defined correctlyThis environment variable is ...
2019-08-20 19:57:51
12503
4
原创 Spring Boot2.X中findOne的用法
SpringBoot在1.5.X版本中，传入id即可查询对象 xxxRepository.findOne(id);但在2.X中，findOne改为了<S extends T> Optional<S> findOne(Example<S> var1);getOne方法继续保留了，但是如果getOne(id)查询到的即使id不存在，也会返回该对象的引用，判断nu...
2019-06-12 09:21:37
2179
原创 Python3.6+jieba+wordcloud 爬取豆瓣影评生成词云
在上一篇介绍了如何通过Python爬虫抓取豆瓣电影榜单。Python3.6+Beautiful Soup+csv 爬取豆瓣电影Top250此篇博客主要抓取豆瓣某个电影的影评，利用jieba分词和wordcloud词云生成影评词云。下文以电影无名之辈为例：https://movie.douban.com/subject/27110296/comments?start=0&limit=...
2019-04-13 16:30:06
1706
原创 Python3.6+Beautiful Soup+csv 爬取豆瓣电影Top250
豆瓣电影 Top 250：https://movie.douban.com/top250?start=0&filter=Beautiful Soup：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html注：本文获取内容全部使用Beautiful Soup的select方法，使用css选择器。有html...
2019-04-10 20:55:27
1998
3
原创 Canvas网络教学平台安装RCE富文本编辑插件（Rich Content Editor）
Rich Content EditorCanvas includes a new rich content editor component to support a consistent editor experience across multiple applications in the Canvas ecosystem. To make use of this component y...
2019-04-10 14:50:36
2317
5
原创 Canvas网络教学平台-升级
参考官方网址：https://github.com/instructure/canvas-lms/wiki/Upgrading1. Canvas Upgrade(更新代码)进入代码安装目录，如果未修改过官方的代码（除配置文件），可直接执行：sudo git fetch && git reset --hard origin/stable有修改需处理冲突或覆盖本地代码。2....
2019-04-09 16:28:34
5934
原创 JS中数组(Array)和字典(Map)的常用方法和属性
0. 数组 Array [ ]初始化 var arr1 = new Array(); var arr2 = []; var arr3 = [1, 2, 3];添加元素 - push向数组的末尾添加一个或更多元素，并返回新的长度。arr1.push(1);arr1.push('aaa', 'bbb');与push相反的方法：unshift 向数组的开头...
2019-04-08 20:31:21
7239
原创 Spring Boot Admin 2.0监控配置
Spring Boot Admin 用于监控基于 Spring Boot 的应用，它是在 Spring Boot Actuator 的基础上提供简洁的可视化 WEB UI。官网地址：https://github.com/codecentric/spring-boot-admin帮助文档：http://codecentric.github.io/spring-boot-admin/2.1.3/#...
2019-03-21 17:01:31
1544
原创 Canvas LMS集成Analysis插件
Canvas LMS：https://github.com/instructure/canvas-lmsCanvas Analytics 1.0：https://github.com/instructure/analytics模板配置文件如下：https://github.com/instructure/canvas-lms/blob/stable/config/cassandra.yml...
2019-01-24 16:29:48
2330
2
原创 Python3.6使用SMTP协议发送邮件
代码如下：# !/usr/bin/python3# coding: utf-8import smtplibfrom email.header import Headerfrom email.mime.text import MIMETextfrom email.utils import parseaddrfrom email.utils import formataddrd...
2018-11-04 15:01:13
2281
原创 Spring Boot 在Mac平台下打包Docker镜像及Linux服务器部署与运行
项目版本Spring Boot 1.5.15.RELEASEApache Maven 3.5.2MAC OS 10.13.6Java Version 1.8.0_1611. 安装Docker下载地址：https://download.docker.com/mac/stable/Docker.dmg （可使用迅雷等工具下载，浏览器下载太慢） 下载之后安装，启动，此处跳...
2018-09-09 21:13:50
4756
原创 浅谈企业微信中AccessToken管理和API操作
前言 众所周知，在微信公众平台开发中，其实就是一系列的API请求和自身业务系统的集成，而在API请求中，AccessToken是优势一个必不可少的参数。注：本文基于企业微信，故部分API请求可能和订阅号，服务号，小程序不太相同，但整体思路一致。本项目代码基于Java语言，SpringBoot框架。在企业微信开发文档中有这样一段： access_toke...
2018-05-01 14:36:31
3891
7
原创 Spring Boot项目配合Nginx发布（单IP，单域名，多项目，多端口）
因为喜欢使用jar包发布项目，单个项目的启停不会影响其他项目正常运行，又不喜欢为每个项目都配置域名，所以想到了这样的部署方案： 项目名 端口 访问域名 project1 10001 http://xxx.com/project1 project2 10002 http://xxx.com/project2主...
2018-02-03 10:00:06
3532
原创 iterm2 SSH免密码远程连接服务器
在/usr/local/bin目录下新建iterm2login.sh文件，内容如下：#!/usr/bin/expectset timeout 30spawn ssh -p [lindex $argv 0] [lindex $argv 1]@[lindex $argv 2]expect { "(yes/no)?" {send "yes\n";exp_c
2018-01-30 17:15:39
4449
原创 Spring Boot项目在Intellij IDEA 中实现热部署
在开发Spring Boot项目的过程中，每次修改文件都需要重新启动，于是在imooc上找了个视频，经过修改几个参数最终成功。参考视频：Spring Boot热部署的实现原视频中介绍有三种： Maven方式启动 感觉需要使用mvn命令，强迫症不喜欢看后台DOS窗口，直接忽略 修改IDE启动命令 和目前开发最相似，也是本博客配置方式 使用spring-b
2018-01-07 19:41:24
4479
3
原创 Git免密码登录
使用命令行的码农每次提交、更新代码都需要输入用户名，密码，懒得输了，就找到了这命令。1)git remote rm origin2)git remote add origin https://username:[email protected]/username/test.git3)git push origin master码云（gitee）的配置第二个不是username，如果是团队项目...
2017-12-20 20:42:06
2256
原创 Java数据采集-8.模拟登录
模拟登录一般分为以下几步：> 1. 获取登录的所需的信息> 2. 模拟提交账号信息，获取Cookie> 3. 携带Cookie进行目标操作
2017-10-15 17:14:10
1451
9
原创 传智播客_Springmvc+Mybatis由浅入深全套视频教程+文档
传智播客_Springmvc+Mybatis由浅入深全套视频教程+文档 此文件为网盘链接，鉴于很多地方都只有视频没有文档，特给大家放出资源。 文档放在具体分类下的文件中。链接: https://pan.baidu.com/s/1eSKSAIm 密码: scru
2017-09-06 15:09:15
4357
8
原创 Java数据采集-7.Ajax无刷新请求(翻页-3)
本篇继上述博客，介绍Ajax无刷新加载数据的方式，抓取阿里巴巴矢量图库。 技术重点：HttpClient 模拟请求FastJson 处理Json格式的数据
2017-08-14 21:45:26
1151
原创 Java数据采集-6.获取开源中国新闻列表（翻页-2）
> 本次抓取地址：https://www.oschina.net/news> 项目源码：https://github.com/geekfly2016/Spider> 代码目录：Spider/src/xyz/geekfly/get_list/OSCHINA_NEWS.java
2017-07-25 21:12:40
1821
HTML5浪漫爱心表白动画在线演示
2018-05-24
Java导入导出EXCEl（POI）
2017-08-23
多功能jQuery日期控件 jeDate.zip
2016-06-12
SSM框架整合代码
2016-05-21
Navicat Premium绿色版
2015-08-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人