- 博客(151)
- 资源 (15)
- 收藏
- 关注
RSS订阅
原创 使用Docker部署微服务
听说最近大家都不用虚拟机，开始用Docker进行微服务部署了，所以稍微学习了一下，下面是使用Docker进行微服务部署的一个简单的例子。一.环境准备1.centOS7安装如果是windows下需要用VMWare搭建centOS7的环境。过程略2.jdk安装我下载的是jdk1.8.0_172，放在 /usr/lib/java/jdk1.8.0_172目录下。过程略...
2019-11-28 21:59:59
4937
6
原创 搭建SpringCloud项目，并实现自动化部署
前一阵子一直在忙着做项目，最近有空，把项目中用到的SpringBoot微服务相关架构再梳理一遍。项目资源：https://github.com/sunroyi/SpringCloud主要分为以下几步：（1）搭建SpringBootService，这里是各个微服务的业务逻辑。（这里搭建了2个Service，用来测试熔断）（2）搭建SpringBootEureka，用来发现服务。（...
2019-07-11 16:14:47
158735
57
原创 Python爬取股票信息
一. 思路最近想要自己做个爬取股票信息然后分析的工具。主要思路是，通过调用东方财富网的接口，获取所有股票的代码列表。然后通过网易财经的股票信息的下载接口获取股票信息。数据分析以后再说。二. 代码实现1. 代码结构如下：2. clsDir.py（创建目录）def mkdir(path): # 引入模块 import os # 去除首位空...
2019-07-09 12:14:21
8603
4
原创 通过Sockets对网络请求拦截并转发的思路和简单实例（Java）
前一阵子突然对网络安全和数据传输这方面有了点兴趣，加上朋友介绍了新的CrossWall的工具，便也想自己做个小工具试试看。因为我觉得如果只是简单的使用工具，而不去深入理解原理，作为一个程序员就不会有进步。这里只是分享一下我的思路和简单的例子，并没有使用复杂的数据加密和协议（像SSR）。但仍然需要购买海外服务器，具体哪个我就不介绍了，只要海外的都行。一. 思路：原理其实...
2019-03-19 14:10:51
5272
原创 基于大数据的日志服务的搭建
一. 背景及需要实现的功能：1. 按照固定格式采集日志【Hadoop+Flume+log4j进行数据采集】2. 日志数据清洗【定时器+MapReduce+Java/Spark+Scala，从Hadoop读取数据并处理后，存储到Hbase】3. 数据查询接口【以服务的方式提供数据查询接口】4. 日志服务部署【需要部署到linux上】 二. 架构： 三. hadoop和...
2019-01-24 13:13:26
2006
1
原创 使用MapReduce对Hadoop下的日志记录进行分析处理
一. 简介MapReduce是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理。与传统方法相比较，MapReduce更倾向于蛮力去解决问题，通过简单、粗暴、有效的方式去处理海量的数据。通过对数据的输入、拆分与组合（核心），将任务分配到多个节点服务器上，进行分布式计算，这样可以有效地提高数据管理的安全性，同时也能够很好地范围被管理的数据。mapreduce核心就是map+sh...
2018-10-26 15:28:24
2457
1
原创 Linux下Hadoop+Flume的日志系统搭建
一. 简介Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下，开发出可靠、可扩展的分布式计算应用。Apache Hadoop 框架，允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展，充分利用了每台机器所提供本地计算和存储，而不是依靠硬件来提供高可用性。...
2018-10-26 14:24:55
2352
1
原创 在Windows下用Apache+wsgi部署python+flask项目
一. 安装Apache从http://www.apachelounge.com/download/ 下载最近版本的Apache解压到D盘下，我的80端口已经被占用了，所以需要修改配置文件：D:/Apache24/conf/httpd.conf找到Define SRVROOT，改为：Define SRVROOT "d:/Apache24"找到Listen，改为：Lis...
2018-09-06 10:33:10
4765
6
原创 Neo4j的使用与Java调用实例
一. Neo4j简介：Neo4j是一个高性能的,NoSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享...
2018-06-25 17:22:32
45286
14
原创 在windows下的Jeesite框架下集成Redis集群
最近想使用Redis集群做缓存，由于公司一直在用Jeesite框架，所以尝试了一下两者进行集成。Jeesite原本就支持EhCache和Redis两种方式做数据缓存，但并没有做Redis集群。本以为简单的配置就能实现，没想到调查了整整一天，所以觉得有必要把整个配置过程和踩过的坑记录下来，方便大家使用。一. Redis安装与配置：1. 去GitHub下下载win64的Redis：https://gi...
2018-03-21 15:00:03
3788
5
原创 Node.js+MongoDB的环境搭建+学习实例
春节前闲来无事，整理了一下以前学习的Node.js和NoSql数据库的资料，总结了自己一路踩过来的坑，希望能对初学者有帮助。在开发环境搭建和实例编写之前，还是需要先了解一下基本概念。参考文章：1. 目前流行的几个NoSql数据库对比2. 深入了解MongoDB的mmap（内存映射文件）的原理3. MongoDB数据库命令4. Node.js的概念5. 事件循环,Node.js的核心概念6. Jav...
2018-02-12 16:19:51
9120
原创 Nginx+Tomcat集群实现反向代理负载均衡和Session复制
以前写过一篇Apache+Tomcat集群的文章，最近正好有空，把Nginx+Tomcat也写一下做为比较。首先，用Nginx和Apache+Tomcat做集群的区别，我就直接从网上找了点资料。主要区别在于，Apache是同步多进程模型，一个连接对应一个进程。Nginx是异步多进程模型，多个连接对应一个进程，这里的多个连接可以达到上万的级别，所以普遍认为，Nginx的性能更好。Ngin
2018-01-25 16:51:02
551
原创 Mybatis+SQL Server使用过程中的优化
最近在数据库的使用和优化方面遇到很多问题。不但将数据库从MySQL改到了SQL Server，在SQL语句的调优方面也下了很多功夫。在这里将遇到的问题做个总结。一. 查询速度优化影响查询速度的原因很多，查询的列数，Join表，索引，检索条件等。1.首先，我减少了查询的字段。比如某个表有ABCD4个字段，一个画面需要AB，另一个画面需要ABCD，其他检索条件都一样。如果你
2017-12-22 16:21:41
1715
1
原创 使用POI进行Excel导入时解决的一些问题
最近在用POI做Excel导入，用了公司的共通，本以为应该很顺利，但是在实际使用过程中遇到了不少为题。这里做一下总结。一.大文件导入POI在导入数据的数据量很大的时候会有问题，Excel压根就读不进来。网站上查了一下，需要将Excel转换成CSV后导入。将导入方法稍作修改后的代码如下：/* ImportExcel ei = new ImportExcel(file, 0
2017-12-15 15:51:07
7650
原创 使用Java完成网上支付（2. 支付宝&微信）
一. 账号申请1. 打开https://b.alipay.com/newIndex.htm，注册账号2. 点击“即时到账”3. 查阅相关说明后，点击“立即签约”4. 因为我这里没有相关材料，所以只能到这里为止了二. 接口开发教程1. 拥有自己的支付宝企业账号，去产品商店选择适合自己的方案，并签约合同。2. 选择合适的商家收款产品并
2017-05-03 11:50:07
1602
原创 使用Java完成网上支付（1. 银联）
一. 账号申请1. 打开网址，并注册https://merchant.unionpay.com/cas/login?service=http%3A%2F%2Fmerchant.unionpay.com%2Fmcms%2F&subSysId=23E776SABEC134ADFF89223EEFFCC040&oip=MTQ0LjI0MC4yMTIuMTE4OjE2MDAw2. 选择
2017-05-03 11:38:19
11192
2
原创 使用阿里大鱼发送短信
最近看到同事在使用阿里大鱼实现短信发送功能，稍微学了下，果然挺方便的，下面把使用方法共享一下。1.注册账号：去 http://www.alidayu.com/?spm=a3142.7791109.1999204071.1.flonP4 注册注册完成后，系统会自动生成appkey和secret，这个在代码中会需要填写。2.下载阿里大鱼的Jar包：可参照http://ope
2017-04-19 14:22:14
5541
原创 icepdf中使用BufferedImage时内存溢出的解决方法
最近项目中需要将pdf转成图片，网上找了各种开源的工具，发觉icepdf用的人比较多。但是在实际使用过程中，遇到几个问题。1. 出现jpeg2000的错误：ImageIO missing required plug-in to read JPEG 2000 images. You can download the JAI ImageIO Tools from: http://ww
2017-04-06 17:18:27
8426
原创 Java锁定USB
锁定方法：修改注册表锁定USB，用了一个Timer不停的锁，以防被手动修改注册表解锁。经测试，可能被360等防火墙给拦截。USBTimer.javapackage com.sun.usb;import java.util.Date;import java.util.Timer;public class USBTimer{ public static void m
2017-04-06 10:09:25
1045
1
原创 Java调用ffmpeg进行视频转换
最近客户不知道从哪里拿来了很多MP4，上传到系统后无法在网页上直接用H5播放。用格式工厂将编码改为H264也播放不了，无奈之下，查询了一下网上的资料，用ffmpeg自己写了上传文件的转码功能。首先，去 https://ffmpeg.zeranoe.com/builds/ 下载最新的ffmpeg的static版，解压后找到bin下面的ffmpeg.exe，拷到你的项目下。上传并调用ffm
2017-03-29 16:53:04
13409
11
原创 从零开始使用Maven（三）Maven的聚合工程
我们在开发2个以上模块的时候，每个模块都是一个Maven Project。比如搜索平台，学习平台，考试平台。开发的时候可以自己管自己独立编译，测试，运行。但如果想要将他们整合起来，我们就需要一个聚合工程。比如：maven-manage(Maven Project) |- maven-sub1(Maven Module) |- maven-sub2 |- …
2017-03-08 14:24:08
9912
原创 从零开始使用Maven（二）搭建Nexus私服
下载地址：http://www.sonatype.org/nexus/go 1.解压以后，可以看到jsw目录下面有各个版本的nexus环境2.我选的是windows-x86-64直接用install-nexus.bat将nexus注册成windows服务即可。3.nexus的端口设置打开conf目录下的nexus.properties4.使用ne
2017-03-08 14:10:31
858
1
原创 从零开始使用Maven（一）创建Maven项目
最近在学习Maven，以前倒也不是没有用过，但是总是没有深入去了解，现在分享一下最近学习的心得及Maven的用法，希望能帮到初学者。一. 首先，Maven是什么?网上搜到的通俗点的说法是这样的：Maven是一个项目构建和管理的工具，提供了帮助管理 构建、文档、报告、依赖、scms、发布、分发的方法。可以方便的编译代码、进行依赖管理、管理二进制库等等。maven的好处在于可以将项目过
2017-03-08 13:54:12
18071
1
原创 用Java开发微信公众号
最近在学习微信公众号的开发，这里稍微介绍一下学习心得，希望可以帮助初学者快速入门。首先，微信公众号使用Java进行后台接口开发，它没有前台页面。也就是说，你开发后台接口按照微信规定的格式提供数据，不管你点菜单上哪个按钮，微信会调用你提供的唯一接口并告诉你是哪个按钮调的接口，你根据按钮类型返回数据，微信就会自动处理并显示你返回的数据。你也可以设置菜单按钮跳转任意的页面。所以，微信
2017-03-08 11:21:20
1391
原创 用Java（APICloud）开发手机APP
近几年手机开发非常流行，可是ios有自己的一套语言，Android虽然可以用Java开发但是也是要需要从google下载插件，总感觉不那么方便，作为Java开发者，有没有一种使用Java语言能够快速开发APP的软件呢？最近看到公司同事在用APICloud开发APP，我学了一下确实很方便。以我的理解，APICloud就像一个SVN，但是你不止可以在APICloud上保存和共享代码，每次测试或
2017-03-08 10:09:48
37774
3
原创 Ajax跨域调用后台Restful接口时的JSON转换方法
类：AjaxExchange作用：将后台取到的数据以JSON或HTML的形式返回package org.sun.com;import java.io.OutputStreamWriter;import java.io.PrintWriter;import javax.servlet.http.HttpServletResponse;import net.sf.json.JSON
2017-02-10 11:07:19
2818
原创 Java大文件上传
上周遇到这样一个问题，客户上传高清视频（1G以上）的时候上传失败。一开始以为是session过期或者文件大小受系统限制，导致的错误。查看了系统的配置文件没有看到文件大小限制，web.xml中seesiontimeout是30，我把它改成了120。但还是不行，有时候10分钟就崩了。同事说，可能是客户这里服务器网络波动导致网络连接断开，我觉得有点道理。但是我在本地测试的
2017-02-07 10:43:38
4155
原创 Red5流服务器搭建（实现在线直播，流媒体视频播放和在线视频会议）
最近研究了一下流媒体技术，也试着用免费开源的Red5搭建了流服务器，实现了直播，视频播放，远程视频会议等功能，下面是近期实践的总结，一. 先介绍一下流媒体技术：所谓流媒体技术，是指将连续的影像和声音信息经过压缩处理后放在网站服务器上，让用户能够一边下载一边观看、收听（即所谓的“在线欣赏”），而不需要等整个压缩文件下载到自己的机器上才可以欣赏的网络传输技术。一般来说，一个
2016-10-31 15:55:43
163863
17
原创 使用jPlayer实现带广告功能和试听试看功能的MP4/MP3播放
先介绍一下jPlayer，这是个非常方便的免费开源播放器。我觉得最大的优点是对各平台的兼容性。支持的平台和浏览器：Windows: Chrome, Firefox, Internet Explorer, Safari, OperaWindows (legacy): IE6, IE7, IE8, IE9, IE10, IE11OSX: Safari, Fi
2016-08-31 14:29:25
21978
原创 Mybatis入门与框架搭建
一. Web项目的Mybatis搭建1. 准备：① Mybatis的Jar包mybatis-3.2.8.jarmysql-connector-java-5.1.30.jar② 在MySQL中新建表create table `user`(`id` varchar(64) NOT NULL COMMENT 'ID',`name` varchar(255) NOT N
2016-08-29 10:58:11
8379
4
原创 AES/ECB/PKCS5Padding/PKCS7Padding 128位密钥（带密钥补位功能）加密解密
今天客户说发解密算法过来，本来以为拿来的是代码直接用，没想到就直接给了我个网站http://www.seacha.com/tools/aes.html和他们用的算法模式+密钥。以前还真没玩过AES加密解密，下面是今天研究的结果。实现结果:算法：AES模式：ECB密钥长度：128位密钥：自己填（代码中带补位功能）补码方式：PKCS5Padding/PKCS7P
2016-08-24 15:00:42
44917
5
原创 Apache+Tomcat集群实现反向代理负载均衡
一. Apache+Tomcat集群实现反向代理的负载均衡的原理：Apache作为调度器，转发HTTP请求。然后等待实际服务器的HTTP响应，并转发给用户。Tomcat集群作为实际的服务器，处理HTTP请求。二. 需要安装的程序：1. Apache2.2.42. 4个Tomcat7（注意修改server.xml）三. 修改配置文件：我这里的端口设置如下，请先确保
2016-08-18 11:19:31
3544
原创 Java文件上传的两种方式（uploadify和Spring默认方式）
最近项目中用到的两种文件上传方式做一下总结：一. uploadify：uploadify控件的scripts和styles在这里：http://download.csdn.net/detail/sunroyi666/9604420JSP： Upload " type="text/javascript"> "> "> ">
2016-08-16 11:38:38
3121
原创 Java多线程断点下载多文件（窗口程序带进度条）
Sample代码：http://download.csdn.net/detail/sunroyi666/9603367注：1.画面启动的voidmain在DownloadFrame.java里面2.线程中的ArrayList参数是为了传递画面控件，如果要在web项目中使用或者不需要进度条等与画面联动的功能的话，直接去掉就可以了。3.多线程的下载实际开始是在S
2016-08-15 10:30:48
1965
原创 Java项目访问中文资源的解决方法
在项目中遇到这样的问题，客户的资源文件（比如XML）中有中文名，而访问的时候，带中文名的URL报404.比如：http://localhost:8080/ProjectTest/cns/资源.xml在IE地址栏直接输入也不行。解决方法：1. 要让带中文名的文件在IE地址栏可以直接访问，跟代码是没关系的，要改Tomcat设置。Tomcat\conf\server.xm
2016-08-08 10:44:41
966
转载 Java定时任务
1. 需要执行的任务：package com.sun.xmldownload;import java.net.URL;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.TimerTask;public class ExtendTimerTask extends TimerTas
2016-08-04 11:30:07
383
原创 JSP页面刷新与参数传递的几种方法
SpringMVC框架中，JSP页面刷新主要用到3种方法：方法1.最简单的用跳转方法2.用AJAX异步刷新页面（画面部分刷新）方法3.提交Form表单并刷新页面（画面全部刷新）以下是例子：方法1：在index.jsp用link跳转到downloadFromXml.jsp方法2：downloadFromXml.jsp的download按钮是通过Ajax异步刷新页面方法
2016-08-04 10:53:26
4882
原创 禁止拖动滚动条的mp4播放器
首选，需要Video-js的css：http://download.csdn.net/detail/sunroyi666/9588419JSP代码如下：<%String path = request.getContextPath();String basePath = request.getScheme()+"://"+request.getServerName()+":"+
2016-07-28 11:11:25
1856
原创 WSDL WebService和RestFul WebService的个人理解
最近在看Web Service，下面讲一下自己的理解。1. SOAP与WSDLSOAP(Simple Object Access Protocol)简单对象访问协议，是基于HTTP的传输协议，用来访问远程服务。区别是SOAP传输的内容是SOAP数据（XML格式），HTTP传输的是HTTP数据。即，SOAP请求和应答有自己的规范，也就是传输XML文档，XML中定义了操作，数据等。
2016-07-18 10:26:16
12602
Reids相关工具包
2018-03-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人