- 博客(52)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 heritrix多线程 加速(定制Queue-assignment-policy两个问题)
10.3.2 定制Queue-assignment-policy两个问题首先提出两个问题：l 什么是Queue-assignment-policyl 为什么要改变Queue-assignment-policy在10.2节中，向读者介绍过了 Heritrix的架构。其中，讲解了Heritrix使用了Berkeley DB来构建链接队列。这些队列被置放于BdbMultipleWorkQ
2017-10-06 19:43:20
633
转载 HashMap 和 HashTable 源码学习和面试总结
Java集合概述HashMap介绍HashMap源码学习关于HashMap的几个经典问题HashTable介绍和源码学习HashMap 和 HashTable 比较先上图Set和List接口是Collection接口的子接口，分别代表无序集合和有序集合，Queue是Java提供的队列实现。Map用于保存具有key-value映射关系的数据Java 中有四种常见的Map实现—
2017-08-23 22:50:02
414
转载 HashTable和HashMap的区别详解
一、HashMap简介 HashMap是基于哈希表实现的，每一个元素是一个key-value对，其内部通过单链表解决冲突问题，容量不足（超过了阀值）时，同样会自动增长。 HashMap是非线程安全的，只是用于单线程环境下，多线程环境下可以采用concurrent并发包下的concurrentHashMap。 HashMap 实现了Serializa
2017-08-22 22:39:35
899
转载 【Java集合源码剖析】Hashtable源码剖析
转载请注明出处：http://blog.csdn.net/ns_code/article/details/36191279Hashtable简介 Hashtable同样是基于哈希表实现的，同样每个元素是一个key-value对，其内部也是通过单链表解决冲突问题，容量不足（超过了阀值）时，同样会自动增长。 Hashtable也是JDK1.0引入的类，是线程安全的，能用
2017-08-22 22:12:55
245
转载 Java集合源码剖析】HashMap源码剖析
HashMap简介 HashMap是基于哈希表实现的，每一个元素是一个key-value对，其内部通过单链表解决冲突问题，容量不足（超过了阀值）时，同样会自动增长。 HashMap是非线程安全的，只是用于单线程环境下，多线程环境下可以采用concurrent并发包下的concurrentHashMap。 HashMap 实现了Serializable接口，因此它支持序
2017-08-22 21:56:31
255
转载 Java 位运算(移位、位与、或、异或、非）
Java提供的位运算符有：左移( > ) 、无符号右移( >>> ) 、位与( & ) 、位或( | )、位非( ~ )、位异或( ^ )，除了位非( ~ )是一元操作符外，其它的都是二元操作符。1、左移( Test1、将5左移2位：[java] view plain copy package com.xcy; public class Test {
2017-08-22 21:43:46
220
转载 Dubbo框架入门介绍
背景 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。 此时，用于简化增删改查工作量的 数据访问框架(ORM) 是关键。垂直应用架构 当访问量逐
2017-08-21 11:35:33
266
转载 Log4j,Log4j2,logback,slf4j日志学习
日志学习笔记Log4jLog4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、数据库等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。Log4j有7种不同的log级别，按照等级从低到高依次为：TRACE、DEBUG、INFO、WARN、ERROR、FATAL、OF
2017-08-19 18:38:49
320
转载 mongo的upsert（spring的mongo template）
mongo的api在某些方面表现的异常优秀，这几天体会了一下mongo的upsert方法。我的目的是想在某个项号下记录每天的评论，并且能够查到某段日期间按时间倒叙排列的评论。我的设计是这样：1 类设计首先是记录每天的评论汇总[html] view plain copy @Document(collection="comments") public cl
2017-08-14 16:08:44
5325
1
转载 spring+springMVC中使用@Transcational方式管理事务的必须要配的东西。
spring中管理事务的配置方式除了@Transcational还有使用aop等，本文介绍@Transcational方式，但是推荐使用aop方式。因为如果有多个事务管理器的话，你在注解中还需要注明使用哪个事务管理器@Transactional("transactionManager1")。 一、spring中一定要记得加载所有需要的bean如果使用注解方式的话一定要记得扫描注解，下边
2017-08-12 15:52:27
523
转载 如何将Java Web项目转换为Java项目？
如上篇文章“Eclipse web项目引用其它项目时的部署问题”中提到的，有时候我们希望其它项目引用此项目时，发布后的是jar包，而不是war包，那么应该怎么转换呢？在项目名称上单击鼠标右键》Properties》Project Facets 有时候可能显示是锁定的，无法取消选中状态，需要右键》Unlock 然后取消下图对应两项的选中状态，点击应用（Apply）就OK了。
2017-08-12 13:07:33
538
转载 jenkins安装部署全过程
基本配置：1、Linux安装配置jdk环境1.1、上传到 Linux 服务器；例如：上传至： cd /usr/local1.2、解压：rpm -ivh jdk-8u111-linux-x64.rpm1.3、环境变量配置cd /etc在etc下，找到 profile文件，增加如下如下配置：#set java environmentJAVA_HOME=/usr/
2017-08-07 11:59:27
2716
1
转载 Ubuntu16.04手动安装MongoDB
注意事项：仔细按步骤阅读操作注意别写错字牢记上面两点一、用自带的火狐浏览器下载Ubuntu 16.04 Linux 64-bit x641、地址：http://www.mongodb.org/downloads2、选择Linux选项卡，再在下拉框中选中Ubuntu 16.04linux 64-bit x64 3、点击Download按钮（浏览器弹出的下载单选
2017-07-27 16:10:35
263
原创 Git常用命令总结
git init 在本地新建一个repo,进入一个项目目录,执行git init,会初始化一个repo,并在当前文件夹下创建一个.git文件夹. git clone 获取一个url对应的远程Git repo, 创建一个local copy. 一般的格式是git clone [url]. clone下来的repo会以url最后一个斜线后面的名称
2017-07-26 18:28:19
270
转载 GitLab使用总结
代码管理一直用svn，Git的分支管理认为是最好的，尝试用用。一.GitLab简介GitLab 是一个用于仓库管理系统的开源项目。使用Git作为代码管理工具，并在此基础上搭建起来的web服务。可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的功能，能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。团队成
2017-07-26 17:48:27
499
转载 E: 软件包 astah-professional 需要重新安装，但是我无法找到相应的安装文件。
apt install vim正在读取软件包列表... 完成正在分析软件包的依赖关系树 正在读取状态信息... 完成 E: 软件包 astah-professional 需要重新安装，但是我无法找到相应的安装文件。又宕在这里这样apt就不能用了呀！能不能不让它管这个软件的事了，然后照常工作，不能因为这个错误影响到全局阿！但是事实上我已经安
2017-07-22 15:30:21
1981
转载 mybatis注解详解
首 先当然得下载mybatis-3.0.5.jar和mybatis-spring-1.0.1.jar两个JAR包，并放在WEB-INF的lib目录下 (如果你使用maven，则jar会根据你的pom配置的依赖自动下载，并存放在你指定的maven本地库中，默认是~/.m2 /repository)，前一个是mybatis核心包，后一个是和spring整合的包。 使用mybatis，必须有个全
2017-07-20 17:27:29
284
转载 Linux下常用文件解压（包括RMP、DEB的解压方法）
1.以.a为扩展名的文件:#tar xv file.a 2.以.z为扩展名的文件: #uncompress file.Z 3.以.gz为扩展名的文件: #gunzip file.gz 4.以.bz2为扩展名的文件: #bunzip2 file.bz2 5.以.tar.Z为扩展名的文件: #tar xvZf file.tar.Z或 #co
2017-07-07 11:40:17
1730
转载 ubuntu16.04安装wps
首先要下载一个wps的ubuntu版的安装包（.deb文件）网址：http://community.wps.cn/download/这里推荐一个安装工具：gdebi (受阿笨猫指点，非本人发现，谢谢！)终端：sudo apt install gdebi下载完wps的.deb文件后鼠标右键选择打开方式：gdebi安装完成后打开会提示字体缺失，而且每次进入都会提示，字体缺失会会影
2017-07-07 11:05:31
1171
转载 java操作Excel
现在想要导出一组数据为Excel文件，那么可以这样：(首先需要jxl.jar包，我的是jxl-2.6.jar)/** * 导出报修单 * @param mapping * @param form * @param request * @param response * @return
2017-07-05 10:23:47
257
转载 Java NIO内存映射---上G大文件处理
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka 摘要：本文主要讲了Java中内存映射的原理及过程，与传统IO进行了对比，最后，用实例说明了结果。一、java中的内存映射IO和内存映射文件是什么？ 内存映射文件非常特别，它允许Java程序直接从内存中读取文件内容，通过将整个或部分文件映
2017-06-30 09:42:03
791
转载 Java Split以竖线作为分隔符
今天用到了Java中的Split函数，要以“||”作为分割符，当输入竖线时，发现出错，这个问题应该很久前就遇到过，不过太长时间就给忘了！网上一搜，就找到了答案，这是因为split里面有两个参数，其中一个是“limit”，表示匹配参数的个数，另一就是匹配参数，split不是简单的匹配，里面输入的是“正则表达式”，所以问题就在这个正则表达式上了。如果要实现以“|”作为分割符，那么应该输
2017-06-30 09:36:31
2161
转载 发新帖 HTTPS那些事（一）HTTPS原理
楔子谣言粉碎机前些日子发布的《用公共WiFi上网会危害银行账户安全吗？》，文中介绍了在使用HTTPS进行网络加密传输的一些情况，从回复来看，争议还是有的。随着网络越来越普及，应用越来越广泛，一些网络安全问题也会越来越引起网民的关注，在这里和大家一起聊聊TLS/SSL也就是我们常说的HTTPS，从原理到实际应用看清它到底是怎么一回事，以及在使用HTTPS要注意哪些问题以及
2017-06-28 09:10:24
262
转载 扩展和定制Heritrix之Extractor
转至：http://www.07net01.com/zhishi/474980.html10.3 扩展和定制Heritrix在前面两节中，向读者介绍了Heritrix的启动、创建任务、抓取网页、组件结构。但是，读者应该也可以明显的看出，如果不用Heritrix抓取和分析网页的行为进行一定的控制，它是无法达到要求的。对Heritrix的行为进行控制，是要建立在对其架构充分了解的基础之上的
2017-06-25 21:01:46
741
原创 扩展FrontierScheduler来抓取特定的内容
FrontierScheduler是一个PostProcessor，它的作用是将在Extractor中所分析得出的链接加入到Frontier中，以待继续处理。先来看一下FrontierScheduler的innerProcess()方法，代码如下。protected void innerProcess(final CrawlURI curi) { if (LOGGER.isLog
2017-06-25 20:23:39
258
转载 IE浏览器下ajax缓存导致数据不更新的解决方法
摘自：http://www.iefans.net/ie-ajax-json-shuju-huancun/最近做设计的时候遇到一个小问题，当你用jquery的getjson函数从后台获取数据的时候，IE浏览器会自动设置缓存，如果此时你对数据进行修改的时候刷新页面，IE并不会在页面显示你修改后的数据，因为你刷新的时候IE浏览器会查找缓存并显示你修改前的数据，最后在网上查了些资料终于解决了I
2017-06-23 16:10:16
295
转载 为Heritrix定制自己的QueueAssignmentPolicy
Heritrix使用了Berkeley DB来构建链接队列。这些队列被置放于BdbMultipleWorkQueues中时，总是先给予一个Key，然后将那些Key值相同的链接放在一起， 成为一个队列，也就是一个Queue。在Heritrix中，为每个队列赋上Key值的策略，也就是它的queue-assignment-policy。 Heritrix默认使用的queue-assignment
2017-06-19 23:08:36
258
转载 开源爬虫: Heritrix 1.14.4 安装/使用
http://blog.csdn.net/ljj657137723/article/details/45484793Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。本文详细介绍了 Heritrix 在 Eclipse 中的配置、运行。目前 Heritrix 的最新版本是 3
2017-06-19 23:04:43
1866
转载 在CentOS 7 64位系统上安装wps
1、安装依赖包yum install libpng122、安装字体目前WPS for Linux公式显示需要相应的Symbol字体（比如symbol, windings, mt extra等）， 由于版权原因，WPS for Linux未对此类字体打包安装，如果您需要，请在授权的情况下使用此类字体。字体下载地址下载解压到/usr/share/fonts更新系
2017-06-18 16:36:37
2720
原创 Centos 7下邮件客户端Evolution配置qq邮箱的方法
1.打开Evolution ----->【编辑】-------->【首选项】-----> 2..【添加】 3.输入用户名，邮箱地址，点击【前进】 4.服务器类项选择：POP配置：a) 服务器：pop.qq.comb) 端口：995（此端口配置如下）c) 安全：加密方法选择：专用端口上的SSLd) 身份验证：检查支持的类
2017-06-18 16:12:52
6248
1
转载 POI与JXL的实战性能对比
目前我所负责的系统中有POI和JXL两种方式的导出数据实现。 项目初期数据量不大一般使用JXL的方式，可以满足需求，后来在进行一些盘点，等月度出入库查询报表统计的时候出现了超过最大sheet行的错误，另外堆内存也被占满了。 所以后面就紧急将部分重要功能，要导的数据量大的几个模块改造成POI的方式了。但是仍然跑的很慢，没有了解POI的另外一种实现方式，后来对POI的工具类，以及P
2017-06-13 10:59:23
4036
原创 nio 断点续传
(一)断点续传的原理其实断点续传的原理很简单，就是在Http的请求上和一般的下载有所不同而已。打个比方，浏览器请求服务器上的一个文时，所发出的请求如下：假设服务器域名为wwww.sjtu.edu.cn，文件名为down.zip。GET /down.zip HTTP/1.1Accept: image/gif, image/x-xbitmap, image/jpeg, image/p
2017-05-25 14:33:59
1155
原创 tab的操作
1.显示隐藏tab页签隐藏：[javascript] view plain copytab_option = $('#tabs').tabs('getTab'," 单位信息 ").panel('options').tab; tab_option.hide(); 显示：[javascript] view pl
2017-05-24 11:45:02
321
原创 获取对象操作
1.通过 id 获取对象var $cr=$('#cr');//jQuery对象var cr=document.getElementById('cr');//DOM对象2.通过 name 获取对象Js代码 : $("div[id]") 选择所有含有id属性的div元素 $("input[name='newsletter']")
2017-05-24 11:36:10
295
转载 Hibernate Annotation 一对多单向关联
1、单向关联（1）Group[java] view plain copy print?package com.yy.hibernate.model; import java.util.HashSet; import java.util.Set; import javax.persistence.Ent
2017-05-15 20:31:30
207
转载 Java高效读取大文件
转载地址：http://www.open-open.com/lib/view/open1421722867796.html1、概述本教程将演示如何用Java高效地读取大文件。这篇文章是Baeldung（http://www.baeldung.com/） 上“Java——回归基础”系列教程的一部分。2、在内存中读取读取文件行的标准方式是在内存中读取
2017-05-11 11:52:46
295
转载 java一行一行写入或读取数据
假如E:/phsftp/evdokey目录下有个evdokey_201103221556.txt文件，现在对evdokey_201103221556.txt文件进行写入或读取操作，并解决写入或读取出现的乱码问题。 文件内容如：zhangsan,23,福建 lisi,30,上海 wangwu,43,北京 laolin,21,重庆
2017-05-10 17:02:50
831
转载 java 多线程简单的工具类
一、效果二、工具类代码[java] view plain copy import java.lang.reflect.InvocationTargetException; import java.lang.reflect.Method; import org.apache.commons.logging
2017-05-09 18:06:26
268
转载 Java Utils工具类大全
源码和jar见：https://github.com/evil0ps/utils#Java Utils---封装了一些常用Java操作方法,便于重复开发利用.另外希望身为Java牛牛的你们一起测试和完善，欢迎入群263641914 一起封装和完成常用的Java代码。节约撸码时间以方便有更多的时间去把妹子～#开发环境 Win7x64 JDK1.7 IDEA14
2017-05-09 16:38:22
43106
19
转载 Maven常用命令
Maven库：http://repo2.maven.org/maven2/阿里maven库http://maven.aliyun.com/nexus/content/groups/publicMaven依赖查询：http://mvnrepository.com/Maven常用命令： 1. 创建Maven的普通java项目： mvn archetype:cr
2017-05-07 12:23:40
201
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人