W84456393-CSDN博客

原创 Scrapy框架及工作流程

注：为本人学习笔记，有砖忘轻拍。内容来自慕课网-大壮老师1.Scrapy框架Scrapy Engine:负责四大组件之间的通信、信号及数据传递；Scheduler：接收Engine发送过来的Requests请求url入队；Downloader:发送请求并下载数据（负责发送Engine发送的Requests请求，并将获得的Response返还给Engine，再由Engine交还给...

2018-10-16 18:09:15 1221

转载 JVM调优总结（十一）-反思

转自：http://pengjiaheng.iteye.com/blog/558619垃圾回收的悖论所谓“成也萧何败萧何”。Java的垃圾回收确实带来了很多好处，为开发带来了便利。但是在一些高性能、高并发的情况下，垃圾回收确成为了制约Java应用的瓶颈。目前JDK的垃圾回收算法，始终无法解决垃圾回收时的暂停问题，因为这个暂停严重影响了程序的相应时间，造成拥塞或堆积。

2016-12-14 17:53:50 336

转载 JVM调优总结（十）-调优方法

转自：http://pengjiaheng.iteye.com/blog/552456JVM调优工具Jconsole，jProfile，VisualVMJconsole : jdk自带，功能简单，但是可以在系统有一定负荷的情况下使用。对垃圾回收算法有很详细的跟踪。详细说明参考这里 JProfiler：商业软件，需要付费。功能强大。详细说明参考

2016-12-14 17:52:43 288

转载 JVM调优总结（九）-新一代的垃圾回收算法

转自：http://pengjiaheng.iteye.com/blog/548472垃圾回收的瓶颈传统分代垃圾回收方式，已经在一定程度上把垃圾回收给应用带来的负担降到了最小，把应用的吞吐量推到了一个极限。但是他无法解决的一个问题，就是Full GC所带来的应用暂停。在一些对实时性要求很高的应用场景下，GC暂停所带来的请求堆积和请求失败是无法接受的。这类应用可能要求

2016-12-14 17:51:35 330

转载 JVM调优总结（八）-典型配置举例2

转自：http://pengjiaheng.iteye.com/blog/545015常见配置汇总堆设置 -Xms:初始堆大小 -Xmx:最大堆大小 -XX:NewSize=n:设置年轻代大小 -XX:NewRatio=n:设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4

2016-12-14 17:50:35 345

转载 JVM调优总结（七）-典型配置举例1

转自：http://pengjiaheng.iteye.com/blog/538582年轻代的设置很关键JVM中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。在Windows Server 2003 系统，3.5G物理内存，JD

2016-12-14 17:49:41 236

转载 JVM调优总结（六）-分代垃圾回收详述2

转自：http://pengjiaheng.iteye.com/blog/528034分代垃圾回收流程示意选择合适的垃圾收集算法串行收集器用单线程处理所有垃圾回收工作，因为无需多线程交互，所以效率比较高。但是，也无法使用多处理器的优势，所以此收集器适合单处理器机器。当然，此收集器也可以用在

2016-12-14 17:46:07 268

转载 JVM调优总结（五）-分代垃圾回收详述1

转自：为什么要分代分代的垃圾回收策略，是基于这样一个事实：不同的对象的生命周期是不一样的。因此，不同生命周期的对象可以采取不同的收集方式，以便提高回收效率。在Java程序运行的过程中，会产生大量的对象，其中有些对象是与业务信息相关，比如Http请求中的Session对象、线程、Socket连接，这类对象跟业务直接挂钩，因此生命周期比较长。但是还有一

2016-12-14 17:33:45 306

转载 JVM调优总结（四）-垃圾回收面临的问题

转自：http://pengjiaheng.iteye.com/blog/523230如何区分垃圾上面说到的“引用计数”法，通过统计控制生成对象和删除对象时的引用数来判断。垃圾回收程序收集计数为0的对象即可。但是这种方法无法解决循环引用。所以，后来实现的垃圾判断算法中，都是从程序运行的根节点出发，遍历整个对象引用，查找存活的对象。那么在这种方式的实现中，垃圾回

2016-12-14 17:19:44 250

转载 JVM调优总结（三）-基本垃圾回收算法

转自：http://pengjiaheng.iteye.com/blog/520228可以从不同的的角度去划分垃圾回收算法：按照基本回收策略分引用计数（Reference Counting）:比较古老的回收算法。原理是此对象有一个引用，即增加一个计数，删除一个引用则减少一个计数。垃圾回收时，只用收集计数为0的对象。此算法最致命的是无法处理循环引用的问题。

2016-12-14 17:15:15 335

转载 JVM调优总结（二）-一些概念

转自：http://pengjiaheng.iteye.com/blog/519471Java对象的大小基本数据的类型的大小是固定的，这里就不多说了。对于非基本类型的Java对象，其大小就值得商榷。在Java中，一个空Object对象的大小是8byte，这个大小只是保存堆中一个没有任何属性的对象的大小。看下面语句：Object ob =

2016-12-14 16:35:20 209

转载 JVM调优总结（一）-- 一些概念

转自：http://pengjiaheng.iteye.com/blog/518623数据类型 Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。基本类型包括：byte,shor

2016-12-14 16:31:44 307

原创关于JAVA注解

概念：注解（Annotation），也叫元数据。一种代码级别的说明。它是JDK1.5及以后版本引入的一个特性，与类、接口、枚举是在同一个层次。它可以声明在包、类、字段、方法、局部变量、方法参数等的前面，用来对这些元素进行说明，注释。

2016-08-08 00:18:37 330

原创 JAVA DOM4J解析XML

1、关于DOM4J ->JDOM的一种智能分支，它合并了许多超出基本XML文档表示的功能 ->DOM4J使用接口和抽象类基本类方法，是一个优秀的Java XML API ->具有性能优异、灵活性好、功能强大和极端易用的特点 ->是一个开源代码的软件2、DOM4J解析步骤及源码“` public class DOM4JTest {public static void main(String[

2016-08-07 23:44:23 340 4

原创 JAVA JDOM解析XML

1、JDOM是基于DOM和SAX方式的扩展方法，基于树形结构，采用纯JAVA 的技术对XML文档实现解析、生成、序列化及多种操作。 2、具体解析方法及源码说明public class JDOMTest { private static ArrayList<Book> booksList = new ArrayList<Book>(); public static void main(

2016-08-07 23:38:18 276 6

原创 JAVA SAX解析XML

1、SAX按照xml文件的顺序来逐步解析。DOM处理方式需要将整个xml读入，然后在内存中创建DOM树，生成DOM树上的每个Node对象；SAX方式不同于DOM的文档驱动，它是事件驱动，它不需要读入整个文档，文档的读入过程即是SAX的解析过程。事件驱动是一种基于回调机制的程序运行方法。 2、优缺点： SAX优点： ->采用事件驱动模式，对内存消耗比较小 ->适用于只需要处理xml中数据时

2016-08-07 23:26:39 357 3

原创 JAVA DOM解析XML

1、DOM解析xml文件是将xml一次性载入内存，组装程一颗DOM树，通过节点，一级节点之间的关系来解析xml文件。 2、优缺点 DOM优点： ->形成了树结构，直观好理解，代码更易编写 ->解析过程中树结构保存在内存中，方便修改 DOM缺点： ->当xml文件较大时，对内存消耗比较大，容易影响解析性能并造成内存溢出 3、DOM解析步骤及代码 //创建一个DocumentBuilde

2016-08-07 23:15:25 416 3

原创设计模式之单例模式

1、定义：保证一个类有且仅有一个实例，并且自行实例化向整个系统提供。 2、简介：单例模式是设计模式中最简单的模式之一。根据实现的方式不同分为懒汉模式和饿汉模式。 3、二者区别：懒汉模式：在系统初次调用时才进行实例化，系统启动相对较快，但初次调用相对较慢；饿汉模式：系统启动时就会对其完成实例化，系统启动相对较慢，但初次调用相对较快 4、代码实现如下： 4.1 懒汉模式： publi

2016-07-13 23:13:55 310

原创设计模式之工厂模式

实例化对象，用工厂方法代替new操作。包括工厂方法模式和抽象工厂模式，实际上抽象工厂模式是工厂方式模式的扩展。工厂模式通过定义一个接口来创建对象，由子类决定具体的实例化类；将实例化工作推迟到子类中去实现。

2016-07-07 02:16:05 333

原创设计模式之观察者模式

观察者模式（有时又被称为发布（publish ）-订阅（Subscribe）模式、模型-视图（View）模式、源-收听者(Listener)模式或从属者模式）是软件设计模式的一种。

2016-06-21 13:03:28 296

转载【MongoDB for Java】Java操作MongoDB

开发环境：System：WindowsIDE：eclipse、MyEclipse 8Database：mongoDB开发依赖库：JavaEE5、mongo-2.5.3.jar、junit-4.8.2.jarEmail：[email protected]：http://blog.csdn.net/IBM_hoojohttp://hoo

2015-01-13 21:24:35 483

转载 mongoDB 入门指南、示例

http://www.cnblogs.com/hoojo/archive/2011/06/01/2066426.html一、准备工作1、下载mongoDB下载地址：http://www.mongodb.org/downloads选择合适你的版本相关文档：http://www.mongodb.org/display/DOCS/Tutorial

2015-01-13 15:44:28 474

转载 mongoDB 介绍（特点、优点、原理）

http://www.cnblogs.com/hoojo/archive/2011/06/01/2066119.html介绍：MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。特点：高性能、易部署、易使用，存储数据非常方便。主要功能特性有：Ø 面向集合存储，易存储对象类型的数据Ø 模式自

2015-01-13 15:41:50 423

转载 Sublime Text 3 支持的热门插件推荐

http://www.imjeff.cn/blog/146/SublimeText是一款非常精巧的文本编辑器，适合编写代码、做笔记、写文章。它用户界面十分整洁，功能非同凡响，性能快得出奇。这些非常棒的特性包括任意跳转（Goto Anything）、多重选择（multiple selections）、指令面板（command palette）、免打扰模式（distraction free

2015-01-05 16:05:21 905

转载 Sublime Text 3 常用插件以及安装方法(转)

http://www.cnsecer.com/460.html直接安装安装Sublime text 3插件很方便，可以直接下载安装包解压缩到Packages目录（菜单->preferences->packages）。使用Package Control组件安装也可以安装package control组件，然后直接在线安装：按Ctrl+`调出consol

2015-01-05 15:47:31 533