bigboy909-CSDN博客

webmagic爬虫

package com.wilian.astro.webmagic.follifollie; import com.wilian.astro.webmagic.vo.WatchVO; import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Site;import us.codecraft.webmagi...

2018-04-16 17:01:33 163 1

Java序列化

1.什么是序列化？把Java对象转换为字节序列的过程称为对象的序列化，把字节序列恢复为Java对象的过程称为对象的反序列化。对象的序列化主要有如下2种用途：把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中在网络上传送对象的字节序列2.序列化的实现方式类继承Serializable接口，可使用writeObject方法和readObject方法控制类序列化...

2017-03-19 15:39:28 136

JDK RMI框架及相关技术综述

1.RMI基本原理 RMI框架为远程对象分别生成了客户端代理和服务端代理。（HelloWorld的实例中可以看到客户端端的远程对象为代理类。）位于客户端的代理类称为存根STUB，服务端的代理类称为骨架SKELETON。存根与骨架通过SOCKET进行通信。服务端与客户端之间传送的方法参数或返回值，必须是远程对象（Remote接口也集成Serializable接口）、可序列化对象、基本类型。...

2017-03-18 21:15:47 206

原创 RMI版HelloWorld

1.创建远程接口 package com.wilian.rmi.server;import java.rmi.Remote;import java.rmi.RemoteException;public interface HelloWorld extends Remote{//必须继承Remote接口 //必须要抛出RemoteExcepttion...

2017-03-18 18:59:46 156

原创 org.xml.sax.SAXException: Invalid element

今天开发项目遇到一个问题，简单记录下，希望能帮到遇到同样问题的同学我使用Axis1.4开发webservice客户端，客户端代码如下： Service service = new Service();Call call;try {call = (Call)service.createCall();call.setTargetEndpointAddress(d2Url...

2013-12-19 21:35:02 4688 3

原创编译hadoop-eclipse插件

转载 http://www.ilablog.org/%E7%BC%96%E8%AF%91hadoop-eclipse%E6%8F%92%E4%BB%B6/编译hadoop-eclipse插件目录一、所需软件… 2 二、Ant和Cygwin安装… 2 三、编译hadoop-eclipse-plugin-1.0.3.jar插件… 5 前言...

2013-01-08 17:21:57 120

Zookeeper集群环境安装

1.集群机器配置主机名IPnamenode192.168.1.250datanode1192.168.1.237datanode2192.168.1.2512.上述机器上分别安装Hadoop的集群，不在累述。其中namenode为master，其他为slave3.下载zookeeper-3.3.5.tar.gz，下面...

2012-07-20 19:05:59 81

Hadoop FS Shell

[wilian@localhost hadoop-0.20.2]$ bin/hadoop fs -helphadoop fs is the command to execute fs commands. The full syntax is: hadoop fs [-fs <local | file system URI>] [-conf <configura...

2012-07-18 14:27:08 160

redis主从复制过程：当配置好slave后，slave与master建立连接，然后发送sync命令。无论是第一次连接还是重新连接，master都会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存。后台进程完成写文件后，master就发送文件给slave，slave将文件保存到硬盘上，再加载到内存中，接着master就会把缓存的命令转发给slave，后续...

2012-06-27 16:12:15 75

原创 Redis 常用命令之服务器相关命令

redis-cli -h 192.168.12.12 远程登录redis客户端redis 127.0.0.1:6379> ping 测试连接是否存活 PONGredis 127.0.0.1:6379> echo wilian 在命令行打印一些内容"wilian"redis 127.0.0.1:6379> select 1 选择数据库。R...

2012-06-27 15:10:34 111

原创 Redis 常用命令之键值相关命令

redis 127.0.0.1:6379> keys * 列出所有的key 1) "myset1" 2) "mylist5" 3) "key2" 4) "mail" 5) "muset2" 6) "myset2" 7) "mylist6" 8) "mylist2" 9) "mysse

2012-06-27 14:53:47 236

原创 Redis sorted set操作

sorted set是set的一个升级版本，它在set的基础上增加了一个顺序属性，这一属性在添加修改元素的时候可以指定，每次指定后，zset会自动重新按新的值调整顺序。可以理解为有两列的mysql表，一列存value，一列存顺序。操作中key理解为zset的名字。和set一样sorted set也是string类型元素的集合，不同的是每个元素都会关联一个double...

2012-06-27 09:21:22 121

Redis sets操作

set 是集合，和我们数学中的集合概念相似，对集合的操作有添加删除元素，有对多个集合求交并差等操作，操作中key理解为集合的名字。 Redis的set是string类型的无序集合。set元素最大可以包含(2的32次方)个元素。 set的是通过hash table实现的，所以添加、删除和查找的复杂度都是O(1)。hash table会随着添加或者删除自动的调整大小。...

2012-06-26 17:16:19 91

Redis lists操作

list 是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等，操作中key理解为链表的名字。 Redis的list 类型其实就是一个每个子元素都是string类型的双向链表。链表的最大长度是(2的32次方)。我们可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈，也可以用作队列。有意思的是list 的p...

2012-06-26 16:33:51 66

Redis hashes操作

Redis hash是一个string类型的field 和value的映射表.它的添加、删除操作都是O(1)（平均）。hash特别适合用于存储对象。相较于将对象的每个字段存成单个string类型。将一个对象存储在hash类型中会占用更少的内存，并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap（又称为small hash）来存储的。这个zipm...

2012-06-26 15:23:14 97

Redis 字符串操作

redis 127.0.0.1:6379> set name wwl 设置key对应的值为String类型的valueOKredis 127.0.0.1:6379> get name"wwl"redis 127.0.0.1:6379> get name"wwl"redis 127.0.0.1:6379> del name(integer) ...

2012-06-26 15:01:11 87

Redis编译与安装

1.下载 redis-2.4.15.tar.gz http://www.redis.io/download 2.编译$ tar xzf redis-2.4.15.tar.gz$ cd redis-2.4.15$ makeroot@ubuntu:~/Downloads/redis-2.4.15# cd /usr/local/bin/ #编译好的文件将被复制到/usr/l...

2012-06-26 11:10:24 90

原创 Redis 配置文件

# Redis示例配置文件# 注意单位问题：当需要设置内存大小的时候，可以使用类似1k、5GB、4M这样的常见格式：## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 bytes# 1g => 1000000000 bytes# 1gb => 102...

2012-06-25 17:38:57 65

原创 android背景选择器selector

一．创建xml文件，位置：drawable/xxx.xml,同目录下记得要放相关图片 <?xml version="1.0" encoding="utf-8" ?> <selector xmlns:android="http://schemas.android.com/apk/res/android">  ..

2012-06-15 14:59:00 80

原创 MongoDB 索引

1.使用ensureIndex添加索引ensureIndex函数帮助文档db.blog.ensureIndex(keypattern[,options]) - options is an object with these possible fields: name, unique, dropDupsname：指定索引名称unique:是否唯一索引dropDups：是否删除...

2012-06-06 22:34:56 63

MongoDB 分片

1.建立分片建立分片有两步：启动实际的服务器，然后决定怎么切分数据。分片一般会有3个组成部分：片：就是保存子集合数据的容器。片可是单个的mongod服务器，也可以是副本集。所以即便一片内有多台服务器，也只能有一个主服务器，其他的服务器保存相同的数据。mongos：就是MongoDB各版本中都配的路由器进程。它路由所有请求，然后将结果聚合。它本身并不存储数据或者配置信息（但会缓存配置...

2012-06-06 22:23:25 83

MongoDB 复制

1.主从复制运行mongod --master启动主服务器运行mongod --slave --source master_address 启动从服务器其中master_address就是上面主节点的地址所有从节点都从主节点复制内容，从节点是不能插入数据的。建议一个集群中不超过12个从节点。主从复制的选项：--only 在从节点上指定只复制特定某个数据库(默认复制所有数据库)...

2012-06-03 23:44:28 133

原创 MongoDB 管理

1.MongoDB的启动和停止启动部分:\mysoft\mongo\bin>mongod.exe --help ** NOTE: when using MongoDB 32 bit, you are limited to about 2 gigabytes of data ** see http://blog.mongodb.org/post/137...

2012-06-02 01:12:51 88

MongoDB 高阶

1.db.eval()执行Javascript脚本2.DBREF文档引用> db.user.insert({"_id":"mike","display_name":"Mike D"})> db.user.insert({"_id":"kristina","display_name":"Kristina C&quot

2012-06-01 17:02:14 88

MongoDB GridFS

1.利用Mongofile命令进行文件的操作usage: mongofiles.exe [options] command [gridfs filename]command: one of (list|search|put|get) list - list all files. 'gridfs filename' is an optional prefix //查看所有...

2012-06-01 15:54:45 103

MongoDB 固定集合

1.何谓固定集合：事先创建而且大小固定的集合。2.固定集合特性：固定集合很像环形队列，如何空间不足，最早的文档就会被删除，为新的文档腾出空间。还有默认情况下固定集合没有索引，即便是“_id”上也没有索引。一般来说，固定集合适用于任何想要自动淘汰过期属性的场景，没有太多的操作限制。3.创建固定集合db.createCollection("my_collections",{capped:t...

2012-06-01 15:02:44 71

MongoDB 命令（二）

删除一个集合我们有下面2中方式1.db.test.drop()2.db.runCommamd({"drop":"test"})那runCommamd究竟有多少命令可以执行呢？使用db.listCommands()可以查看到所有可执行的命令。如：distinct: read-lock { distinct : 'collection name' , key : 'a.b...

2012-06-01 14:08:00 109

MongoDB 聚合

1.count()函数返回集合中文档的数量2.distinct找出给定键的所有不同的值。> db.users.insert({"name":"Ada","age":20})> db.users.insert({"name":"Fred","age":35})> db.users.insert({"name":"Susan&qu

2012-05-31 23:52:06 72

MongoDB 查询

1.find查询先看看find的函数说明： db.blog.find([query],[fields]) - query is an optional query filter. fields is optional set of fields to return.e.g. db.blog.find( {x:77}, {name:1, x:1} )find的2个参数，...

2012-05-30 22:58:56 116

原创 MongoDB 更新修改器

更新修改器是种特殊的键，用来指定复杂的更新操作，比如调整、增加或者删除键，还可能是从操作数组或者内嵌文档.1.$inc修改器用来增加值。> db.analytics.find();{ "_id" : ObjectId("4fc39b6b57bb647e0855d6ed"), "url" : "www.baidu.com", "pageviews" : 1 }> db.anal

2012-05-30 00:53:20 102

直接插入排序

直接插入排序，类似我们在起牌的时候手里的牌按大小顺序进行插入，假定之前的N-1个数据都是排序好的，此时之需要将第N个数据插入到合适的位置即可。/** * 插入排序 * @author wilian * @version */public class InsertSort { public static void main(String args[]) { i...

2012-05-29 18:20:22 111

Mongodb 数据类型

1.nullnull用于表示空值或者不存在的字段2.布尔布尔类型有两个值true和false3.32位整数、64位整数、64位浮点数4.字符串5.符号6.对象ID7.日期8.正则表达式9.代码10.二进制数据11.最大值、最小值12.未定义undefined13.数组14.内嵌文档...

2012-05-28 23:25:40 89

MongoDB Shell 学习（二）

本节主要讲述怎么去学习好shell1.利用shell自带的帮助命令> help db.help() help on db methods db.mycoll.help() help on collection methods rs.help() ...

2012-05-28 23:02:35 73

Mongodb Shell学习（一）

本节内容讲述的是MongoDB Shell下一些基本命令的使用.安装完Mongodb后，在开启命令行切到/bin下,输入mongo即可进入到命令行模式：C:\Users\Administrator>mongoMongoDB shell version: 1.8.5connecting to: test 默认链接的数据库为test数据库1.显示所有的数据库 show...

2012-05-28 22:51:11 66

原创写给浮躁的java程序员的

一、JAVA中final 与 static 总结　　finalstatic修饰类该类不可被继承只能修饰内部类，该类不需要new，是静态加载(嵌套顶层类)修饰接口××修饰构造函数××修饰语句块×虚拟机按声明顺序初始化static成员字段和static语句块修饰字段属性表示属性初始化后不能修改（实例...

2012-03-12 20:12:22 94

原创 Java开源工具：网站开发工具清单

　美国程序员Jon Scott Stevens，公布了他的创业公司所使用的开发工具清单。　　他的语言平台是Java，开发项目是一个网站(还未上线)。所用到的工具都是开源的，可以免费得到。　　在目前的创业者之中，用Java作为网站开发语言的人似乎很少。这当然不是没有原因的，Java看上去确实不像是最便捷的网站开发工具，给人的感觉是用起来麻烦又费事。　　但是不可否认的是，Java的平台很成...

2012-03-12 20:02:48 85

原创 Hibernate中Criteria的完整用法

最近在项目中使用 Spring 和 Hibernate 进行开发，有感于 Criteria 比较好用，在查询方法设计上可以灵活的根据 Criteria 的特点来方便地进行查询条件的组装。现在对 Hibernate的Criteria 的用法进行总结： Hibernate 设计了 CriteriaSpecification 作为 Criteria 的父接口，下面提供了 Criter...

2011-06-19 11:03:44 68

原创 Android之文件&XML

1.题记 Android系统中文件的存储方式，以及XML的读取和写入方式基本与Java系统中类似，但由于Android终端系统的存储容量有限，故很多文件的操作都在SD卡上进行。2.内存文件的存取文件对数据进行存储，Activity提供了openFileOutput()方法可以用于把数据输出到文件中，具体的实现过程与在J2SE环境中保存数据到文件中是一样的。 publ...

2011-03-21 10:20:58 116

原创 Android之Service&BroadCastReceiver

1.题记 Android中的服务和windows中的服务是类似的东西，服务一般没有用户操作界面，它运行于系统中不容易被用户发觉，可以使用它开发如监控之类的程序。广播接收者（BroadcastReceiver）用于接收广播Intent，广播Intent的发送是通过调用Context.sendBroadcast()、Context.sendOrderedBroadca...

2011-03-18 14:10:48 295

原创 Android之Intent

1.题记 Intent提供了一种通用的消息系统，它允许在你的应用程序与其他的应用程序间传递Intent来执行动作和产生事件。通过使用Intent可以激活Android应用的三个核心组件：活动、服务、广播接收器。2.Intent的划分与匹配 Intent可以划分成显示意图和隐式意图。显示意图：调用Intent.setComponent()或Int...

2011-03-17 15:31:59 104