Watering_sea-CSDN博客

原创 python正则表达式和自制爬虫

python的正则表达式非常的重要。学的也很有意思、常用的正则表达式有. ,* ,?,.,.?,.?,()等等 .表示匹配任意字符，但是除了换行符 *匹配前一个字符0次或者无限次？匹配前一个字符0次或者1次 .*？非贪心算法将()中的匹配结果作为结果返回在python中的正则表达式方法 findall：匹配所有符合规律的内容，返回包含结果的列表 search：匹配并提取第一个符

2015-10-04 17:03:20 614

原创 python搭建web应用框架以及一些基本语法

python的web框架很多，这次先搭建一个比较轻量级的web.py 步骤1：安装web.py a：去网上https://github.com/webpy/webpy下载web.py的安装包，选择好对应的版本 b:下载完了解压，进入终端cmd，跳转目录到解压好的目录上，执行命令python setup.py install 步骤2：写测试程序这个就比较的有规律了，如图接着我们只需

2015-10-03 14:41:36 733

原创 python概述以及安装环境和第一个程序以及一些语言基本语法

从java转向python的学习，希望每天都能有新的收获，勉励自己。 why we need Python？ 1：python是一门非常快的语言，当然不是指它的运行速度，相对于c，c++，Python还慢点。而是书写和阅读速度非常的快。造成的原因？ a：它的设计哲学，优雅，明确，简单。 b：第三方库的引入，避

2015-10-02 11:55:11 624

原创 Spring面试题

1使用Spring框架的好处是什么？控制反转： Spring通过控制反转实现了松散耦合，对象们给出它们的依赖，而不是创建或查找依赖的对象们。面向切面的编程(AOP)： Spring支持面向切面的编程，并且把应用业务逻辑和系统服务分开。容器： Spring 包含并管理应用中对象的生命周期和配置。事务管理： Spring 提供一个持续的事务管理接口，可以扩展到上至本地事务下至全局

2015-08-28 12:59:38 732

原创 Java连接,操作MongoDB

java连接MongoDB非常的简单,具体来说就2步： 1：向新建的工程中导入java-mongo的驱动包如图: 2:建立一个链接帮助类,完成链接操作package com.yc.mongodb;import java.util.Iterator;import java.util.Set;import com.mongodb.BasicDBObject;import com.mon

2015-08-27 17:35:44 1026

原创 MongoDb之强大功能

mongoDb中有很多很强大的功能,例如可以随意的修改其类型,这也是关系型数据库比较难做到的。常用的命令： mongod -dbpath “D:\mongodb\db” –注册服务mongod -dbpath "D:\mongodb\db" -logpath "D:\mongodb\log\mongodb.log" -install -serviceName "MongoDB"

2015-08-27 13:12:30 529

原创 Windows下安装MongoDb

在windows下安装MongoDb是比较舒服的,具体的步骤如下： 1;MongoDb的官网,https://www.mongodb.org，按照对应的操作系统下载好对应的版本. 2.解压缩到自己想要安装的目录，比如d:\mongodb 3：接着创建一个data/db，也就是数据存放的目录，穿创建一个日志目录data/log d:\mongodb\data\db d:\mongodb\da

2015-08-27 10:38:01 733

原创 Hadoop之Reduce侧的联结

理解其就像关系型数据库中的链接查询一样,数据很多的时候,几个数据文件的数据能够彼此有联系,可以使用Reduce联结。举个很简单的例子来说,一个只存放了顾客信息Customer.txt文件,和一个顾客相关联的Order.txt文件,要进行两个文件的信息组合,原理图如下: 这里涉及的几个专业术语:Group key ，datasourde,Tag.前者的话通俗点来说的话就相当于关系型数据库中的

2015-08-27 00:17:31 1372

原创 Hadoop应用之顺序链接

虽然有些时候是可以手动的逐个操作作业的执行,但是更为便捷的方式还是自动的生成一个自动化的执行序列。我们可以将MapReduce作业按照顺序链接在一起,用一个MapReduce的作业的输出作为下一个作业的输入,类似于Unix的管道。测试的代码:a:主类Driverimport org.apache.hadoop.conf.Configuration;import org.apache.hado

2015-08-26 23:35:37 728

原创代理模式之cglib动态代理

上一篇博客说了实现InvocationHandler接口的jdk动态代理,另一种实现动态代理的方式则是：通过继承的方式实现的cglib动态代理。先在程序中导入cglib的包，cglib-nodep-2.1_3.jar。还是和上一个例子一样，区别就在于代理的实现。区别： JDK的动态代理机制只能代理实现了接口的类，而不能实现接口的类就不能实现JDK的动态代理，cglib是针对类来实现代理的，

2015-08-22 11:06:10 713

原创代理模式之JDK动态代理

学习spring过程中学习了它的核心思想AOP,也就是面向切面编程,而AOP的就是通过动态代理实现,动态代理有基于JDK模式的实现以及cglib继承的实现。 1：什么是代理？作用？代理为其他对象提供一种代理以控制对这个对象的访问。说白了就是，在一些情况下客户不想或者不能直接引用一个对象，而代理对象可以在客户和目标对象之间起到中介作用，去掉客户不能看到的内容和服务或者增添客户需要的额

2015-08-22 09:35:42 910 1

原创从Struts2源码学习Struts2的工作原理

今天我和我好基友啊斌通过探讨struts2的源码,总结了一下它的原理,代码是不会骗人的。总的来说:struts的工作原理有7步： 1 客户端初始化一个指向Servlet容器的请求；2 这个请求经过一系列的过滤器在项目部署的时候,由tomcat容器读取项目的web.xml文件,测试的web.xml文件如下： <?xml version="1.0" encodin

2015-08-15 16:04:24 1444 3

原创 hadoop之家族

hadoop如此成功,它下面的子项目也是很多,像pig,hive,hbase，等等,研究一个大项目,对其下面的子项目也是要有一定的了解才好、 1：pig 其实pig是Hadoop的客户端,当然其实hadoop的插件是可以安装在eclipse上的,但是对于不熟悉java的开发人员来说,看java代码会比较痛苦的。所以hadoop提供了一种其实是类似SQL的面向数据的语言PigLatin,

2015-08-12 00:44:15 712

原创 Hadoop之Map-Reduce

连续发3篇hadoop的文章，还真的有点累,但是在发表过程中又对其原理又有了比较清晰的了解了.感觉还是不错的。 Hadoop的第二大框架Map-Reduce,即分布式处理框架.总的来说它是对HDFS的具体实现。1：Map-Reduce原理:*把大文件分成很多个块，每一个块分别放在不同的节点上的做一个map函数，可以被jobtracker分配到各个节点上运行对分在机子上的数据进行mapm

2015-08-09 16:13:40 769

原创 hadoop之HDFS(分布式文件系统)

hadoop最自豪的两大支柱hdfs和map-reduce,让我们来了解hdfs。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。**HDFS（分布

2015-08-09 15:44:05 1099

已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧。在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃.详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题:首先说下正确的搭建方式,然后在说下我们团队在搭建环境中出现的各种问题以及解

2015-08-09 13:16:09 840

原创 hadoop开发之环境搭建

已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧。在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题:

2015-08-09 11:40:58 769

原创强大的管理构建工具之maven

随着不断学习，项目经验的积累，对代码的管理的需求越来越大，从一开始用的svn，git到现在学习的maven，都印证着软件开发是一个团队的事情。今天写下关于强大的项目构建和管理的工具maven。maven，项目管理和构建的工具，它包含了：一个项目对象模型 (Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管

2015-07-25 08:34:47 500

原创 Structs2中的参数传递方式以及对Web对象（request,session,application）的操作

在servlet中，我们以request.getParater("")方式去传递获取参数，那么在Structs2中是传递的参数的方式大体上有3中：1：简单类型参数的传递eg：int,String等等，传递方式非常的简单 eg: 表单参数，对应的类中接收参数也非常的简单：在 Action里面: 提供参数对应的属性, 并提供setXXX()，通过查看文档，得之在底层是采用了发射（refle

2015-07-15 13:29:19 664

原创 Struts2中的Action的创建以及Action中的方法调用

Structs2中Action接口非常的重要，在struts.xml配置中根据对应的action的名字匹配对应的类处理，如果class没写，则默认使用ActionSopport类执行execute方法，返回success字符串，做出相应的处理。Action的创建有大体上有3种方式，1：创建一个普通类，里面可以没execute方法，但是必须实现方法返回字符串，否则接收端无法接收对应的参数做出

2015-07-15 13:22:58 2486 1

原创框架学习之Structs2文件配置以及工作原理

今天学了struts2,感觉到其强大之处，其实之前学了j2ee中的servlet之后，再学struts2就轻松点了，servlet中有个很不好的一点就是不够规范，而且代码的灵活性不是很好，例如在servlet中处理跳转页面的时候，就已经把要跳转的页面写死了，我们都知道，java项目被编译完class文件之后，是不能对class文件进行修改的，那就要改其源码了这在一个很大的项目中是不能忍受的。其的字

2015-07-14 23:45:58 850

原创 MongoDb文件被锁解决以及基本篇

前天才装完了MongoDb，今天打开发现启动不了服务器了，经过看了异常信息，发现了是我自己手残导致了非法退出数据库，然后在数据文件存放目录(默认是/data/db)中生成了一个叫mongo.lock的文件，这个类似于在Unbantu中非法退出自后自动生成的锁文件，解决方法也很简单的，使用命令进入到/data/db里，执行rm mongo.lock，然后重启服务器，搞定。恭喜你，服务器复活了。

2015-07-14 00:14:44 7018 1

原创 Linux环境下的Mangodb环境搭建

今天看了下书，然后搭建了Linux下的Mangodb环境，总的来说还是比较简单的，20分钟左右就搞完了，心情还是有点好的。由于接下来的很长的一段时间都要研究大数据，我个人也非常的喜欢，对于新技术我想没人能拒绝其吸引力吧。好，万事开头难，先来搭建个mangodb开发环境吧。恩，很简单，1：先去Mangodb官网上下载个安装包，网址是： https://www.mongodb.org

2015-07-10 23:54:38 783 2

原创 android存储之网络存储和数据库存储

昨天说老师说了android的网络存储，对协议有了一个更深的理解。数据上传到网络，尽管 b/s 和c/s的架构不一样，但是它们还是能上传数据到网络，因为都遵循协议的规范，c/s存储数据到网络，思想模仿浏览器发送数据服务器的请求头信息，在底层通过android提供的socket去链接网络，发送相应的数据，如果协议没拼接错误的话，能获得正确的相应码，并作出相应的操作。总的来说，其实androi

2015-07-09 10:37:55 1859

原创 android几种存储方式理解心得,

经过这几天的学习，对android的存储方式又有了一定的理解。android里面的存储方式大体有4种，SharedPreferences文件存储，内存存储，SD卡存储，网络存储，数据库存储。SharedPreferences注册表的注册方式，在底层是一个xml文件，多用在存储配置参数。使用也是非常的简单，先实例化SharedPreferences ，然后通过实例获得其编辑器，通过编辑器操作

2015-07-09 09:37:23 601

原创 Android中Thread的使用之Handler机制

Android中子线程和java中的swt插件一样，也是不能直接操作主线程的数据的，相对于java中的异步调用，Android线程中采用了一种Handler消息机制，来实现此功能。通俗的来说的话其原理也不难，首先主线程在运行，子线程也在运行，那么在主线程和子线程中间有一个叫MessageQueue的队列，子线程把要在主线程中显示的数据存在Message中，然后再通过haddler将消息发送到消

2015-07-04 21:13:29 581 1

原创线程Thread的生命周期以及状态

由于早上没有网，所以几篇写好的博客就一起发啦。上2篇博客中记录了，线程和进程的异同，操作线程的常用方法的区别，其实，一个线程的生命周期在整个进程中是非常的重要的，它不仅仅关系到一个进程的效率，更能帮助我们灵活的使用线程。线程的生命周期以及状态的图大体上如下：其实：从这个图中已经大体上能够的获取到线程的生命周期以及状态了，但是还是详细

2015-06-27 22:44:16 2171

原创线程之sleep()，wait(),yield(),join()等等的方法的区别

在上一篇博客中，已经记录了线程与进程区别，以及线程的好处和不足等等，这篇博客中详细的记录下线程中的比较重要的方法，以防止以后忘记。操作线程的常用方法大体上有sleep(),join(),yield()（让位）,wait(),notify(),notifyAll()，关键字synchronized等等。由于这些方法功能有些相似，所以有时候会混乱，我们就需要了解它们的具体的原理

2015-06-27 22:28:51 3037

原创线程Thread,进程process的理解

经过这几天的学习，对线程方面的知识有了一个更深入的了解，最近的事情好多啊，都没怎么更新博客了，挤到一块写吧首先什么是进程呢？其实简单的来说，一个程序运行的时候，它就是一个进程。专业一点的话它包括运行在进程中的程序和程序使用到的内存和系统资源。一个进程使用多个线程组成的。线程的定义其实很简单，它是程序中的一个执行流，其中代码是共享的，即不同的线程是可以执行同样

2015-06-27 22:15:53 694

原创 OSI模型以及理解

在大二的时候个人是非常的喜欢网络这方面的技术，因为能更深入的去了解底层方面的知识.现在培训也学到了网络编程这方面的知识，然后还是记录下自己对OSI7层模型的理解吧。我们都知道，网络通讯要遵循一定的协议，也就是规范，这才使得不同的操作系统上的计算机能够交流，以及确保生产商生产出来的产品能够实现网络通讯这个功能。OSI就是这样的一个标准，在这片博客中仅仅以个人的通俗理解来，当然也是查

2015-06-26 23:30:00 4272 1

原创实习收获之软件思想误区的纠正

关注我的博客的朋友可能这些天很少看到我更新博客了，是的，主要的原因是去了长沙实习了,然后就是各种忙,还是浅谈下实习的这些天的收获吧。在长沙实习的那些天,我们主要的是对于一个项目的整体流程的设计,设计的项目是在windows下监控多台Linux下的服务器主机的详细信息，例如cpu使用率，内存使用率，磁盘使用率，进程的状态等等。以前我设计项目的时候只是把注意力放在这个项目用什么技术可以

2015-06-25 20:16:43 535

原创 WebService及实例

WebService是一个应用程序，是能够用编程的方法通过Web调用来实现某个功能的应用程序，支持的协议HTTP,TCP/IP,SMTP等。这就很好解析网上的天气预报等等数据的服务是怎么获取的了，就是用WebService实现的。WebService的开发步骤有两步 1：建立服务并且发布 2：建立客户端程序，调用服务一。创建服务器 (1)建立接口与实现类 (2)引入XFir

2015-05-02 12:02:21 410

原创 j2ee之servlet角色详细探讨！！！

在之前的博客中已经不止一次的提到了servlet了，为什么要先写jsp呢，只能说基础很重要。好，servlet就是就是用java编写的server端程序，它采用了请求-相应模式提供的web服务。这个时候要引入一个开发模式了叫MVC模式，M即为model即模型，一般是数据模型和业务模型。V为视图，用来显示，注意这里不一定只是html了，java，ios，Android都有视图的。C即为控制器，用来分

2015-04-25 10:58:43 780

原创深入剖析jsp的工作原理

在前面的几篇博客中已经简单的说明了一下jsp，通过解读tomcat将jsp页面翻译成的java源文件，对jsp的运行原理有了一个新的认识。我们都知道，我们运行一个jsp文件，服务器会将此页面翻译成一个java文件，然后调用jdk中的javac命令进行编译为class文件，之后再通过jvm运行.class，最后返回html给客户端的。好的，让我们来看下一个简单的jsp页面被翻译成java文件是什

2015-04-25 10:21:24 548 1

原创 jstl之自定义标签

jstl，即JSP Standard Tag Library，即JSP的标准标签库。其优点在于在应用程序服务器之间提供了一致的接口，最大程度地提高了WEB应用在各应用服务器之间的移植。简化了JSP和WEB应用程序的开发。着了我们来说下自定义标签。我们都知道，这些标签在底层都是一个个java的类，通过查阅文档我们可以看出，一般情况下开发jsp自定义标签需要引用以下两个包import ja

2015-04-23 00:17:30 375

原创 Redis的强大高级应用

上一篇Redis浅谈中，已经讲述了Redis存储数据的5种类型，当然一个数据库里面谈数据无疑是最基础的，所以这里让我们继续来发掘Redis的什么面纱，强大的Redis可不仅仅只有这点功能啊，总的来说，Redis高级使用特性包括了安全性，主从复制，事务机制，持久化机制，发布订阅消息，虚拟内存的使用。 Redis的安全性，是的，细心的朋友可能看到之前的日志里面我操作Redis并

2015-04-19 01:15:18 941

原创 Redis的5中类型的操作

由于这几天事情比较多，对Redis的讨论有点忽略了，好了，让我们继续Redis的探讨吧。在之前的两篇日志中我们已经知道了Redis的强大以及其安装。但是在这里要注意一下，如果想测试不同类型的数据，个人还是建议在后台直接测试，而不是先用JRedis链接服务器，这能帮我们更好的了解其命令的使用和操作。要进入后台，先要在redis.conf该配置文件，将附上进入后台操作的代码如下：

2015-04-17 13:32:24 576 1

原创走进微信的神奇世界--数据的发送和接收

在之前的一篇博客中我们已经知道成为微信公众平台的开发者啦，总算迈出了第一步了，现在理解下微信的发送数据和接收数据吧，看了开发者文档之后，我们知道客户端与微信服务器的数据交互与xml格式传递的，懂了这个原理之后就好办了，由于不同类型的数据的节点名等等已经是被规范好的了，我们要做的是在好通过代码创建xml和发送xml文件给服务器，好了，数据发送过去之后再写xml文件的形式显示回来到客户端，当然，里面涉

2015-04-16 22:37:20 729

原创走进微信的神奇世界--微信公众平台开发者

微信公众平台的发展已经是势不可挡了，上了几节微信公众平台的课之后，还是要做下总结学到的知识点的。好了，注册公众平台那些小事就不多说啦，直接进入官网https://mp.weixin.qq.com/cgi-bin/loginpage?t=wxm2-login&lang=zh_CN，注册一个号吧，之后就遇到一个小问题啦，我们知道，要进行再公众平台的开发就要先成为此平台的开发者，这里要注意啦，其原理

2015-04-16 22:14:10 1363

原创 Ajax的初步认识和封装

Ajax=异步JavaScript和XML（标准通用标记语言的子集）,是一种用于创建快速动态的网页技术，实现了局部刷新的功能，毫无疑问，这给用户带来的体验是很棒的，原理采用了异步访问技术，通过在后台与服务器进行少量的数据狡猾，Ajax可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的部分进行更新。让我们来理解同步和异步的区别和原理吧，我们都知道，在客户端向服务器传送数据

2015-04-12 09:32:38 501

空空如也

空空如也