David&Tea-CSDN博客

原创 Scrapy简介

Scrapy 框架Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。整

2017-10-08 21:29:10 1592

原创 Word2Vector

Word2vec词向量的概念将 word映射到一个新的空间中，并以多维的连续实数向量进行表示叫做“Word Represention” 或 “Word Embedding”。自从21世纪以来，人们逐渐从原始的词向量稀疏表示法过渡到现在的低维空间中的密集表示。用稀疏表示法在解决实际问题时经常会遇到维数灾难，并且语义信息无法表示，无法揭示word之间的潜在联系。而采用低维空间表示法，不但解决了

2017-10-08 18:28:32 523

原创 IntelliJ IDEA 运行Hadoop2.7.0 wordcount 实例

IntelliJ IDEA 运行Hadoop2.7.0 wordcount 实例背景 Hadoop2.7.0在虚拟机上安装完成，core-site.xml中配置的fs.defaultFS 端口为9000。1 新建maven项目2 配置pom.xml由于我虚拟机中的Hadoop版本为2.7.0，所以这里的maven的Hadoop版本必须对应，不然会出错。具体配

2017-01-18 10:26:59 11568 5

原创 Hadoop2.7.0安装问题

Hadoop2.7.0安装问题 HDFS Web页面DataNodes 显示问题当安装成功后，各个节点JPS均正常，在HDFS的Web页面的Overview页面显示Live Nodes的个数为3，但是在具体细节的Datanodes页面只有一个，具体如下：以上情况纯属正常，因为此时datanode里面的数据为空，所有仅显示一个，当你上传文件至HDFS时，即可正

2017-01-17 09:02:30 631

原创 Hadoop2.7 安装

Hadoop2.7 安装参考：http://www.linuxidc.com/Linux/2015-01/112029.html 机器准备 192.168.72.130 master192.168.72.131 slave1192.168.72.132 slave2192.168.72.133 slave3目录安装JDK配置host文件

2017-01-16 15:22:15 444

原创协同过滤算法

协同过滤算法算法介绍关于协同过滤的一个最经典的例子就是看电影，有时候不知道哪一部电影是我们喜欢的或者评分比较高的，那么通常的做法就是问问周围的朋友，看看最近有什么好的电影推荐。在问的时候，都习惯于问跟自己口味差不多的朋友，这就是协同过滤的核心思想。协同过滤是在海量数据中挖掘出小部分与你品味类似的用户，在协同过滤中，这些用户成为邻居，然后根据他们喜欢的东西组织成一个排

2017-01-14 14:14:03 653

原创 First Head-设计模式：代理模式

代理模式定义代理模式为另一个对象提供一个替身或占位符以控制对这个对象的访问。需求糖果机经理想要查看糖果的运行状态，但是真正的糖果机并不想让经理看到别的实现，所以通过远程代理访问某个方法。传统设计判断产看人的权限，然后大量if语句来判断是否访问。 Decorator模式试用范围需要控制对象访问权限的时

2017-01-10 16:54:09 2896

原创 First-Head 设计模式：状态模式

状态模式定义状态模式允许对象在内部状态改变时改变它的行为，对象看起来好像修改了它的类。需求糖果机有多个状态，不同状态都有相应的办法，所以需要很多if条件，如果增加一个状态的话就需要改变所有的代码。传统设计对每个方法写四个if（如果有四个状态），如果增加一个状态，就在if中增加一个if条件。 Decorator模式

2017-01-08 18:36:48 2483

原创 First-Head：迭代器模式和组合模式

迭代器模式定义迭代器模式提供一种方法顺序访问一个聚合对象中的各个元素，而又不暴露其内部的表示。需求煎饼屋和午餐店要合并，但是煎饼屋采用arraylist实现，午餐店采用数组实现，现在服务员要告诉顾客有哪些食品。传统设计两个for循环分别读取arraylist和数组，然后打印。当还有一个比如说咖啡店时，就需要再来一个for循环，太不好了。

2017-01-05 18:55:29 2465

原创 Frist Head-设计模式：模板方法模式

模板方法模式定义模板方法模式在一个方法中定义一个算法的骨架，而将一些步骤延迟到子类之中。模板方法使得子类可以在不改变算法结构的情况下，重新定义算法中的某些步骤。需求实现煮咖啡和煮茶，两者之间的步骤及其相似。传统设计将一样的步骤放在父类，不一样的步骤放在子类，然后子类继承。 Decorator模式试用范围

2016-12-29 20:00:31 2364

原创 First Head-设计模式：适配器模式和外观模式

适配器模式定义适配器模式将一个类的接口，转换成客户期望的另一个接口。适配器让原本不兼容的类可以无间合作。需求客户需要一只鸭子，但是没有鸭子，所以需要用火鸡来冒充。传统设计因为火鸡和鸭子是不同的类，所有无法适配。 Decorator模式试用范围适用于两个接口不一样是，但是需要冒充的情况下。外

2016-12-29 17:19:18 2121

原创 First Head-设计模式：命令模式

命令模式定义命令模式将"请求"封装成对象，以便使用不同的请求，队列或日志来参数化其他对象、命令模式也支持可撤销的操作。需求一个遥控器控制不同的多个设备开关，遥控器上有6个设备的所有开关（12个）加上一个撤销上一个操作的按钮，每个设备的开关等是不同的类的不同方法，方法名也不一样，如何实现这个类。传统设计 12个开关分别绑定不同的设备的开关方法

2016-12-29 16:07:19 3278

原创 Head First-设计模式：单件模式

单件模式定义单件模式确保一个类只有一个实例，并提供一个全局访问点。需求巧克力工厂使用锅炉制造巧克力，锅炉只能有一个实例。传统设计使用静态方法来保证一个实例。 Decorator模式试用范围当某个类只能有一个实例时。

2016-12-29 14:45:26 3271

原创数据结构与算法分析：算法设计技巧

算法设计技巧贪婪算法顾名思义，贪心算法总是作出在当前看来最好的选择。也就是说贪心算法并不从整体最优考虑，它所作出的选择只是在某种意义上的局部最优选择。当然，希望贪心算法得到的最终结果也是整体最优的。虽然贪心算法不能对所有问题都得到整体最优解，但对许多问题它能产生整体最优解。如单源最短路经问题，最小生成树问题等。在一些情况下，即使贪心算法不能得到整体最优解，其最终结果却是最优解的很好

2016-12-27 17:48:23 4585

原创数据结构与算法分析：图论

图论算法定义路径：由一个顶点序列使得这样一条路径。环：路径，路径长为0，为环。简单路径：不包含环，所有顶点是互异的，但是第一个和最后一个可以是相同的。圈：满足的路径称为圈，若各该路径是简单路径，则为简单圈。连通的无向图：无向图中的每个顶点之间都有路径。强连通的有向图：每个顶点之间都有路径。有向图的基础图：去掉有向图上的弧所

2016-12-27 14:51:30 3926

原创 Head First-设计模式：工厂模式

工厂方法模式定义工厂方法模式定义了一个创建对象的接口，但由子类决定要实例化的类是哪一个，工厂方法让类把实例化推迟到子类。该方法通过子类继承来创建对象。需求披萨店有很多家分店，每个分店需要制作不同的风味的披萨，但是他们的制作过程是一样的。传统设计对于不同的披萨下载不同的订单中，但是订单中有一些相同的部分，所以需要提取出来，

2016-12-26 15:28:54 3178 1

原创 Head First-设计模式：装饰者模式

装饰者(Decorator)模式定义动态地将责任附加到对象上。若要扩展功能，装饰者提供了比继承更加有弹性的替代方案。需求咖啡店买饮料，有不同的的基本咖啡，Cappuccino和Latte，然后有各种不同的调料，比如sugar, milk, salt. 不同的饮料有不同的价格和描述。传统设计定义咖啡类，然后不同调料的不同咖啡继承该类

2016-12-26 15:28:03 2771

原创 Head First-设计模式：观察者模式

观察者模式定义定义了一系列对象之间的一对多关系。当一个对象改变新状态，其他依赖者都会受到通知并自动更新。需求一个天气信息类，当天气信息发生变化是，会自动运行update()函数，此时，需要及时更新当前信息版，和未来预测版。传统设计定义天气信息类，然后直接在update()函数里面做所有的更新操作。 Obs

2016-12-26 15:27:12 2651

原创 Head First-设计模式：策略模式

策略（strategy）模式定义定义了算法簇，分别封装起来，让他们之间可以相互替换，此模式让算法的变化独立于使用算法的客户。需求鸭子类：不同的鸭子不同外观不同鸭子有些叫声一样，有些不一样不同鸭子飞行方式可能不一样传统设计定义鸭子超类，其他鸭子继承，并有方法接口，不同鸭子实现接口。

2016-12-26 15:26:16 2590

原创 Head First-设计模式：设计原则和设计评价

设计原则找出应用中可能需要变化的部分，把它们独立起来，不要和那些不需要变化的代码混在一起。针对接口编程，而不是针对实现编程。多用组合，少用继承低耦合高内聚类应该对扩展开放，对修改关闭设计评价可复用可扩充可维护低耦合高内聚

2016-12-26 15:25:35 2520

原创 Head First-设计模式：设计原则和设计评价

设计原则找出应用中可能需要变化的部分，把它们独立起来，不要和那些不需要变化的代码混在一起。针对接口编程，而不是针对实现编程。多用组合，少用继承低耦合高内聚类应该对扩展开放，对修改关闭设计评价可复用可扩充可维护低耦合高内聚

2016-12-26 15:25:23 2372

原创数据结果和算法分析：排序和不相交集类

排序插入排序平均情况：O(N2)最坏情况：O(N2)选择排序法冒泡排序法希尔排序希尔排序也叫缩减增量排序。希尔排序使用一个序列h1,h2,h3, …, hn，叫做增量序列。当增量序列为1,2,5时，示意图如下：以n=10的一个数组49, 38, 65, 97, 26, 13, 27, 49, 55, 4为例第一次 ga

2016-12-26 15:21:44 2510

原创数据结果和算法分析：散列和堆

散列一般想法散列函数其中关系R为散列函数分离链接法 hash函数的运行时间为O(1)，所以插入和删除都为常量时间O(1)。（注意，插入和删除都是以元素x而非关键字k作为输入，所以不用查找。）接下来分析查找特定元素的性能。对于一个存放了n个元素，具有m个槽的散列表T，定义它的装载因子（load factor）a为n/m，即每个槽

2016-12-26 15:20:48 2982

原创数据结果和算法分析：前三章

算法阅读目的：整体把握算法框架了解算法思想阅读方法： 1/3时间阅读 1/3时间总结 1/3应用注：若不做特别说明，则logn表示log2n引论Java泛型算法分析算法复杂度 Ο，读音：big-oh、欧米可荣（大写）；表示上界(tightness unknown)，小

2016-12-26 15:19:37 2195

原创数据结构与算法分析：树

算法阅读目的：整体把握算法框架了解算法思想阅读方法： 1/3时间阅读 1/3时间总结 1/3应用注：若不做特别说明，则logn表示log2n引论Java泛型算法分析算法复杂度 Ο，读音：big-oh、欧米可荣（大写）；表示上界(tightness unknown)，小

2016-12-26 15:15:02 2073

原创 KMeans聚类算法

KMeans聚类算法参考文章：http://blog.csdn.net/xiaojimanman/article/details/51086879 算法简介 K-means算法是比较经典的聚类算法，算法的基本思想是选取K个点（随机）作为中心进行聚类，然后对聚类的结果计算该类的质心，通过迭代的方法不断更新质心，直到质心不变或稍微移动为止，则最后的聚类结果就是最后的聚类结果。下面首先

2016-12-26 15:07:15 2312

原创 Map嵌套Map时泛型的Bug

泛型，即参数化类型，以下是在TreeMap中嵌套TreeMap时泛型无法转化的BUG。如下图所示：TreeMapString,Integer> tureData1 = new TreeMapString, Integer>();TreeMapString,? extends Number> data1 = tureData1;TreeMapString, TreeMapString

2016-12-12 17:59:03 3263

原创使用Anaconda 开发Python

使用Python开发时需要经常加一些别的包，这些包分别添加十分麻烦，而且因为是国外的资源，在开发时经常会出现许多读取错误，Anaconda是一个Python的开发环境，下载后直接安装，十分便利，安装教程如下：l 下载Anaconda下载链接如下：https://www.continuum.io/downloads#_windowsl 安装Anaconda下载下为.exe文件

2016-08-08 20:14:47 11416

原创 Python 3.5 和 2.7区别

1. Pickle 区别在Python 2.7 中，将Dict对象存储序列化，然后可以自由的发序列化，具体代码大致如下：但是在Python 3.5 调用上述代码时会报如下错误：这是应为2.7pickle.load函数读取时默认为bytes读取，而3.5读取时默认为ASCII码读取，官网说明如下：所以只需要将调用时的读取格式改为bytes即

2016-08-07 20:02:17 17348 7

原创 MATLAB内部函数

本文介绍了MATLAB内部函数的使用，使用MATLAB内部函数可以使得代码的复用性得到提高。由于业务的需要，很多情况下我们需要做以下操作：dNum =0; % 该台设备的记录条数 washCount=0; % 计算冲洗次数 repairCount =0; % 计算报修次数这种初始化的变量在一个代码运行之前需要进行，在代码运行

2016-07-27 18:30:28 9658 1

原创 Matalb for 语句操作大矩阵优化

在循环语句中对某个很大的矩阵做插入操作，由于循环次数过大，在后期的时候十分缓慢，具体代码大概如下：fori = 1:5000 i n=X(i,1);forj= 1:nnum = num +1;S(num,1)=…;S(num,2)=…;S(num,3)=…;EndEnd上述代码运行时，当i大于200时开始出现明显的运行缓慢，若直接运行可能需要超过

2016-07-26 19:17:13 6927

转载 Python命名规范

Python之父Guido推荐的命名规范包括如下几点：模块名和包名采用小写字母并且以下划线分隔单词的形式；类名采用以大写字母开头，并且以大写字母分隔单词的形式命名；全局或者类常量，全部使用大写字母，并且以下划线分隔单词；其余变量命名则是采用全部小写字母，并且以下划线分隔单词的形式命名。以上的内容如果是内部的，则使用下划线开头命名。

2016-07-26 16:27:29 6311

原创 Eclipse Python 模板开发

在Eclipse中使用Template开发Python可以帮助我们省下很多开发的时间，具体步骤如下：l 新建开发模板选择Windows-performance l 填写相关模板填写模板Name，Description，Pattern等信息 Pattern中的信息如下：# -*- coding: utf-8 -*-'''Created on ${date}

2016-07-26 16:18:37 9578

原创 Pydev 5.1.2 + Python 3.5.2 + Eclipse 4.4.2 搭配教程

本文主要搭建最新的Python 3.5.2 + Pydev 5.1.2，以及简单的新建项目示例。1 Eclipse安装l 自行上Eclipse官网下载最新的Eclipse下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.htmll 安装JDK1.8（注意！！！JDK版本为1.8）下载地址

2016-07-26 15:43:19 12436

转载 Python 3.5安装教程

因为Python是跨平台的，它可以运行在Windows、Mac和各种Linux/Unix系统上。在Windows上写Python程序，放到Linux上也是能够运行的。要开始学习Python编程，首先就得把Python安装到你的电脑里。安装后，你会得到Python解释器（就是负责运行Python程序的），一个命令行交互环境，还有一个简单的集成开发环境。安装Python 3.5

2016-07-23 09:59:51 24227 1

转载数据库的内联接、外联接

数据库的内联接、外联接转载网址：http://www.cnblogs.com/younes/archive/2010/07/12/1776046.html现在有两个表：customers和orderscustomer表，orders表，普通查询，左外联接查询，右外联接查询，内联接查询，说明：1）普通的查询方式默认为内联

2016-06-13 04:26:44 8394

原创 Struts2 中 Action的总结

Action实现一个Action的最常用方式：从ActionSupport继承调用Actionl 通配符调用action/action/index.jsp上述通配符可以调用所有以”index_”为开头的URL若想使用通配符控制调用方法，使用如下：/action/index.jsp该模式下，若调用格式为struts/index-add，则调用的方

2016-06-10 03:49:15 6187

原创 Struts：No result defined for action daiwei.struts.action.UserAction and result success

Struts：No result defined for action daiwei.struts.action.UserAction and result success问题描述：我试图测试Struts传递对象参数UserAction 代码如下（省略了属性的set和get方法）：public class UserAction extends ActionSupport {

2016-06-09 17:50:52 6444

转载 Servlet & JSP 面试题

下面是自网络上看到的面试题中自己不会的，供大家一起学习！l Servlet执行时一般实现哪几个方法？public void init(ServletConfig config)public ServletConfig getServletConfig()public String getServletInfo()public void service(ServletReques

2016-06-09 05:44:07 6209

转载 Java动态代理详解

Java动态代理详解说到动态代理，顾名思义就是动态的代理(真是废话)。关于代理：想必大家都并不陌生，GOF的23种设计模式之一(结构型模式)。这里暂不多做介绍，有兴趣的可以关注我关于设计模式的文章。什么是动态代理：说起动态，其实不如先说什么是静态。所谓静态代理，个人理解为自己手写的代理类，或者用工具生成的代理类，或者别人帮你写的代理类(没说一样...)。总之，就是程

2016-06-08 21:30:27 6200

Struts2 笔记代码

Myeclipse 2015 的去空格，等号代码补全jar包

空空如也