zz60708320-CSDN博客

原创 Python使用装饰器捕获异常

Python中使用装饰器捕获异常1.装饰器的编写 # 捕获异常装饰器def catch_except(func): def wrapper(*args, **kwargs): try: return func(*args, **kwargs) except Exception: serror_info =...

2020-03-06 17:04:01 1967 2

原创 python+redis实现布隆过滤器

# coding:utf-8from hashlib import md5import redis# bloom查重class SimpleHash(object): def __init__(self, cap, seed): self.cap = cap self.seed = seed def hash(self, value):...

2019-11-12 20:42:10 740

原创 hadoop（番外）——mongodb-hadoop（基础配置）

简介mongo-hadoop是用于Hadoop的MongoDB连接器是一个库，该库允许将MongoDB（或其数据格式的备份文件，BSON）用作Hadoop MapReduce任务的输入源或输出目标。它旨在提供更大的灵活性和性能，并使MongoDB中的数据与Hadoop生态系统的其他部分轻松集成。下载地址：https://github.com/mongodb/mongo-hadoop 跳转→特...

2019-10-24 18:05:49 1487

原创 Hadoop（三）——MapReduce④Shuffle机制

reduce task一般来说，有多少个reduce task，就会产生多少个结果文件。默认情况下，shuffle分发的规则叫分区，其策略是调用Partition的实现类 hashpartitioner。则无论存在多少种数据，其最终结果均为0或1，并分别分发给task0或task1。要想修改reduce task数量，首先需要自定义一个partitioner的类，并继承Partitione...

2019-10-18 17:36:19 248

原创 Hadoop（三）——MapReduce③框架原理

一、InputFormat数据输入1.1 切片与MapTask并行度决定机制数据块：Block 是 HDFS 物理上把数据分成一块一块数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。1）一个 Job 的 Map 阶段并行度由客户端在提交Job时的切片数决定。2）每一个 Split 切片分配一个MapTask并行实例处理。3）默认情况下，切片大小=Bl...

2019-10-15 15:54:20 212

原创 Hadoop（三）——MapReduce②序列化

1、序列化概述序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到的字节序列（或其他数据传输协议）或者磁盘的持久化数据，转换为内存中的对象。Hadoop序列化的特点① 紧凑：高效实用存储空间② 快速：读写数据的额外开销小③ 可扩展：随着通信协议的升级而可升级④ 互操作：支持多语言的交互2、自定义bean对象实现序列化...

2019-10-15 15:08:00 118

原创 Hadoop（三）——MapReduce①简介

一、Mapreduce简介Mapreduce是一个分布式的运算编程框架，核心功能是将用户编写的核心逻辑代码分布式地运行在一个集群的很多服务器上。框架逻辑：① map端输入：maptask按行读取hdfs数据，并对其进行分片（默认为128M），分发给各个maptask② map端输出：数据经过map端逻辑处理后，最终输出方式为<key,value>对③ shuffle：接收从m...

2019-10-15 10:43:44 148

原创 Hadoop(一)——环境准备

Hadoop（一）环境准备PS：linux版本：centos6；hadoop版本：2.X1、linux环境准备1）设置主机名设置 etc —> sysconfig —> network 文件下的 HOSTNAME 属性vim /etc/sysconfig/network2）将ip地址设为静态 ip①使用图形界面时配置网络的IP地址，子网掩码（255.255.255.0）...

2019-10-14 16:00:29 160

原创 Urllib库学习笔记

Urllib库详解Python内置的HTTP请求库urllib.request：请求模块urllib.error：异常处理模块urllib.parse：url解析模块urllib.robotparser：robot.txt解析模块内置函数请求1、发送请求urlopen（url,data=None,[timeout,]*）注意：data类型需为bytes类型响应2、获取响应...

2019-01-12 16:47:02 132

原创 ChatterBot

ChatterBotChatterBot是一个基于机器学习的聊天机器人引擎，构建在python上，也是python的一个库chatterbot的聊天逻辑和输入输出以及存储，是由各种adapter来限定的构建ChatBot并指定Adapter创建ChatBot对象来构建一个ChatBotbot = ChatBot(name,若干Adapter...)如：bot = ChatBot(“ne...

2019-01-01 20:09:19 1055

原创爬虫基本原理

爬虫基本原理爬虫：请求网站并提取数据的自动化程序请求提取自动化爬虫基本流程1、发起请求通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息的，等待服务器响应2、如果服务器能正常响应，会得到一个Response，Response的内容便是所要获得的页面内容，类型可能有HTML,Json字符串，二进制数据（如图片视频）等类型3、解析内容...

2018-12-28 22:24:12 160

原创正则表达式（re模块）

正则表达式是一个特殊的字符序列，可以用于检测一个字符串是否与我们所设定的字符串相匹配。re库1、findall(pattern,string,flags)：用来匹配正则表达式pattern：正则表达式string：要进行匹配的字符串flags：匹配的模式结果为一个所匹配内容的列表语法规则：’ \d '：标识匹配单个0-9的数字’ \D '：与 \d 相反，匹配数字以外的内容如果...

2018-12-24 22:53:57 251

原创 MongoDB（一）

MongoDB 是一个基于分布式文件存储的数据库。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。MongoDB 将数据存储为一个文档，数据结构由键值(key=&gt;value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。MongoDB创建数据库格式： use DATABASE_...

2018-12-19 20:24:18 151

原创 Redis

Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，...

2018-12-18 17:53:05 101

原创 Mybatis学习笔记（二）

Mybatis（二）输入映射和输出映射输入类型：1、简单类型2、POJO对象3、POJO包装对象：开发中通过可以使用pojo传递查询条件。查询条件可能是综合的查询条件，不仅包括用户查询条件还包括其它的查询条件（比如查询用户信息的时候，将用户购买商品信息也作为查询条件），这时可以使用包装对象传递输入参数。包装对象：Pojo类中的一个属性是另外一个pojo。resultMapres...

2018-11-07 17:09:09 109

原创 MyBatis学习笔记（一）

MyBatis（一）MyBatis是一个持久层框架，它对JDBC的操作数据库的过程进行了封装，使开发者只需要关注SQL本身，而不需要花费精力去处理例如注册驱动、创建connection、创建statement、手动设置参数、结果集检索等JDBC繁杂的过程代码。MyBatis配置1、 mybatis配置SqlMapConfig.xml，此文件作为mybatis的全局配置文件，配置了mybat...

2018-11-06 18:34:26 98

原创 SpringMVC学习笔记（五）

SpringMVC（五）文件上传1、导入相应jar包:jakarta commons fileupload及jakarta commons io2、配置MultipartResplver&lt;bean id="miltipartResovler" class="org.springframework.web.multipart.commons.CommonsMultipartReso...

2018-11-04 17:20:27 196

原创 SpringMVC学习笔记（四）

SpringMVC（四）SpringMVC数据的格式化以Date格式为例配置： &lt;mvc:annotation-driven&gt;&lt;/mvc:annotation-driven&gt;在类变量处用注解标注@DateTimeFormat(pattern="yyyy-mm-dd")private Date birth;//pattern为输入样式例2：@N...

2018-11-01 13:18:56 128

原创 SpringMVC学习笔记（三）

SpringMVC（三）视图和视图解析器-请求处理方法执行完成后，最终返回一个ModelAndView对象。对于那些返回String，View或ModeMap等类型的处理方法，SpringMVC也会在内部将它们装配成一个ModelAndView对象，它包含了逻辑名和模型对象的视图-SpringMVC借助视图解析器（ViewResolver）得到最终的视图对象（View），最终的视图可以是JS...

2018-10-29 16:52:07 98

原创 SpringMVC学习笔记（二）

SpringMVC请求处理方法签名SpringMVC通过分析处理方法的签名，将HTTP请求信息绑定到处理方法的相应形参中。必要时可以对方法及方法形参标注相应的注解（@PathVariable、@RequestParam、@RequestHeader等），SpringMVC框架会将HTTP请求的信息绑定到相应的方法形参中，并根据方法的返回值类型做出相应的后续处理。@RequestParam...

2018-10-27 20:42:03 167

原创 SpringMVC学习笔记(一)

SpringMVC第一个SpringMVC程序：helloworld步骤1、加入jar包2、在web.xml中配置DispatcherServlet3、加入SpringMVC的配置文件4、编写处理请求的处理器（C），并标识为处理器5、编写视图1、jar包（复制到lib文件夹）：-commons-logging-1.1.3.jar-spring-aop-4.0.0.RELEA...

2018-10-26 17:47:50 127

原创 DOM学习笔记（上）

DOM（上）DOM（document Object Model文档对象模型）用来将标记型文档封装成对象，并将标记型文档中的所有内容（标签，文本，属性等）都封装成对象。文档对象模型文档：标记型文档对象：封装了属性和行为的实例，可以被直接调用。模型：所有标记型文档都具备一些共性特征的一个体现。标记型文档（标签满属性，标签中封装的数据）只要是标记型文档，DOM这种技术都可以对其进行操作。常...

2018-10-26 13:40:50 199

原创 JavaScript学习笔记（下）

JavaScrip（下）对象可查阅JScript文档作为JavaScrip对象参考，两者差不多如：String对象var str =&quot;abc&quot;;var str = new String(&quot;abc&quot;);Prototype 原型属性用prototype属性提供对象的类的一组基本功能。对象的新实例“继承”赋予该对象原型的操作。例：要为Array对象添加返回数组中最大元素值的方法。...

2018-10-25 16:48:29 92

原创 JavaScript学习笔记（上）

JavaSpcript（上）JavaSpcript是基于对象和事件驱动的脚本语言，也是非严谨性语音。主要应用在客户端。JavaSpcript与Html相结合的方式：1、将JavaScript代码封装到&amp;amp;amp;amp;lt;script&amp;amp;amp;amp;gt;标签 &amp;amp;amp;amp;lt; script type=&amp;amp;amp;quot;text/javascript&amp

2018-10-25 15:05:18 114

原创 CSS学习笔记

CSSCSS是层叠样式表（Cascading Style Sheets）用来定义网页的效果。可以解决html代码对样式定义的重复，提高了后期样式代码的可维护性，并增强了网页的现实效果功能。简单来说，CSS将网页内容和现实样式进行分离，提高了显示功能。CSS和HTML在网页代码中相结合的方式1、style属性方式：利用标签中style属性来改变每个标签的显示样式<p style="b...

2018-10-24 22:03:56 74

原创 Html学习笔记

Html（超文本标记语音）1、Html是通过标签来定义的语言2、代码不区分大小写3、由&amp;amp;lt;html&amp;amp;gt;开始&amp;amp;lt;/html&amp;amp;gt;结束。里面由头部分&amp;amp;lt;head&amp;amp;gt;&amp;amp;lt;/head&amp;amp;gt;和体部分&amp;amp;

2018-10-23 17:16:01 164

原创 SpringAOP笔记

AOP：面向切面编程，通过预编译方式和运行期动态代理实现的统一维护的一种技术，主要用于日志记录，性能统计，安全控制，事物处理，异常处理等。AOP实现方式（两种）：·预编译—AspectJ·运行期动态代理（JDK动态代理、CGLib动态代理）—SpringAOP、JbossAOPAOP相关概念名称说明切面（Aspect）一个关注点的模块化，这个关注点可能会横切多个对...

2018-10-21 16:54:28 164

原创 SpringIOC笔记

IOC：控制反转，控制权的转移，应用程序本身不负责依赖对象的创建和维护，而是由外部容器负责创建和维护。DI（依赖注入）：是IOC的一种实现方式，目的是创建对象并且组装对象之间的关系。单元测试的方式实现：· 导入junit-*.jar包· 创建UnitTestBase类，完成对Spring配置文件的加载、销毁@Before public void before() { if(spri...

2018-10-18 18:08:34 152

原创 MyEclipse导入jar包

MyEclipse导入jar包步骤如下：1、右键点击你需要添加jar包的项目。2、选择“Properties”。3、然后选择对话框中的“Java Build Path”。4、选择“Libraries”选项卡，然后点击右边的“Add External JARS“，然后找到你的jar所存放的路径，选择需要添加的jar包。5、点击“OK”完成。经过以上步骤即可添加好jar包。注意：如果是...

2018-10-13 23:41:46 8551

zz60708320的博客