- 博客(20)
- 收藏
- 关注
RSS订阅原创 scrapy中的item_loader
Item Loaders 提供了一个便利的机制来帮助 populating(填充) scrapted Items；虽然，Items 可以通过它类似 dict API 来填充，Item Loaders 提供了更多便利的方法来进行 populates； 简而言之，Items 提供了被爬取数据的一个容器，而 Item Loaders 为该容器提供了 populating 的机制； Item Loade
2017-08-01 20:01:46
1075
原创 pipeline中MySQL存储方式
单线程阻塞操作MySQLimport MySQLdbclass MysqlPipeline(object): def __init__(self): self.conn = MySQLdb.connect('host', 'user', 'passwd', 'dbname', charset="utf8", use_unicode=True) self.cu
2017-07-31 18:31:39
2440
1
原创 ubuntu彻底卸载mysql并且重新安装
在Ubuntu和Debian系统上，有一个debian-sys-maint用户，Debian类系统下一些系统脚本对mysql的操作是通过这个用户完成的。所以我们可以通过这个用户来修改 root 密码。该用户的密码可以在/etc/mysql/debian.cnf下找到：# Automatically generated for Debian scripts. DO NOT TOUCH![cli
2017-07-27 16:52:06
623
原创 重写scrapy.pipelines.images.ImagesPipeline方法实现自定义图片下载
from scrapy.pipelines.images import ImagesPipelinefrom scrapy.exceptions import DropItemimport scrapyclass MyImagesPipeline(ImagesPipeline): '''自定义图片下载器,以图片url为路径保存图片''' def get_media_request
2017-07-26 18:33:10
3952
1
原创 jobbole总结一
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-07-26 18:21:22
661
原创 day25
ReentrantLock r = new ReentrantLock();r.lock();r.unlock();同步锁,互斥锁 Condition c1 = r.newCondition();监听器简单工厂模式:静态工厂模式,它定义一个具体的工厂类负责创建一些类的实例工厂方法模式:定义一个抽象接口,返回值是某些拥有特定共同父类的子类的父类.匿名类,可
2016-03-31 21:06:50
265
原创 day24
线程是程序执行的一条路径,一个进程中可以包含多个线程多线程并发执行可以提高程序的效率,可以同时完成多项工作表面多线程,底层CPU只是执行一个任务,作死切换并行;两个任务同时进行,需要多核CPU并发:两个任务同时请求,而处理器只能接受一个任务,就把两个任务安排轮流执行JVM启动时多线程.不是多线程代码按顺序执行
2016-03-28 23:00:33
312
原创 day22
序列流,用Vector存储,一次性取出然后遍历.内存输出流,byteArrayOutPutStream 内存输出流,用一个数组接收输入的字节流,然后一次性输出对象流,用arrayList进行接收,然后读取,然后遍历打印流.printStream 输出流 printWriter 输出字符流 这两个值操作数据目的system.in标准输入流返回
2016-03-24 21:19:32
244
原创 day21
字符流:可以直接读取字符的IO流要读取字符,先读取到字节数据然后转化为字符,写字符,将字符转化为字节,然后写出通过默认的码表一次读取一个字符,通常一个中文两个字节,第一个字节为负,第二个为正,代表一个字符,读取的时候一次性读取两个字节,一负一正.writer类中有2K的缓冲区,如果不关流会将内容写入缓冲区.关流将缓冲区内容写出只读或者只写用字符流,读的时候按照字符大小读取,不会
2016-03-22 21:57:16
210
原创 day20
流,字节流,字符流InputStreamOutputStreamIO流书写,进行异常处理,释放资源文件结束标志是-1一个字节是八位,byte 0-255;-128 ---127结束标志是int类型的-1;FileOutputStream创建对象的时候,如果没有文件会帮我们创建出来,如果有文件先将文件清空FileInputStream fis = new Fil
2016-03-19 16:22:03
269
原创 day19
异常runtimeexceptionJVM如何处理异常 main函数收到问题,自己处理,然后继续运行自己没有处理方法,交给调用main的JVM来处理JVM有默认的异常处理机制,将异常处理并将异常信息输出到控制台,停止程序try :检测异常catch:捕获异常finally:释放资源try catch try catch finallytry fina
2016-03-14 20:18:01
238
原创 day18
Map中键是唯一的,双列算法只对键有效,TreeMap,,,Comparator,compareTo方法都只对键有效,比较键HashMap是线程不安全,效率高 1.2版本 可以储存nullHashtable是线程安全,效率低 1.0版本 不可以储存null一个类所有的方法都是静态的话会私有它的构造方法,防止创建对象直接类名点调用
2016-03-14 19:59:49
458
原创 day17
HashSet,存储相同的元素,返回falseHashSet如何确定元素是否重复,首先用HashCode方法算地址,地址相同就用equal方法比较成员变量,不同直接存储LinkedHashSet是Set集合中唯一能保证怎么存就怎么取的集合对象,HashSet能保证 元素唯一
2016-03-05 23:24:39
305
原创 day16
集合里面存储的是对象,直接打印集合名,相当于打印里面的每一个对象,每个对象有自己的tostring方法.ArrayList 中contain和remove方法依靠equal方法记得查看String常量池
2016-03-02 22:28:32
281
原创 day15
引用数据类型数组里面存储的是对象的地址值,数组可以存基本数据类型和引用数据类型.集合只能存储引用数据类型,也可以存储基本数据类型,会自动装箱变成对象Collection是父类接口c.retainAll(c1),取c与c1的交集,并返回c,若返回C相比原来C有改变 true ,没改变 false
2016-02-26 09:57:58
345
原创 day14
字符类[abc]a、b 或 c（简单类）[^abc]任何字符，除了 a、b 或 c（否定）[a-zA-Z]a 到 z 或 A 到 Z，两头的字母包括在内（范围）[a-d[m-p]]a 到 d 或 m 到 p：[a-dm-p]（并集）[a-z&&[def]]d、e 或 f（交集）[a-z&&[^bc]]a
2016-02-24 21:38:04
382
原创 day13
StringBuffer 类学习StringBuffer类,学习抽取方法public static String revString(String line ) {//弄清为什么是staticStringBuffer sb = new StringBuffer(line);sb.reverse();return sb.toString();}String做参
2016-02-22 22:53:03
275
原创 day12
day12 Scanner 类中方法: hasNextXxx 判断输入 nextXxx 获取输入Scanner类中方法: nextInt 录入整数 nextLine录入字符串 遇到\R\N结束String 类重写了父类object equal()方法String类 形如"abc"是String类的对象.S
2016-02-20 21:36:11
301
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人