qa111111的博客

原创 MongoDB修改字段名称，方法如下：

第二个true：可选，mongodb默认是false，只更新找到的第一条记录，如果这个参数为true，就把按条件查出来多条记录全部更新。第一个false：可选，这个参数的意思是，如果不存在update的记录，true为插入新的记录，默认是false，不插入。upsert：如果不存在update的记录，是否插入objNew这个新的文档，true为插入，默认为false，不插入。multi：默认是false，只更新找到的第一条记录。如果为true，把按条件查询出来的记录全部更新。criteria：查询条件。

原创 pyqt主要模块 （一）

pyqt主要模块

转载 scrapy连接到(SQLite,Mysql,Mongodb,Redis)数据库

这次我给大家讲讲如何使用scrapy连接到(SQLite,Mysql,Mongodb,Redis)数据库，并把爬取的数据存储到相应的数据库中。一、SQLite1.修改pipelines.py文件加入如下代码# 爬取到的数据写入到SQLite数据库import sqlite3class SQLitePipeline(object): #打开数据库 def open_spider(self, spider): db_name = spider.setting

转载 scrapy连接到(SQLite,Mysql,Mongodb,Redis)数据库

这次我给大家讲讲如何使用scrapy连接到(SQLite,Mysql,Mongodb,Redis)数据库，并把爬取的数据存储到相应的数据库中。一、SQLite1.修改pipelines.py文件加入如下代码# 爬取到的数据写入到SQLite数据库import sqlite3class SQLitePipeline(object): #打开数据库 def open_spider(self, spider): db_name = spider.setting

转载 Ubuntu权限命令

首先我们要了解文件或文件夹所具备的权限。上图的文件或文件夹，所有拥有的权限如下表：文件、文件夹 User Group Other1 rwx rw- r–1.txt rwx rw- r–注：User，即文件或目录的拥有者Group，即文件或目录的所属群组Other，除了文件或目录拥有者和所属群组外，其他用户都属于这个范围r：读取权限w：写入权限x：执行权限-：不具备该项权限所以，我们结合表得出，1是一个文件夹，User具有...

原创 1 APP测试基本流程

1 APP测试基本流程1.1流程图1.2测试周期测试周期可按项目的开发周期来确定测试时间，一般测试时间为两三周（即15个工作日），根据项目情况以及版本质量可适当缩短或延长测试时间。正式测试前先向主管确认项目排期。1.3测试资源测试任务开始前，检查各项测试资源。--产品功能需求文档；--产品原型图；--产品效果图；--行为统计分析定义文档；--测试设备（ios3.1.3-ios5.0.1；Android1.6-Android4.0；Winphone7.1及以上.

转载 extract ()中正则表达式注意事项

使用str.extract ()提取电话号码时发现，正则表达式里有几对（），就会提取出几列数据，有时会和期望的答案不一样。举例说明：三种格式的号码：###-###-##### (###) ###-##### ### ### ####正则表达式：（\d\s)??\d3?\d3?[-\s]\d{3}[-\s]\d{4}这样的正则表达式本来没有问题，但是一放进str.extract，如：data.column.str.extract(r'(\d\s)??\d3?\d3?[-\s]\d{3}[-

转载 extract()用法

返回一个SelectorList 对象http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/selectors.html#selectorlist SelectorList 类是内建 list 类的子类，提供了一些额外的方法: xpath(query) css(query) extract() re() __nonzero__() 返...

转载 scrapy框架Selector提取数据

scrapy框架Selector提取数据从页面中提取数据的核心技术是HTTP文本解析，在python中常用的模块处理：　　BeautifulSoup 非常流行的解析库，API简单，但解析的速度慢。　　lxml 是一套使用c语言编写的xml解析库，解析速度快，API相对比较复杂。Scrapy中的Selector类是基于lxml库建立的，并且简化了API接口。在使用的过程中先使用xp...

转载 CrawlSpider实现的全站数据的爬取

CrawlSpider实现的全站数据的爬取新建一个工程 cd 工程 创建爬虫文件：scrapy genspider -t crawl spiderName www.xxx.com 连接提取器LinkExtractor 可以根据指定的规则对指定的连接进行提取 提取的规则就是构造方法中的allow（‘正则表达式’）参数决定 规则解析器Rule 可以将将连接提取器提取到的连...

原创 在这篇文章中将记录我在Ubuntu下安装Scrapy详细

sudo apt-get install python-dev sudo apt-get install build-essential sudo apt-get install libxml2-dev sudo apt-get install libxslt1-dev sudo apt-get install python-setuptools ...

原创 scrapy 数据的插入 json 和mongo的操作 Pipeline篇

class MyspiderPipeline(object): def process_item(self, item, spider):# 获取当前工作目录 if spider.name == "zfcg": global filename base_dir = os.getcwd() f...

原创 久不更新了。之前隔了几个月没有看python知识

久不更新了。之前隔了几个月没有看python知识，主要是各方面的原因。这段时间又开始看了。。发现了好多新大陆，首先就是框架Scrapy，然后就是XPATH。。觉得之前学的。。都是有点费。哈哈。。我开始边学还边说自己弄个完整的框架。拿来即用。看来还是要多看书啊！老了才发现自己年轻不知道多看书！...

原创 python MVT ORM 框架

转载 匹配URL的正则表达式版本

网上流传着多种匹配URL的正则表达式版本，但我经过试验，最好用的还是从stackoverflow上查到的：(https?|ftp|file)://[-A-Za-z0-9+&@#/%?=~_|!:,.;]+[-A-Za-z0-9+&@#/%=~_|]IP地址、前后有汉字、带参数的，都是OK的。另外几个有问题的版本：摘自微软MSDN：(ht|f)tp(s?)\:\/...

转载 转的

正则表达式很常用，下面是我整理的匹配URL或者网址的一些表达式：正则表达式(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]*[\w\-\@?^=%&/~\+#])?匹配http://regxlib.com/Default.aspx|http://electronics.cnet.com/e...

转载 关于Python字符编码encode和decode（文章写得很基础留下了）

（注：本文部分内容摘自互联网，由于作者水平有限，不足之处，还望留言指正。） 记得几天前，部门的一个小姑娘问我，怎么她Python打印出来的中文信息都乱码了？我走过去，略思一二，瞬间给她搞定，其实这是字符编码转换的问题。这时，我注意到小姑娘流露出一丝丝崇拜的眼神。所以我想，如果你连编码问题都搞不定，还怎么泡妞啊。可能一部分人也会进入这种误区，我以我小学生的水平，把我的理解结合网上的资料...

转载 遇到了同样的问题json文件名同样的！以后记住不能起名和模块一样的名字

今天在学习python中json模块的时候遇到了点让我怀疑人生的问题。像往常一样，我在电脑d盘根目录创建了一个：json.py的python文件，打算在这里练习一下json中的两个函数：loads()和dumps()。但是当我运行了如下代码的时候，它竟然提示我：AttributeError: module 'json' has no attribute 'loads'，翻译成汉语的意思是：属性...

转载 python txt文件常用读写操作

文件的打开的两种方式1 f = open("data.txt","r") #设置文件对象2 f.close() #关闭文件3 4 5 #为了方便，避免忘记close掉这个文件对象，可以用下面这种方式替代6 with open('data.txt',"r") as f: #设置文件对象7 str = f.read() #可以是随便对文件的操作...

转载 python lambda表达式

lambda只是一个表达式，函数体比def简单很多，很多时候定义def，然后写一个函数太麻烦，这时候就可以用lambda定义一个匿名函数。lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。lambda表达式是起到一个函数速写的作用。允许在代码内嵌入一个函数的定义。1 list(filter(lambda x:True if x % 3 ...

原创 python学习第一天

从C# 转python ，相对0基础的同学 学习的进度快很多。用半天时间 看书+百度+看视频，已经把基本的功课看了一遍。1、从python环境配置开始，其实python比较简单，官网下载 安装就搞定了。环境也很简单的搭配好了。2、选择IDE工具，编辑器，我从编程开始。就一直用VS来做程序的开发。后面VS2017发布以后，支持了python，我可是眼前一亮啊，我第一步也是无限的研究看资料，怎...