- 博客(28)
- 收藏
- 关注
RSS订阅原创 re匹配电话号码、邮箱地址
之前笔试让我写的题，re用得少没答上，回头写时发现问题所在。电话号码匹配问题：re.match()只会从文本开头开始匹配，否则在调用group()时会报错.错误提示：NoneType’ object has no attribute ‘group’错误代码示例：import retheStrB = '''面对疾风吧13981111111沃日15511111111biubiubiu咔咔d...
2019-12-05 12:53:23
1183
原创 软件测试基础（理论）
软件测试大致工作内容：评审软件需求规格说明书制定测试计划和方案编写、评审测试用例搭建测试环境，准备测试数据执行测试，发现缺陷，提交缺陷报告，并回归测试缺陷分析测试结果，编写测试报告，度量软件的质量软件测试是什么：程序测试是为了发现错误而执行程序的过程好的测试方案是能够发现难以被发现的错误的测试方案软件测试的定义：使用人工和自动手段来运行或测试某个系统的过程，其目的在...
2019-11-26 21:00:15
210
原创 web自动化测试（理论）
自动化：说明：有机器代替人为完成指定目标的过程优点：减少人工效率高产品规格同一规模化自动化测试：说明：让程序代替人为去验证程序功能的过程测试方法：回归测试：指修改了旧代码后，重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误压力测试：给软件不断加压，强制其在极限的情况下运行，观察它可以运行到何种程度，从而发现性能缺陷兼容性测试：软件之间能否正确地进行交互和共...
2019-11-26 20:59:34
325
原创 scrapy运行错误：Unhandled error in Deferred:
运行scrapy时发现的错误：ImportError: DLL load failed: 找不到指定的程序。Unhandled error in Deferred:2019-11-24 16:29:53 [twisted] CRITICAL: Unhandled error in Deferred:原因：缺少sqlite模块。安装方法：下载sqlite3.def、sqlite3.dll...
2019-11-24 20:18:06
1582
原创 Scrapy运行错误：Unknown command: crawl Use "scrapy" to see available commands
在终端使用cd进入指定的爬虫文件目录下运行：scrapy crawl xxx
2019-11-02 13:14:34
7160
原创 win10下安装Scrapy
win10下安装scrapy不能直接使用pip3 install Scrapy，需要先安装依赖库，Twisted和PyWin32的百度盘链接附在下面了。1.安装lxml：pip install lxml2.安装wheel这个好早之前安装的，具体忘了。3.安装Twisted首先需要下载Twisted，将它拷贝在Python的路径winPy/Scripts中，这个路径有的安装教程说随便放...
2019-10-29 00:59:37
214
原创 文件存储
示例代码：html = '''<div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> ...
2019-10-28 10:21:26
106
转载 bs4
bs4说明：bs4是一个强大的解析工具，它借助网页的结构和属性等特性来解析网页。bs4的代码非常简洁示例：from bs4 import BeautifulSoupsoup = BeautifulSoup(html, 'lxml')result = soup.tilte.string)说明：html是被解析的html，result是解析的结果，title是html的标题，strin...
2019-10-25 19:25:51
351
原创 Xpath
xpathxpath常用规则表达式描述nodename当前所有节点/从当前节点选取直接子孙节点//从当前节点选取子孙节点.选取当前节点…选取当前节点的父节点@选取属性xpath通配符通配符描述举例说明*匹配任何元素节点xpath(‘div*’)匹配div下所有子节点@*匹配任何属性节点...
2019-10-25 19:15:08
213
原创 Numpy（算术/索引切片/布尔索引）
数组算术说明：numpy的数组能够进行数学运算，加减乘除等与使用与python一致。示例：import numpy as np# + - * / #加减乘除arr = np.array([[1,2,3],[4,5,6]])print("arr+1：",arr+1)print("arr-1：",arr-1)print("arr*2：",arr*2)print("arr/2：",a...
2019-10-23 10:31:53
366
原创 Numpy(array创建/使用)
Numpy（以下简称np）array函数语法：numpy.array(object,dtype=None,copy=True,order=None,subok=False,ndmin=0)，其中：object ： 是数组或嵌套的数列dtype ： 是数组元素的数据类型，可选，默认为浮点型copy ： 是设置是否需要复制，默认需要order ： 创建数组的样式，c代表行方向，f代表列方...
2019-10-22 17:20:04
3630
2
原创 numpy导包错误： DLL load failed
参考网上的办法，添加环境变量：点击桌面图标：此电脑——属性——高级系统设置——环境变量——系统变量——双击Path。具体根据个人安装路径做出修改，usr我没找着，直接添加就行。C:\Anaconda3C:\Anaconda3\Library\mingw-w64\binC:\Anaconda3\Library\usr\binC:\Anaconda3\Library\binC:\Anac...
2019-10-20 17:18:53
1043
原创 Python笔记（数据/变量/语句）
交互模式下编辑执行代码：进入：#python3退出：#quit / exit注释：# 或者快捷 ctrl + /数据:数字：int：整型。默认十进制。二进制为0b开头，范围0-1。八进制为0o开头，范围0-7。十六进制0x开头，范围0-F。进制转换原理链接（转载，侵删）：进制间转换float：浮点型。两种形式。一、默认小数形式。如3.1415926，3.1，3.0。...
2019-10-19 10:26:00
1246
原创 Python笔记（字符/字符串/编码值）
字符串：**str：**记录文字信息。表达式：单引号：’ ’双引号：""三引号：’""’注：多种引号的意义在于字符串中内含引号时可以进行区分处理。如：speaker_chen='''我和马坨坨说：" I'm your dear father " '''print(speaker_chen)字符串的拼接：+ ：作用：用于拼接字符串如： x = 'a'+'b'+=：...
2019-10-19 10:25:38
723
原创 网络爬虫（请求和响应）
URL：全称Uniform Resource Identifier，简单的可以认为是目标网站的链接。超文本传输协议：HTTP：全称Hyper Text Transfer Protocol，用于从网络传输超文本数据到本地浏览器的传送协议。HTTPS：即HTTP的加密版，传输安全性强。说明：1.HTTPS可以访问HTTP和HTTPS两种协议的网站。2.HTTPS维护比HTTP昂贵。HTT...
2019-10-19 10:24:36
260
原创 re（基本用法）
常用匹配规则，转载自《Python3网络爬虫开发实战》作者崔庆才，侵删。\w 匹配字母、数字、下划线,等价于[a-zA-Z0-9_] \w可以匹配汉字(python),\W 匹配不是字母、数字、下划线的其他字符\s 匹配任意空白字符,等价于(\t\n\r\f)\S 匹配任意非空字符\d 匹配数字,等价于[0-9]\D 匹配不是数字的字符\A 匹配字符串开头\Z 匹配...
2019-10-17 18:50:53
11430
1
原创 网络爬虫（requests基本使用）
GET请求类型：代码总览import requestsurl = "www.xxx.com"params = {}headers = {}timeout = 10r = requests.get(url,params=params,headers=headers,timeout=timeout)r.encoding = 'utf-8'theData = r.text...
2019-10-13 21:39:42
415
原创 User-Agent设置为随机
user_agent_list=[ 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Triden...
2019-10-12 21:40:47
287
原创 网络爬虫（urlib基本使用）
urlib说明：urlib是Python内置的HTTP请求的库urlib分为四个模块：request：请求模块，用于发送模拟请求。error：异常处理模块，帮助解决错误。parse：工具模块，提供url处理方法。robotparser：用于识别网站的robots.txt文件，根据robots.txt来判断该网站是否可爬。关于robots.txt文件，这个是网络爬虫的君子协议，当然很多...
2019-10-11 21:44:25
491
原创 win10下python文件可以运行但无法进入交互模式
在安装其他包和软件得时候无意中把python的环境变量覆盖了，导致cmd下无法进入python交互模式。解决办法：win10找到winpy文件，确认有python.exe文件，然后点击python.exe属性，复制路径，将该路径配置到环境变量中（如何配置自行百度）。如果手动实在找不到python.exe在那，用搜索功能，会出现好几个能运行的python文件，python应用程序的路径即目标路...
2019-10-10 10:37:07
1415
原创 CentOS使用笔记
习惯性用乌班图，想重新搞个虚拟机，一不小心搞成了CentOS，发现还是有很多区别。CentOS遇坑点：1.CentOS许多操作需要管理员权限，输入su进入root权限模式。2.软件安装：1.CentOS使用的是rpm包，不同于乌班图。2.在软件包的路径，输入指令yum localinstall softwareName安装软件包(softwareName是软件包的名称)。3.安装完毕后...
2019-10-07 19:03:58
327
1
原创 智联招聘爬虫
import requestsfrom bs4 import BeautifulSoupimport pandas as pdfrom pandas import DataFrame, Seriesimport jsonimport timeimport Against_Reptilia_solveurl = "https://fe-api.zhaopin.com/c/i/sou"...
2019-10-02 15:33:34
1040
2
原创 Shell笔记（自定义函数）
基本函数语法：[ function ] funname [()]{ action; [return int;]}如：demofun(){ echo "firstFunction"}demofun函数传参说明：shell中的传参不需要提前设置参数数量和类型如：funWithParam(){ echo "第一个参数为 $1 !" echo "第二个参数...
2019-10-02 11:37:20
124
原创 Shell笔记（运算符/关系运算符/布尔运算符）
运算语法：((运算式))、((运算式))、((运算式))、[运算式]expr a + b：加expr a - b：减expr a * b：乘`expr a / b：除expr a % b：求余a=b：将b的值赋给aa == b：判断a是否等于b，返回结果为布尔值a != b：判断a是否不等于b，返回结果为布尔值注意：shell的字符型数值运算时，运算符与数值间存在空格，否则会被...
2019-09-27 11:52:38
450
原创 Shell笔记（变量/字符串）
Shell：说明：shell是一种命令语言，也是一种程序设计语言。通常shell都是用于脚本程序开发。shell与linux的关系：shell的中文意思为“壳”。shell是包裹在linux外部的一层壳，壳通过shell程序执行一序列的linux程序。shell能完成同样linux能完成的任务，区别在于shell能够程序化的执行一系列linux指令，而不用人为的一直输入指令。Shell脚本运...
2019-09-27 10:28:41
229
原创 Hadoop笔记（组成、特点、相关）
Hadoop组成：1.HDFS（Hadoop Distributed File System）：说明：分布式文件系统。作用：存储海量数据特点：高容错、高数据吞吐量2.MapReduce：说明：并行处理大数据集的Yarn基本系统。作用：计算海量数据3.Yarm：作用：资源管理和任务调度的一个框架4.Common：作用：支撑其他模块。Hadoop特点：1.高可扩展性。说明：...
2019-09-24 16:14:45
247
原创 Liunx基础
终端启动/退出：进入终端：ctrl +alt + t 、点击图标退出终端：$exit 、 ctrl + dlinux指令格式：命令名 【选项】【参数】linux的路径：绝对路径：以‘/’开头的为绝对路径相对路径：不以‘/’开头的为相对路径，相对路径的位置与当前路径有关。常规指令：pwd ：显示当前操作的路径文件（夹）相关信息：ls ：显示当前目录下的（部分）文件（夹）...
2019-09-17 17:51:43
402
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人