- 博客(15)
- 收藏
- 关注
RSS订阅原创 Scrapy框架
Scripy特点：是一个用python实现的为了爬取网站数据、提取数据的应用框架scrapy使用的Twisted异步网络库来处理网络通讯使用scrapy框架可以高效（爬取效率和开发效率）完成数据爬取scrapy安装：python -m pip install scrapyscrapy架构图scrapy五大组件及作用引擎（Engine）:整个框架核心调度器（Scheduler）:维护请求队列下载器（Downloader）:获取响应对象爬虫文件（Spider）:数据解
2022-04-29 21:16:54
690
原创 Selenium
selenium概述定义：开源的web自动化测试工具用途：对web系统进行功能性测试，版本迭代时避免重复劳动兼容性测试（测试web程序在不同操作系统及浏览器中是否运行正常）对web系统进行大数量测试特点：可根据指令操控浏览器只是工具，必须与第三方浏览器结合使用安装：linux：sudo pip3 install seleniumwindows:python -m pip install selenium环境安装：chromedriver：ht...
2022-04-28 17:03:31
955
原创 ajax-
1.AJAX1.什么是AJAX Asynchronous Javascript And Xml 异步的 JS 和 xml(EXtensible Markup Language) 通过 JS 异步的向服务器发送请求并接收响应数据 同步访问： 当客户端向服务器发送请求时，服务器在处理的过程中，浏览器只能等待，效率较低 异步访问： 当客户端向服务器发送请求时，服务器在处理的过程中，客户端可以做其他的操作，不需要一直等待 AJAX优点：
2022-01-19 14:27:35
81
原创 mysql
1、数据库概念数据库存储数据的仓库（逻辑概念，并未真实存在）数据库软件真实软件，用来实现数据库这个逻辑概念数据仓库数据量更加庞大，更加侧重数据分析和数据挖掘，供企业决策分析之用，主要是数据查询，修改和删除很少 磁盘 数据格式 带宽2、MySQL的特点关系型数据库跨平台支持多种编程语言（python、java、php）基于磁盘存储，数据是以文件形式存放在数据库目录/var/lib/mysql下3、启动连接服务端启动sudo /etc/init.d/my
2022-01-19 12:06:37
226
原创 正则表达式------元字符
元字符普通字符:匹配每个普通字符对应的字符In:re.findall('abc','abcfkabcjf')Out:['abc','abc']或关系('|'):匹配|两侧任意的正则表达式即可In:re.findall('com|cn','www.baidu.com|www.jd.cn')Out:['com','cn']匹配单个字符('.'):匹配除换行外的任意一个字符In:re.findall('aa.c','aatc,aavc,aarc')out:['aatc',..
2022-01-06 17:34:56
405
原创 Redis --- 列表
1、元素是字符串类型2、列表头尾增删快，中间增删慢，增删元素是常态3、元素可重复4、最多可包含2^32-1个元素5、索引同python列表增加数据LPUSH key value1 value2......从列表头部压入元素返回list最新的长度RPUSH key value1 value2......从列表尾部压入元素返回list最新的长度RPOPLPUSH src dst从列表src尾部弹出一个元素，压入到列表dst的头部返回被弹出的元素
2022-01-03 12:04:24
432
原创 Redis数据库 -- 字符串
1、字符串、数字、都会转为字符串来存储2、以二进制的方式存储在内存中 key命名不宜过长，消耗内存，且在数据中查找这类键值的计算成本高 一个字符串类型的值最多能存储512M内容常用命令：set key value nx ex：设置一个字符串的key nx --- no exist 代表当key不存在时，才存储这个key ex --- expire 过期时间，单位s默认情况下，key没有过期时间，需要手...
2021-12-09 23:46:31
409
原创 Redis数据库（二）
配置文件： 配置文件所在路径 /etc/redis/redis.conf 修改配置文件之前要先备份一下 sudo cp /etc/redis/redis.conf /etc/redis/redis_bak.conf sudo chown redis:redis /etc/redis/redis_bak.conf 添加密码 requirepass 密码 重启服务：...
2021-12-09 22:14:17
637
原创 Redis数据库（一）
Redis是非关系型的k,v型数据库特点：1、开源的、使用C编写，基于内存且支持持久化2、支持数据类型丰富，字符串strings、散列hashes、列表lists、集合sets、有序集合sorted sets等3、支持多种编程语言（C C++ Python Java PHP ...）4、单进程单线程功能：1、持久化 将内存中的数据保存到磁盘中，保证数据安全，方便进行数据备份和恢复2、过期键功能 为键设置一个过期时间，让它在指定时...
2021-12-09 21:40:05
509
原创 python练习题（一）
编程实现：输出100到201（含201）之间，能被7整除但不能被5整除的数。for i in range(100,202): if i % 7 == 0 and i % 5 != 0: print(i)编程实现：输出下面三行内容；11 12 13 14 15 21 22 23 24 25 31 32 33 34 35for i in range(11,16): print(i,end=' ')print('')for j in range(2.
2021-12-05 23:27:29
2173
原创 xpath匹配数据时，匹配到\r\n
把item['time'] = table.xpath('.//font/text()')换成item['time'] = table.xpath('normalize-space(.//font/text())')normalize-space(xpath表达式)
2021-11-29 00:04:37
663
原创 为控制台设置不同颜色和背景色
\033[显示方式；前景色；背景色m显示方式值及说明：0：终端默认设置1：高亮显示4：使用下划线5：闪烁7：反白显示8：不可见前景色、背景色对应色值：颜色 前景色 背景色黑色 30 40红色 31 41绿色 ...
2021-11-27 22:34:18
333
原创 pycharm正则替换时匹配不到数据
要把上面内容的属性和数据都添加上双引号首先CTRL+R打开‘正则替换框’点击一下“ .* ”图标，表示regex然后在上面的框中输入(.*?): (.*)在下面的框中输入“$1”:"$2"然后点击replace all 完成替换...
2021-07-06 17:06:02
706
2
原创 pycharm导入requests时出现ModuleNotFoundError: No module named ‘requests‘报错
关于pycharm导入requests时出现ModuleNotFoundError: No module named 'requests'报错解决方法：看到网上好多回答说在cmd里面执行python -m pip install requests。但是我之前执行过，再次执行的时候提醒我要更新一下requests。...
2021-05-12 21:30:15
331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人