- 博客(52)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 python.使用selenium新定位方法 driver.find_element(By.‘方式‘, “xxx“) 和 解决复制粘贴不生效也不报错的坑
selenium新定位方式selenium 复制粘贴不生效也不报错
2023-01-05 16:37:58
2209
转载 访问某个接口时报错:requests.exceptions.SSLError: HTTPSConnectionPool(host=‘ser.tapai.tv‘, port=
记录一下接口测试时遇到的问题, 解决访问某个接口时报错;requests.exceptions.SSLError: HTTPSConnectionPool(host=‘ser.tapai.tv’, port=1.先检查pip有没安装cryptography，pyOpenSSL，certifi要是没有先安装pip install cryptographypip install pyOpenSSLpip install certifi2.要是以上这些已安装还是继续报错，则在网页请求代码中加上这个 v
2020-11-03 15:21:40
325
原创 mac电脑，charles,安卓手机如何配置代理，以及配置代理之后无法上网。已解决
设备：电脑：mac book pro手机：小米10charles：4.5.6方法一：步骤：首先确保电脑，手机在同一局域网，charles设置代理：proxy -> proxysettings；设置如下：（端口号可以自己设置，默认为8888）手机端设置代理：设置 -> wlan -> 点击你连接的wifi进入详情，找到代理 -> 将代理改为手动，输入你的主机名（就是连接的wifi的ip），输入你设置的端口号，点击保存，（查看IP和你设置的端口号可以在charl
2020-09-04 12:11:13
5485
原创 Ubuntu系统安装jdk，提示bash: /usr/lib/java/jdk1.8.0_251/bin/java: 没有那个文件或目录
配置好环境变量之后执行1：source /etc/profile执行2：java -version提示：bash: /usr/java/jdk/jdk1.8/bin/java: 没有那个文件或目录如果环境变量没问题就是缺少编译环境apt-get install libc6-i386完美解决
2020-06-30 09:39:44
3583
4
原创 selenium基础（续，主要以演示代码为主）
安装：Chromedriver操作系统 chrome chromedriver 三者版本要相同pip install seleniumselenium的优缺点缺点：慢，大优点：自动处理js# 利用selenium构建cookie池，再利用requests模块携带cookie去发送请求页面等待手动实现显示等待：按照规定的次数，规定的频率，不断判断某个标签是否存在，如果...
2019-08-11 20:13:28
204
1
原创 高性能爬虫的实现（多进程，多线程，线程池，协程池）
爬取糗事百科,正常爬取import datetimeimport requestsfrom lxml import etreeclass Qiushi(object): def __init__(self): self.url = 'https://www.qiushibaike.com/8hr/page/{}/' self.headers = {...
2019-08-11 10:53:48
537
原创 python 爬虫 之 数据提取
所有代码均是在虚拟机的环境下写的，如果如果直接粘贴代码在win的环境下运行有可能会出bug（虚拟机是 linux 系统）1. 数据类型结构化数据json，xml，处理方式：直接转化为python类型非结构化数据HTML， 处理方式：正则表达式，xpath2. json模块 json.loads() json字符串类型转换成python json.dumps() py...
2019-08-08 19:42:13
798
原创 requests 模块的使用
1. 使用requests 发送post请求 responst = requests.post(url, data={请求体} )2. 代理 正向代理和反向代理的区别 反向代理：站在客户端的角度上，为服务器代理的都叫反向代理 正向代理：站在客户端的角度上，为客户端代理的都叫正向代理...
2019-08-05 16:15:48
361
1
原创 爬虫基础
爬虫的概念模拟浏览器 发送请求 获取响应爬虫的分类通用爬虫 通常指搜索引擎的爬虫聚焦爬虫爬虫的流程1. url/url_list2. 发送请求获取响应3. 对响应内容进行提取 a. 提取数据，处理或保存 b. 提取url，重复步骤2HTTP和HTTPS的复习1. http和https的概念 http 超文本 传输 协议 80端口 HTTPS http+ssl(...
2019-08-05 15:57:29
123
原创 python之scrapy框架（1）安装与一般流程
scrapy框架scrapy框架使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。默认同时16个并发请求安装：scrapy命令：sudo apt-get install scrapy 或者 pip install scrapy一、异步和非阻塞的区别异步是过程，非阻塞是状态异步：调用在发出之后，这个调用就直接返回，不管有无结果，异步是过程非阻塞：关注的是程序...
2019-07-26 13:48:33
260
原创 python mongodb数据库的基础教程
Mongodb 数据库一、优势：（集合，去重）易扩展：数据之间无关系大数据量，高性能：数据库的结构简单，非关系性灵活的数据模型：无需事先为要存的数据建立字段，随时可以储存自定义的数据格式，二、安装这个安装时基于Ubuntu虚拟机的安装（虚拟机16.04）5. 命令安装：安装：sudo apt-get install mongodb 或 sudo apt-get install ...
2019-07-23 10:07:10
346
原创 反爬与反反爬的简单介绍
反反爬：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie，代码中也可以这样去实现。反爬：验证用户身份 （需要模拟用户身份）分析用户行为 （模拟用户行为）访问频率：ip代理池，多账号，阈值，不断测试看看判断爬虫与用户的临界值在线时间：设置休眠设置陷阱： 仔细观察吧，数据隐...
2019-07-22 08:41:30
627
原创 selenium 基本使用
使用代码流程from selenium import webdriverdriver = webdriver.Chrome()driver.get('http://www.baidu.com')截图# 截图功能# driver.save_screenshot('python.png')el = driver.find_element_by_xpath('//*[@id="...
2019-07-21 08:53:11
346
原创 xpath 语法与使用
基本语法xpathxpath可以帮助我们从 elements 中定位数据选择节点（标签）/html/head/meta : 能够选中html下的head下的所有meta标签// 能够从任意节点开始选择//li 当前页面上的所有li标签/html/head//link head下的所有的link标签@符号的用途选择具体某个元素//div[@class...
2019-07-12 02:48:00
597
转载 requests模块发送post请求的方法 和 使用代理ip的方法
一、requests模块(post)请求篇‘’’利用parse模块模拟post请求分析百度词典分析步骤：打开F12尝试输入单词girl，发现每敲一个字母后都有请求请求地址是 http://fanyi.baidu.com/sug利用NetWork-All-Hearders，查看，发现FormData的值是 kw:girl检查返回内容格式，发现返回的是json格式内容==>需...
2019-06-29 17:01:39
4646
转载 Redis基本使用
Redis数据库Redis 是一个高性能的key-value数据库主要用Redis实现缓存数据的存储,可以设置过期时间.对于一些高频读写、临时存储的数据特别适合性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/sredis String基本使用设置键值 set key value 例：set name yuhao 设置 键为n...
2019-06-27 08:50:50
197
原创 Git 管理源代码，git单人操作和远程仓库github 的操作
Git1. git工作区，暂存区 和 仓库区工作区：对于 添加、修改、删除 文件的操作，都发生在工作区中暂存区：暂存区指将工作区中的操作完成小阶段的储存，是版本库的一部分仓库区：仓库区表示个人开发的一个小阶段的完成注意：1. 仓库区中记录的各版本是可以查看并回退的2. 但是在暂存区的版本一旦提交就再也没有了一、 Git 单人本地仓库操作安装gitsudo apt-get ...
2019-06-09 16:21:05
306
原创 保持状态的cookie 和 session 的过程简述以及类视图与中间件介绍
状态保持浏览器请求服务器是无状态的无状态：指一次用户请求时，浏览器、服务器无法知道之前这个用户做过什么，每次请求都是一次新的请求。无状态原因：浏览器与服务器是使用Socket套接字进行通信的，服务器将请求结果返回给浏览器之后，会关闭当前的Socket连接，而且服务器也会在处理页面完毕之后销毁页面对象。有时需要保持下来用户浏览的状态，比如用户是否登录过，浏览过哪些商品等实现状态保持主要...
2019-06-06 16:02:59
180
原创 视图的介绍 ，HttpRequest 和 HttpResponse 的介绍使用方法
视图重点1、HttpRequest 1. 位置参数和关键字参数 2. 查询字符串 3. 请求体:表单数据,JSON数据 4. 请求头2、HttpResponse 1.HttpResponse 2.JsonResponse 3.redirect3、类视图 1.类视图的定义和使用 2.类视图装饰器(难点)一、试图...
2019-06-06 15:59:28
1781
原创 Django框架中模型的配置与数据库的操作
ORM表------->类字段----->属性模型重点：、模型配置数据的增删改增：book = BookInfo() book.save() 和 BookInfo.objects.create()删：book.delete() 和 BookInfo.objects.get().delete()改：book.name=‘xxx’ book.save() ...
2019-06-04 23:32:53
388
原创 pycharm 取消连按两下shift出现的全局搜索
在来回切换中英文输入法的时候连按两下shift总是会蹦出来全局搜索框真的很是麻烦，现在是把这个框给禁用掉1.按ctrl+shift+a，弹出如下图的搜索框2.输入registry，然后按回车3.找到“ide.suppress.double.click.handler”，将后面的复选框勾上4.勾选上复选框后直接点击close，然后双击shift的时候就不会再出现全局搜索框了...
2019-06-03 14:47:31
4862
16
原创 Django流程（Django虚拟环境的搭建，项目创建以及模板、视图、模型的简单介绍）
一、Django介绍MVT模式：1. M全拼为Model，与MVC中的M功能相同，负责和数据库交互，进行数据处理。2. V全拼为View，与MVC中的C功能相同，接收请求，进行业务处理，返回应答。3. T全拼为Template，与MVC中的V功能相同，负责封装构造要返回的html。在虚拟机中搭建django虚拟环境安装虚拟环境的命令 :sudo pip install virtua...
2019-06-02 16:23:18
450
原创 集群配置需要的文件
配置机器1在演示中，172.16.179.130为当前ubuntu机器的ip在172.16.179.130上进⼊Desktop⽬录，创建conf⽬录在conf⽬录下创建⽂件7000.conf，编辑内容如下port 7000bind 172.16.179.130daemonize yespidfile 7000.pidcluster-enabled yescluster-con...
2019-06-01 08:39:13
428
原创 Redis数据库的基本介绍 和主从关系的搭建与集群的搭建和问题解析
一、Redis介绍Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。1.非关系型数据库（nosql）2.nosql中存储的数据都是Key Values形式3.NoSQL中的产品种类相当多：RedisMongodbHbase hadoopCassandra hadoopNoSQL和SQL数...
2019-05-31 20:43:02
298
原创 正则表达式的基本应用与常用的正则表达式函数
正则表达式1.在实际开发过程中经常会有查找符合某些复杂规则的字符串的需要，比如:邮箱、图片地址、手机号码等，这时候想匹配或者查找符合某些规则的字符串就可以使用正则表达式了。正则表达式概念正则表达式就是记录文本规则的代码3.正则表达式的特点1. 正则表达式的语法很令人头疼，可读性差2. 正则表达式通用行很强，能够适用于很多编程语言4.re模块介绍简单代码：导入re模块 im...
2019-05-29 21:35:27
261
原创 深浅拷贝，生成器的创建方式，with语句和上下文管理器，property属性的基础介绍
property属性1. property属性的介绍property属性就是负责把一个方法当做属性进行使用，这样做可以简化代码使用。定义property属性有两种方式装饰器方式类属性方式2. 装饰器方式‘’’使用property类属性方式实现类中属性的简化操作‘’’class Account(object): def __init__(self,name,balace)...
2019-05-29 21:30:39
135
原创 闭包和装饰器基本使用方法
1. 闭包在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数称为闭包。闭包构成的条件1. 在函数嵌套(函数里面再定义函数)的前提下2. 内部函数使用了外部函数的变量(还包括外部函数的参数)3. 外部函数返回了内部函数闭包的示例代码：定义一个外部函数(1) def func_out(num1): # 定义一个内部函...
2019-05-25 16:38:51
154
原创 MySQL数据库的高级使用和索引及事务的简单使用及介绍
1.将查询结果插入到其他列表问：只有一个goods表，我们想要增加一个商品分类信息，只通过goods表无法完成商品分类的添加，那么如何实现添加商品分类信息的操作?答：1. 创建一个商品分类表，把goods表中的商品分类信息添加到该表中。2. 将goods表中的分类名称更改成商品分类表中对应的分类id代码：1. 创建商品分类表：create table good_cates(id ...
2019-05-24 00:06:18
619
原创 mysql数据库的条件查询（二）
1. 排序select * from 表名 order by 列1 asc|desc [,列2 asc|desc,…]语法说明:先按照列1进行排序，如果列1的值相同时，则按照 列2 排序，以此类推asc从小到大排列，即升序desc从大到小排序，即降序默认按照列值从小到大排序（即asc关键字）例1：查询未删除男生信息，按学号降序:select * from students wher...
2019-05-22 13:45:03
385
原创 jQuery的简单介绍和用法 与json 和 ajax 的简单使用介绍
JS定时器js 定时器有两种创建方式：1.setTimeout(func[, delay, param1, param2, ...]) ：以指定的时间间隔（以毫秒计）调用一次函数的定时器2.setInterval(func[, delay, param1, param2, ...]) ：以指定的时间间隔（以毫秒计）重复调用一个函数的定时器setTimeout函数的参数说明:1.第一个参...
2019-05-20 23:40:18
235
原创 MySQL数据库的基本使用（一）
MySQL数据库的基本使用一1.数据库数据库的介绍：数据库就是存储和管理数据的仓库，数据按照一定的格式进行储存，用户可以对数据库中的数据进行增加，修改，删除，查询等操作数据库的分类关系型数据库非关系型数据库关系型数据库：指采用了关系模型来组织的数据库，关系模型指的就是二维表格模型，关系型输一局库中核心元素：1.数据行2.数据列3.数据表4.数据库（数据表的集合）常用的关系...
2019-05-20 23:39:55
641
原创 JavaScript的基础介绍和使用方法
css属性1.布局常用样式属性：width ：设置元素（标签）宽度，如：width:100px;height：设置元素（标签）高度，如：height:200pxbackground：设置元素背景色或者背景图片 如：background:gold;设置元素的背景色background:ul(images/logo.png) ：设置元素的背景图片border ：设置元素四周的边框，如：b...
2019-05-18 16:39:13
322
原创 html + css基础，HTML结构+常用标签。css引入方式+选择器
html 介绍html叫超文本标记语言,是开发网页的语言html中的标签大多数都是成对出现的, 格式: <标签名></标签名>html 基本结构<!-- 这是一个HTML的注释--><!-- 快捷键 使用 ctrl + / mac: command + / --><!-- 这个注释可以使用单行,也可以多行 -->...
2019-05-16 23:13:11
319
原创 HTTP，静态Web服务器
1. HTTP 协议HTTP：超文本传输协议，基于TCP传输协议，发送数据之前需要先建立连接2.URLURL：统一资源定位符，（网址）URL组成部分：https://news.163.com/18/1122/10/E178J2O4000189FH.htmla.协议部分：https:// 、http://、ftp://b.域名部分：news.163.comc.资源路径部分：/18/1...
2019-05-15 23:40:20
1074
原创 网络编程，IP地址、端口、tcp、socket、TCP客户端，服务端和TCP多任务版服务端程序
1. IP地址的概念IP地址就是标识网络中设备的一个地址，查看IP地址：win: ipconfigLinux 和 mac OS：ifconfig检查网络是否正常：ping命令ping www.baidu.com2.端口和端口号端口：端口是传输数据的通道每一个端口都有一个对应的端口号，端口号的分类：知名端口号：0-1023动态端口号：1024-65535开发应用程序使...
2019-05-14 00:32:11
813
原创 多任务编程，线程，多线程，互斥锁
回顾：进程时最小的资源分配单位1.线程线程时最小的执行单位线程也是实现多任务的一种方式一个程序在执行时会对应一个主进程，主进程中会有一个主线程通过主线程手动产生的线程称为子线程2.多线程的使用1.导入模块 import threading2.实现多任务的功能函数 def3.创建线程 线程名 = threading.Thread(target=定义的函数名)4.启动线程 子线程...
2019-05-11 20:48:23
220
原创 第三天 Vim的基础操作以及 多进程的基础使用
1.用户操作添加用户：sudo useradd -m username-m 用来创建用户时为用户在home目录下创建一个同名家目录，如果不指定则不创建· -g 用来指定用户所属组，不指定时，默认加到与用户同名的组里/etc/passwod 文件，用来保存用户信息/etc/shadow 文件，用来保存用户的密码，密码是加密后的密码/etc/group 文件，用来保存系统中的所有组...
2019-05-10 21:10:08
285
原创 python中Linux基础命令2，重定向、查看文件、软硬链接、文本搜索、查找文件、文件权限、以及压缩和打包
1.echo 和 重定向命令a. echo $？ 显示上一次命令或程序的执行状态码b.echo $PATH 显示系统环境变量 PATHa. > 输出重定向，用来将输出道屏幕的数据，重定向到一个指定位置（一般是指一个文件）不管制定的文件是否存在，都会创建新文件保存数据>> 输出重定向，区别使用 >> 是追加数据2.查看文件内容 和 管道查看文件内容...
2019-05-08 20:39:16
566
原创 python Linux基础命令，复制，移动文件 创建，删除文件及目录，通配符的简单介绍及使用
1.Linux 命令格式命令 [选项]…[文件]…2. 查看当前目录及显示当前目录下的内容a.查看当前目录 pwdb.查看当前目录下的内容 lsls 拓展：ls --help：获取帮助ls -a: 查看隐藏文件ls -l: 以列表的形式查看显示ls -h: 可以显示文件大小。一般会配合 -l 使用。ls -alh:查看所有文件以列表形式显示并显示文件大小ls -alh ...
2019-05-08 00:06:52
1403
翻译 系统学习python基础。子类访问父类私有属性，子类调用及重写父类方法。多层继承的介绍及使用
1. 子类中访问父类中的私有属性和私有方法如果想使用父类中的私有属性和私有方法,那么就需要在父类中,为这些私有的属性和方法,提供相应的公有的接口方法来间接访问2. 如何为父类中的属性进行初始化在子类中如果定义了自己的初始化方法,那么这时父类的初始化方法就不会再执行了那么就导致父类中定义的属性无法初始化,子类对象就无法使用继承自父类的属性如果想正常初始化,需要在子类的初始化方法中,手动调用...
2019-04-27 10:19:58
2064
空空如也
python3中 如何在print输出中将输出的数据右对齐
2019-04-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人