- 博客(89)
- 收藏
- 关注
RSS订阅原创 多线程爬取毛豆新车
#运用多线程爬取详情页import requestsfrom lxml import etreefrom queue import Queueimport threadingimport jsonnum=0#设置每一页的链接网址class shengchanshang(threading.Thread): def __init__(self,car_queue): ...
2019-05-09 22:50:35
271
原创 爬取我爱我家北京所有租房（代码没问题）
import requestsfrom queue import Queuefrom lxml import etreeimport randomimport threadingimport timedef iskong(a): if len(a): return a[0] else: return ''class xianch...
2019-05-09 14:56:13
902
原创 爬取链家所有地区的房屋信息
from selenium import webdriverimport timefrom lxml import etreeimport requestsdef iskong(a): if len(a): return a else: return ''#初始URLurl = 'https://bj.fang.lianjia.com...
2019-05-06 23:25:51
1082
原创 爬取链家在北京每个地区的房屋信息
提出要求链接如下：基本没有出现JSON数据的请求，所以非常简单from fake_useragent import UserAgentimport requestsfrom lxml import etreefrom math import ceilimport timeimport randomdef iskong(a): if len(a): ...
2019-05-06 13:57:24
511
原创 爬取信用中国
import requestsimport jsona = []def iskong(a): if len(str(a)) ==0: return '' else: return str(a)name = input("请输入爬取的网址:")url='https://www.creditchina.gov.cn/api/credit_i...
2019-05-06 09:27:57
5096
4
原创 贪婪模式和非贪婪模式
一、概念首先举个例子：example = "abbbbbbc"pattern = re.compile("ab+")贪婪模式：正则表达式一般趋向于最大长度匹配，也就是所谓的贪婪匹配。如上面使用模式pattern 匹配字符串example，匹配到的结果就是”abbbbbb”整个字符串非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配。如上面使用模式pattern 匹配字符串...
2019-04-28 20:21:27
2243
原创 一句话总结python中search和match的区别
1.re.match() 从第一个字符开始找, 如果第一个字符就不匹配就返回None, 不继续匹配. 用于判断字符串开头或整个字符串是否匹配,速度快.2.re.search() 会整个字符串查找,直到找到一个匹配。...
2019-04-28 20:18:49
887
原创 ajax流程
ajax的实现步骤(1) 通过事件调用js中的函数，通过函数创建ajax请求,也就是创建一个异步调用对象.(2) ajax里通过url键指定的值创建一个新的url执行HTTP请求,并指定该HTTP请求的方法（post、get...）、携带数据及验证信息 (csrf等)(3)服务端设置响应HTTP请求的函数.(4)服务端的这个相应函数使用ajax携带的数据，相关操...
2019-04-26 20:11:43
573
原创 爬虫过程中前端渲染经过
先放一张图方便理解：渲染引擎先通过请求拿到文档内容，浏览器解析HTML构建DOM树：然后将CSS解析构建CSS Rule 树：然后将DOM 树和CSS Rule 树结合形成Render 树：然后浏览器开始布局Render树(注意此前浏览器还不知道DOM的结构是怎么样的，可以自行观察上面各种树的图，并不能知道各种标签所在的位置，例如浏览器不知道某个div它应该放...
2019-04-26 19:24:50
670
原创 python中的异常（结合爬虫）
python中有一个非常重要的功能来处理程序中出现异常和错误一个是断言，还有一个就是异常处理现在我们来看下异常处理；python标准异常（记住常用的就可以）异常的概念异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。异常是Python对象，表示一个错误。当Pyt...
2019-04-26 19:13:48
540
原创 常用HTTP请求状态码
总结：2xx：200 OK 请求成功！表示从客户端发来的请求在服务器端被正常处理了。在响应报文内，随状态码返回的信息会因为请求的方法不同而发生变化，如使用GET方法，对应请求的资源的实体会作为响应返回，而使用HEAD方法，对应请求的资源不随报文首部作为响应返回。204 No Content该状态码表示服务器接收的请求已经正常处理，但是返回的响应报文中不含实...
2019-04-26 17:41:21
708
原创 四次挥手
由于TCP连接是全双工的，因此每个方向都必须单独进行关闭。这原则是当一方完成它的数据发送任务后就能发送一个FIN来终止这个方向的连接。收到一个 FIN只意味着这一方向上没有数据流动，一个TCP连接在收到一个FIN后仍能发送数据。首先进行关闭的一方将执行主动关闭，而另一方执行被动关闭。（1） TCP客户端发送一个FIN，用来关闭客户到服务器的数据传送。（2） 服务器收到这个FIN，它发回一个...
2019-04-26 08:53:52
413
原创 三次握手
第一次第一次握手：建立连接时，客户端发送syn包（syn=j）到服务器，并进入SYN_SENT状态，等待服务器确认；SYN：同步序列编号（Synchronize Sequence Numbers）。第二次第二次握手：服务器收到syn包，必须确认客户的SYN（ack=j+1），同时自己也发送一个SYN包（syn=k），即SYN+ACK包，此时服务器进入SYN_RECV状态；第...
2019-04-26 08:33:03
649
1
原创 爬虫中的登录请求
第一种：使用浏览器当中的COOKIE，将cookie封装到header请求头当中#缺点：每次我们都需要在浏览器中复制COOKIE信息，非常麻烦header={'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-...
2019-04-25 22:12:22
749
原创 爬虫中的规范化
爬虫中最主要的规范化就是保证参数和url的分离在get请求中在html中查看para_dic={ 'kw':'DNF剑魔', 'pn':0}#保证url和参数的分离url="http://tieba.baidu.com/f"response=requests.get(url,params=para_dic)print(response.text...
2019-04-25 22:08:56
728
原创 爬虫简介加几个小尝试
爬取百度贴吧网页（可分页爬取）一.导入模块import requests二.分析接口只要我们写什么，他就跳转到什么吧所以我们的结论就是：kw后面跟的是我们需要的贴吧名称三.开始爬取name = input("请输入您需要爬取的网站地址：")url = 'http://tieba.baidu.com/f?kw='+nameresponse = requests...
2019-04-25 21:59:08
566
原创 HTTP和HTTPS的区别
HTTPS（Secure Hypertext Transfer Protocol）安全超文本传输协议它是一个安全通信通道，它基于HTTP开发，用于在客户计算机和服务器之间交换信息。它使用安全套接字层(SSL)进行信息交换，简单来说它是HTTP的安全版。它是由Netscape开发并内置于其浏览器中，用于对数据进行压缩和解压操作，并返回网络上传送回的结果。HTTPS实际上应用了Netscape...
2019-04-25 20:03:34
573
原创 cookie和seesion的区别
目录cookie介绍：session介绍：cookie和session之间的共同之处在于：cookie和session之间的区别:cookie介绍： cookie是一种发送到客户浏览器的文本串句柄，并保存在客户机硬盘上，可以用来在某个web站点会话间持久的保持数据session介绍：session其实指的就是访问者从到...
2019-04-25 20:02:28
1015
转载 post请求和get请求的区别
HTTP协议中定义了浏览器和服务器进行交互的不同方法，基本方法有4种，分别是GET，POST，PUT，DELETE。这四种方法可以理解为，对服务器资源的查，改，增，删。GET：从服务器上获取数据，也就是所谓的查，仅仅是获取服务器资源，不进行修改。POST：向服务器提交数据，这就涉及到了数据的更新，也就是更改服务器的数据。PUT：PUT的英文含义是放置，也就是向服务器新添加数据，就是所谓的增。...
2019-04-25 19:59:28
575
原创 Django博客和故事集项目，链接自取
1.首页拥有游客和不是游客两个权限。权限在于，登录后可进行文章管理2.注册也和登录页COOKIE等已经全部设置好进入后：详情页搜索页，可进行模糊搜索：进入文章管理界面（必须注册才可以进行）链接如下：...
2019-04-23 17:31:19
704
原创 Django项目的创建与结构
一、创建django项目python中的django框架安装好之后，创建一个django项目：激活Anaconda环境：activate djangoPath切到你想要创建创建django项目的路径下django-admin startproject 项目名字django-admin startproject OurBlogdjango-admin是dja...
2019-04-23 17:17:04
637
原创 Python Django框架的安装
1.在Anaconda中创建django开发的环境python3.6.2django2.1conda create -n djangoPath python=3.6.2此时在Anaconda目录下的envs下多了一个djangoPath的文件（2）pip安装django包pip install django==2.1（3）pip安装django的依赖包...
2019-04-23 17:14:38
610
原创 web开发原理
web开发通常基于B/S结构(browser/server)request:请求 url: 统一资源定位符 header:请求头部 body:请求内容response:响应 header:响应头部 body:响应内容...
2019-04-23 17:11:59
484
原创 Docker安装mysql镜像
1.拉取mysql镜像docker pull mysql:8.02.查看镜像，找到mysql8.0的镜像iddocker images3.创建容器docker create -it --name mysql8.0 镜像id /bin/bash4.启动容器docker start -ai mysql8.05.查看所有的容器docker conta...
2019-04-23 17:10:24
548
原创 Docker安装镜像
1.拉取python镜像docker pull python2.查看镜像，找到python的镜像iddocker images3.创建并启动容器docker run -dit --name pythonFirst 镜像id /bin/bash4.进入容器docker exec -it pythonFirst /bin/bash5.退出容器exi...
2019-04-23 17:09:15
547
原创 python的第三方包的安装
一、常规安装1、pip install pymysql2、pip install pymysql -i 国内的源国内的源：清华大学 https://pypi.tuna.tsinghua.edu.cn/simple阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.u...
2019-04-22 20:10:02
820
原创 数据库的基本操作
一、数据库操作 database1.查看数据库SHOW DATABASES;2.创建数据库CREATE DATABASE 数据库名字 charset='utf8';3.选择数据库USE 数据库名字4.删除数据库drop database 数据库名字;二、表操作 table1.查看表SHOW TABLES;2.创建表...
2019-04-22 19:51:09
542
原创 简单的进入命令行的三个方法
1.win+R2.开始 cmd3.shift +鼠标右键------->在此处打开命令窗口1.win+R2.开始 cmd3.shift +鼠标右键------->在此处打开命令窗口
2019-04-22 19:45:28
1951
原创 mysql登录
登录mysql1.方法：mysql -u root -p密码 mysql -u root -p mysql -hlocalhost -uroot -p （1）mysql -u root -p1234Mysql为了安全，默认不允许远程用户root登录（2）mysql -u -root -p（3）mysql -hlocalhost -uroo...
2019-04-22 19:43:50
475
原创 liunx系统安装与基本操作
安装虚拟机Vmare与centos安装1.在网上下载vmare安装包2.点击后开始安装步骤修改路径，尽量不要放在C盘许可证5A02H-AU243-TZJ49-GTC7K-3C61NVF5XA-FNDDJ-085GZ-4NXZ9-N20E6UC5MR-8NE16-H81WY-R7QGV-QG2D8ZG1WH-ATY...
2019-04-18 22:37:57
649
1
原创 ORM基本操作
ORM介绍：用图介绍通常用我们用pymysql但是！！！！！！这个缺点非常多：1、对开发人员的要求比较高2、开发比较繁琐，sql命令的问题3、不利于数据库切换这时候 ，我们就需要用到ORM了ORM：数据库映射关系。将python语句转义成sql语句和数据库交互优点：1、使用方便2、执行效率下降ORM的基本操作1.下...
2019-04-18 21:38:52
807
原创 Flask的基础步骤和详解
一.基础步骤：1.导入数据库模块students = Student.query.all() #查询所有students = Student.query.filter_by(age = 18) #按条件查询student = Student.query.get(1) #自动以主键查询students = Student.query.group_by("age") #按照组2.基...
2019-04-18 20:43:30
952
转载 python单例模式详解
单例模式单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。比如，某个服务器程序的配置信息存放在一个文件中，客户端通过一个 AppConfig 的类来读取配置文件的信息。如果在程序运行期间，有很多地方都需要使用配置文件的内容，也就是说，很多地方都需要创建...
2019-04-18 13:28:31
5079
4
原创 Flask框架初尝试
一.Flask介绍Falsk是由python开发的轻量的web框架，小巧，灵活，一个脚本就可以启动一个web项目， 开发的难度比较大，flask好多的模块是按照django的思路开发的。和flask类似的框架还有web.py,同等版本下，web.py比flask好用，web.py的作者自杀了，后面web的质量就没有Flask好了。二.Flask的部署1.配置虚拟环境申明：...
2019-04-18 11:17:03
698
原创 Django学习基本框架
目录1、Django是干啥的？2、Django MVC MTV ORM3.Template1.变量{{}}2.标签{%%}3.过滤器{|}4.自定义标签过滤器Django的请求流程题外话Django知识点总结1、Django是干啥的？学习python的目的最终是：全栈开发工程师或者后端工程师，django是python开发的web开发框架2...
2019-04-18 10:05:27
538
原创 数据库的读写分离
（一）安装两个虚拟机作为服务器，后面的步骤会设置成一主一从。 关闭防火墙和selinux后互ping ip地址要能ping通（二）主从服务器都安装mariadb数据库主数据库安装mariadb，最好切换到/opt下执行yum -y install mariadb mariadb-server（1）安装Mariadb最好切换到/opt下执行yum -y...
2019-04-17 22:50:40
625
原创 Django项目部署
Centos下python3环境的部署1.Yum源检测yum是否完好Yum list当遇到以下问题1.Yum 进程没有关闭错误：1Yum 源没有配置2.配置yum源：https://www.linuxidc.com/Linux/2017-08/146364.htm错误：2Pid 进程idKill -9 pid 13972杀死进程...
2019-04-17 21:58:19
650
原创 mysql读写分离介绍
mysql主从备份介绍备份的好处：安全，复制，保存资料Mysql的主从备份Django网站访问量比较大，对数据库的读写操作十分频繁，分析access_log,发现有的数据表查询居 多，有的表写入居多，比如session，这样单个数据库执行两种业务操作负担较大，所有使用主从备 份的逻辑。liunx下的mariadb基本的配置（两台虚拟机）Linux服务器Serve...
2019-04-17 13:56:35
890
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人