大改的博客

转载 Djando中间件

 django的生命周期是:前端请求--->nginx--->uwsgi.--->中间件--->url路由---->view试图--->orm---->拿到数据返回给view---->试图将数据渲染到模版中拿到字符串---->中间件--->uwsgi---->nginx---->前端渲染。        今天就不讲其他内容...

转载 jquery发送数据的三种方式

​<script src="/js/jquery-1.11.3.js" ></script><script> // 采用get方式发送数据 function jq_get(){ //$.get("/demo","username=zs&password=123",function(obj){ var params = {

转载 python

Python是一个面向对象的解释型的交互式高级脚本语言：Python被设计成一种高可读性的语言，因为它大量地使用了英语中的单词作为关键字，而且不像其他语言使用标点符号构成复杂的语法结构，Python的语法结构非常少。Python是一种面向对象的语言：即Python是支持面向对象的，支持在对象中进行代码封装。Python是一种解释型语言：即Python程序是在运行时由解释器解释执行的，因而不...

原创 socket基本概念

#!/usr/bin/env python# -*- coding:utf-8 -*-"""网络常识概念1. OSI网络七层协议(必会) 应 表 会 传 网 数 物2. 常用协议在哪一层? 第七层:应用层 http smtp pop3 ftp 在应用层 http：超文本传输协议 ftp：文件传输协议 ssl在会话层 ssl 安全套接字协议...

原创 udp简单应用

server.py#!/usr/bin/env python# -*- coding:utf-8 -*-import socketsock = socket.socket(type=socket.SOCK_DGRAM) # 创建socket对象,注意参数sock.bind(('127.0.0.1', 8002)) # 绑定ipwhile True: client_m...

原创 智能机器人的简单聊天

robot.py#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsimport demjsonAPI_KEY = '5e0b241b7507443ca4a9eac826d0620f'def send_msg(msg, userID): url = "http://openapi.tuling123....

原创 爬虫面试题

一.项目问题：    一般面试官的第一个问题八成都是问一下以前做过的项目，所以最好准备两个自己最近写的有些技术含量的项目，当然一定要自己亲手写过的，在别的地方看的源码，就算看的再清楚，总归没有自己敲的了解的多。以下是抽出的几点1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎么解决的? 通过headers反爬虫：解决策略，伪造headers 基于用户行为反爬虫：动态变...

原创 scrapy去重原理

1.dont_filter默认为False,即开启去重;2.对于每一个url的请求，调度器都会根据请求得相关信息加密得到一个指纹信息，并且将指纹信息和set()集合中的指纹信息进行比对，如果set()集合中已经存在这个数据，就不在将这个Request放入队列中。如果set()集合中没有存在这个加密后的数据，就将这个Request对象放入队列中，等待被调度。...

原创 smtp复杂发邮件实例

#!/usr/bin/env python# -*- coding:utf-8 -*-# 发送带有附件的邮件import smtplibfrom email.mime.text import MIMETextfrom email.mime.image import MIMEImagefrom email.mime.multipart import MIMEMultipart# ...

原创 smtp简单发邮件实例

"""1.import2.端口3.从4.到5.标题6.内容7.创建一个对象8.连接协议9.登录10.编辑信息11.发送"""import smtplibHOST = 'smtp.163.com'PORT = 25FROM = '[email protected]'TO = '[email protected]'SUBJECT = '晚上'CONTE...

原创 yagmail简单发邮件实例

先pip install yagmail#!/usr/bin/env python# -*- coding:utf-8 -*-# 简单发邮件的实例import yagmail # 1.引入包sender = '[email protected]' # 发件人password = 'prhfjasjktmba' # 密钥receiver = '[email protected]...

原创 tcp客户端

#!/usr/bin/env python# -*- coding:utf-8 -*-"""tcp 客户端1.建立socket2.连接我们的服务器3.发送数据4.接受数据5.close"""import socketdef tcp_cli(): sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) ...

原创 tcp 服务端

#!/usr/bin/env python# -*- coding:utf-8 -*-"""TCP server端1. 建立一个socket2. 绑定IP和端口, tuple 端口的范围1-65535, 通常大于10243. 监听 listen4. 接受请求 accept5. 接收client传输的数据6. 反馈数据,可以不反馈7. close 关闭"""import s...

原创 docker挂载

打开Xshell,建立连接出现这个页面就可以查看容器了

原创 安装docker

1.docker介绍https://yeasy.gitbooks.io/docker_practice/content/2.安装dockerhttps://get.daocloud.io/#install-docker-for-mac-windows去上面网址下载对应版本docker即可3.安装双击打开DockerToolbox, 进行安装安装完成后...

原创 map, reduce, jieba

list1 = ['1 ', '2 ', ' 3 ']# map: 对列表中的每个元素做相同的操作# "".strip()去空格list1 = list(map(str.strip, list1))print(type(list1))result = "".join(list1)print(result)list1 = ['1 --', '2 --', '-- 3 '...

原创 排序

#!/usr/bin/env python# -*- coding:utf-8 -*-"""冒泡排序(会背)"""count = 0list1 = [9, 1, 7, 3, 2, 4, 6]for j in range(len(list1)-1, 0, -1): print(f"这是第{len(list1)-j}轮排序开始") for i in range(j):...

原创 二叉树

class TreeNode(object): def __init__(self, value, left_child=None, right_child=None): self.left_child = left_child self.value = value self.right_child = right_child# 从下...

原创 链表

class LinkNode(object): def __init__(self, value=None, next=None): self.value = value self.next = nextclass Link(object): def __init__(self): self.head = None ...

原创 栈

原创 队列

原创 爬虫试卷

姓名：_________        分数：_________        总分：100分 一、填空题1. list1 = [x for x in range(5, 2, -1)],则打印list1的结果是_____[5, 4, 3]______。(2分)2. Python中的编码格式你用过哪些？___GBK_____,___ASCII_____,____Unicode(utf...

原创 selenium 淘宝实例

# selenium本身自带这种幽灵浏览器/无头浏览器import timefrom selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom multiprocessing import Poolclass TaoBao(object): options =...

原创 selenium窗口切换

1.何时需要切换窗口呢?(1) 标签内部存在iframe，普通的方式无法直接定位到iframe内部的标签元素。需要切换；(2) 一个浏览器对象，存在多个标签选项卡。需要切换。2.iframe标签举例(QQ邮箱登录)from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitimport...

原创 selenium元素等待

1.何为元素等待呢?元素等待：js代码执行渲染期间，导致数据/标签加载缓慢，如果元素没有加载完成，直接通过find_element去进行定位，会出现元素不存在的异常。2.元素等待的三种方法(1) time.sleep(10) 强制性等待，不管元素在设置时间范围内是否加载出来，都必须要等待固定的时间。(2)WebDriverWait(10) 智能等待的方法，最多等待10秒，10秒之后仍然没有元素，会...

原创 selenium入门

一.引导:selenium(浏览器自动化测试框架)本身提供了许多元素定位的方法，find_element_by_id()这些方法底层是用python语言实现的，提取速度上会慢一些。通常情况下，使用phantomjs/selenium也只是获取js渲染后的网页源代码，而网页中数据的提取，还可以使用xpath, css, re, bs4, etree等。网页中通过js渲染的数据，爬虫的解决办法：1. ...

原创 mongodb的安装

①下载安装包②安装中的第二步选择第二个 custom③在bin文件夹下新建一个data文件④进入data文件夹新建一个db文件夹和logs文件夹⑤进入logs文件夹,新建一个mongo.log文档⑥在cmd敲命令访问http://127.0.0.1:27017,即安装成功⑦打开计算机管理,服务,查找mongodb,右击启动即可...

转载 Mongo的安装

1.首先下载安装包:去mongo官网:https://www.mongodb.com/dr/fastdl.mongodb.org上下载然后在安装时选择第二个: custom安装程序，打开C:\Program Files\MongoDB\Server\3.6\bin看到bin里有一堆文件表示安装成功2.新建文件夹data3.在data中新建文件夹db:4.在cmd里边执行：cd  C:\Progra...

原创 scrapy item_loader

1.导入包2.提取数据页面3.item.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.html# import scrapy### cla...

原创 scrapy笔记

1.scrapy是一个基于异步 + 多线程的方式运行爬虫的框架,内部的函数都是通过回调的方式执行的,不能手动调用.2.创建srapy项目3.scrapy项目构成4.把数据写入json文件中命令scrapy crawl baidu -o baidu.json -s FEED_EXPORT_ENCIDING = utf-85.把数据写入csv中命令scrapy crawl baidu -o baidu...

原创 scrapy笔记

1.re_first():从当前列表中根据正则提取第一个元素的内容2.extract_first('')和extract('')这两个方法调用之后, 就不能再调用xpath()和css()了3装系统:安装大白菜然后插上优盘，打开大白菜，他会让你格式化一个优盘选中优盘格式化，把系统镜像拉倒优盘得iso文件夹里面就行了重启电脑，选择从优盘启动，进去后有个一键装机，双击打开一路下一步就结束了...

原创 scrapy数据保存为txt

1.settings:2.spiders

原创 scrapy把数据保存为txt形式

pipelines.py

原创 scrapy数据保存为excel

第一种方法:可以直接敲命令:可以出现csv的文件, 打开即是表格第二种方法:pipelines.py结果是这样的

原创 scrapy保存图片

1.settings2.spiders3.items.py4.pipelines.py:

原创 scrapy(blog)数据保存到MySQL

1.settings.py(配置)①②2.spiders3.items.py4.pipelines.py

原创 scrapy(微博)数据保存到Mongodb

1.settings.py:(配置文件)①②UserAgent配置放开③Mongo配置放开④Mongo配置2.middlewares.py中间件配置(useragent, proxy, cookies)3.spiders(逻辑)4.items.py5.pipelines.py6.debug(运行)...

原创 Python虚拟环境的安装和配置

Python虚拟环境的安装和配置(windows)1.下载virtualenvwrapper-win 包 2.输入workon命令查看是否可用   3.使用virtualenvwrapper创建虚拟环境 默认放在C:\Users\Administrator\Envs目录中 可以修改存放的路径：(不需要)找到系统环境变量，添加WORKON_HOME为指定路径即可     运行workon，目录中没有...

原创 scrapy爬取准备工作

刚学scrapy框架,先练习一下1.先建立一个新文件夹, 命名为novel2.打开cmd, 敲命令3.打开pycharm文件是这样的4.配置环境

原创 6.22

# douban#!/usr/bin/env python# -*- coding:utf-8 -*-import time, re, json, requestsfrom selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom multiprocessing impo...