- 博客(45)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 mongo在linux上的集群部署
之前的mongo集群因为主节点硬盘坏了导致所有数据丢失，好在子节点服务器上的mongo还在运行，保留了所有数据，但集群需要重建，并且重新把数据恢复回来首先确定ABC3个服务器上安装了mongo，以A服务器为主节点，BC为子节点因为之前BC服务器上有保留的数据，需要使用mongodump和mongorestore命令把BC服务器上的数据恢复到A服务器上# mongodump命令保存数据库文件bin/mongodump -h 服务器B的IP --port 27017 -u system -p 12
2022-02-21 10:38:30
946
原创 某天气网站JS反爬加密破解
逆向某天气网站JS加密，涉及fiddler中间人替换技术/JS加密解密逆向技术等通过fiddler中间人操作改写目标网站部分JS，绕过网站禁止右键/禁止F12/禁止调试（无限debug）等反爬措施目标网站- https://www.aqistudy.cn/historydata/monthdata.php?city=%E5%8C%97%E4%BA%AC由于网站禁止F12和右键，无法查看页面源码，可以鼠标点击网站地址后按F12,这个时候可以打开调试面板查看网站源码但网站出现了无限debug
2021-04-23 11:54:20
366
原创 scrapy 的暂停和重启， 下载卡住,设置超时
scrapy的爬虫在运行时，需要暂时停止运行，并在下一次从暂停的地方继续爬取的方法：1.打开cmd进入虚拟环境，cd到scrapy的main.py目录下；2.在cmd下输入以下命令scrapy crawl 爬虫名称 -s JOBDIR=保存进程的文件夹目录比如我要运行的spider的name为zhihu，文件夹目录是scrapy目录下的job_info/001(001表示这是一次爬取...
2019-07-19 16:55:59
564
原创 通过selenium获取cookie
from selenium import webdriverimport timeimport jsonoptions = webdriver.FirefoxOptions()dr = webdriver.Firefox(options=options)dr.get('https://cn.bing.com/search?q=objective%20lens%20of%20com...
2019-06-19 17:55:03
3209
转载 发送邮件相关
邮件是通过SMTP（简单邮件传输协议）传送的，python的smtplib模块对smtp协议进行了简单的封装，即smtplib中的SMTP类。通过smtplib模块发送邮件主要分为四个步骤：1、实例化SMTP对象2、连接SMTP服务器3、登录账号4、编辑邮件内容5、发送邮件纯文本邮件先看一个简单的代码例子运行上面的脚本，收到的邮件如下：构造邮件内容...
2019-05-29 16:40:03
260
原创 Flask+Nginx+tornado=windows部署
文章目录部署环境1.下载及配置Nginx用tornado架起flask app功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导...
2019-04-25 11:11:11
3254
转载 URL中允许出现的字符及含义
url允许的字符如下ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789-_.~!*'();:@&=+$,/?#[] //保留字符1234如果要传输其他字符则必须urlencode之后再传输另外，保留字符均有特殊含义，若传输的保留字符纯粹是属于一个value值，那么也需要先进行urlencode...
2019-04-02 09:15:23
2685
转载 python操作elasticsearch
查询所有数据 # 搜索所有数据es.search(index="my_index",doc_type="test_type") # 或者body = { "query":{ "match_all":{} }}es.search(index="my_index",doc_type="test_type",body=body)
2019-02-18 15:16:28
402
原创 pymysql常用操作
插入操作import pymysql# 打开数据库连接db = pymysql.connect(host='localhost', user='root', password='123456', db='python', port=3306)# 使用cursor()方法获取操作游标cursor = db.cursor()# 插入数据# 编写sql查询语句sql_inser...
2018-11-28 11:59:14
167
原创 python pandas操作excel表
原始excel表要转换成的excel表代码import pandas as pdclass Daletou(object): def __init__(self): # 读取excel表的哪几列 self.lie = 'A,B,C,D,E,F' # renpan self.ren_wen_pan =...
2018-11-27 09:39:52
470
1
原创 python调用百度图片文字识别接口
# 登录百度api应用页面获取下面三相内容APP_ID = 'xxxxx'API_KEY = 'xxxxxxx'SECRET_KEY = 'xxxxxxx'class BaiduImg(): def __init__(self, img_path): self.img_path = img_path # 传入图片地址 """ 读取图片 """ ...
2018-11-20 17:08:43
1451
1
转载 python+selenium
转载自 https://blog.csdn.net/huilan_same/article/details/52305176 更多关于python selenium的文章，请关注我的专栏：Python Selenium自动化测试详解用selenium做自动化，有时候会遇到需要模拟鼠标操作才能进行的情况，比如单击、双击、点击鼠标右键、拖拽...
2018-11-20 10:40:48
105
原创 django权限
Django用户权限我们一起回顾一下，对某个页面进行登陆限制如何实现？ 在实际项目中，只有登陆限制往往是不够的，我们还需要更细致的权限限制，我们称之为“访问控制”在实际项目中，往往不同的用户类型对不同的视图有不同的权限，我们可以使用Django中提供的API来实现访问控制，如下： request.user.has_perm（），返回True或False，表示该用户是否有权限。User...
2018-11-12 15:44:02
248
原创 python里的多线程
面向过程创建线程import threadingimport timedef sing(a): # threading.current_thread().name：创建线程时name的值 print('线程为：{}，接收过来的参数为：{}'.format(threading.current_thread().name,a)) for x in range(1,...
2018-11-10 10:57:46
139
原创 Django ORM数据库操作
创建模型一个模型（model）就是一个单独的、确定的数据的信息源，包含了数据的字段和操作方法。通常每个模型映射为一张数据库中个表。每个模型在django中为一个python类 模型的每个字段（属性）代表数据表的某一列示例：from django.db import modelsclass User(models.Model): # 设置数据表的username字段，字...
2018-11-07 09:19:36
135
原创 git的使用
git的使用cd到zpgit目录内,执行git init,执行完成后会在当前目录内生成一个隐藏目录.git设置用户名:git config --global user.name "username"设置邮箱:git config --global user.email "[email protected]"在仓库目录内创建一个sunck.txt文本,并在文本内写入&
2018-11-05 00:08:21
197
原创 Redis
Redis简介 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库 非关系型数据库的一种，经常用作缓存 官网：redis.io，中文网：redis.cn 丰富的数据类型：字符串、哈希、列表、集合、有序集合等 端口：6379 安装：sudo apt-get install red...
2018-10-17 22:32:29
182
原创 MySQL常用命令
mysql常用命令show databases; //会显示数据库服务器上的所有的数据库create databases test; //创建数据库testdrop database test; //删除test数据库use test; //选择test数据库show tables; //查看当前选中数据库中的数据表create table ...
2018-10-17 21:12:33
114
原创 python中的赋值与深浅拷贝
from copy import copy, deepcopya = [1, 2, 3, 4, ['a', 'b']] # a = [1, 2, 3, 4, ['a', 'b']]b = a # b = [1, 2, 3, 4, ['a', 'b']]c = copy(a) # c = [1...
2018-10-13 17:53:12
169
原创 requests爬取糗事百科页面
requests爬取糗事百科,由于糗事百科是静态页面,用简单的requests即可代码如下:import requestsimport lxml.htmlclass Qiu: def __init__(self, name_, url_base): """ 设置基础参数 :param addr: """ ...
2018-10-11 22:47:11
226
原创 xpath与soup
# 练习数据抽取import re, requests, jsonfrom bs4 import BeautifulSoupimport lxml.html"""c = re.compile(r"([/]+)(\S+)")re_data = "GET /index.html HTTP/1.1"m = c.search(re_data)print(m.group(2))...
2018-10-11 22:45:12
541
原创 Linux目录和VIM
文件系统 说明： 文件系统就是操作管理存储设备或分区上的文件的方法和数据结构，也就是存储设备上组织文件的方式。 操作系统中负责管理和存储文件信息的软件机构叫文件管理系统，简称为文件系统。 常见文件系统 fat16(MS-DOS 6.X)，分区最大2G fat32(windows 95)，单个文件最大4G，性能较弱，容易...
2018-10-09 12:17:14
195
原创 bootstrap
bootsrap是一个前端的框架,重点是里面的栅格系统! 屏幕尺寸(宽度) 超小屏幕，如：手机，尺寸 <768 小型屏幕：如：平板，尺寸 >=768,<992 中等屏幕：如：电脑，尺寸 >=992,<1200 超大屏幕：如：电视，尺寸 >=1200 响应式布局 根据不同的客户端，显示不同的效果，就称为响应式布...
2018-10-09 12:07:18
130
原创 jQuery
注意,jquery是一个javascript的框架,和javascript语法有所不同,和javascript一样,也需要引用,引用方式也与javascript一样 BOM操作 说明：就是将浏览器当做一个对象(window)进行操作，叫BOM操作 使用： open：打开新页面 close：关闭窗口 history：跳转历史记录...
2018-10-09 12:04:24
91
原创 DOM
DOM操作DOM操作 DOM，Document Object Model，文档对象模型 将HTML中的元素(标签)当做JS中的对象进行操作，就叫DOM操作 window表示浏览器中打开的窗口，document表示显示在窗口中的文档 DOM操作核心：找到对象、添加事件、修改样式、... 在JS中样式的书写采用的时小驼峰的命名规范，如：backgrou...
2018-10-06 17:36:46
112
原创 JS基本概念
JS语法JS是什么？ JavaScript的简写，与Java没有半毛关系；相当于雷锋与雷峰塔，印度与印度尼西亚的关系 它是客户端(浏览器)脚本，服务端脚本Node.js 他可以给静态页面添加动态属性，如：添加事件，修改样式。 由来：NetSpace => LiveScript，后来与Sun公司合作； 为了借助Java语言的名气进行宣传和推广，将名字...
2018-10-06 17:24:52
81
原创 爬虫框架scrapy
安装：windows：第1步: 根据系统版本下载对应twisted,下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted第2步: 输入以下命令,注意后面的路径是下载的twisted存放的路径名 pip install C:\Users\Administrator\Downloads\Twis...
2018-09-19 20:39:29
111
转载 Flask会话控制与模板引擎
会话控制原理cookie 说明： 因为HTTP协议无状态无连接的特点，导致一个用户在同一网站做连续操作，需要不断的提供身份信息；为了解决这个问题，我们可以通过cookie携带特定的信息加以解决。当首次访问网站时设置cookie信息，以后每次再访问该网站时，浏览器会自动携带cookie信息。 使用： from flask import Blueprint, req...
2018-09-08 15:56:52
110
转载 Flask基本概念
Flask入门WEB工作原理 C/S与B/S架构 B/S架构工作原理 客户端(浏览器) <=> WEB服务器(nginx) <=> WSGI(uWSGI) <=> Python(Flask) <=> 数据库(MySQL) 说明：flask自带一个测试的WEB服务器，但是它仅仅适合于测试环境，不能用于生产环...
2018-09-08 15:55:26
485
转载 JS相关
JS是什么？ JavaScript的简写，与Java没有半毛关系；相当于雷锋与雷峰塔，印度与印度尼西亚的关系 它是客户端(浏览器)脚本，服务端脚本Node.js 他可以给静态页面添加动态属性，如：添加事件，修改样式。 由来：NetSpace => LiveScript，后来与Sun公司合作； 为了借助Java语言的名气进行宣传和推广，将名字改为了Jav...
2018-09-08 15:53:17
124
原创 邮件与短信
邮件发送 简介： 邮件服务器、账户、密码 相关协议：SMTP、POP3、IMAP 默认TCP协议端口：25 用途：经常用在一个网站的注册激活、通知、找回密码等场景 库：smtplib 示例： import osimport smtplib# 用于邮件发送的类from email.mime.text im...
2018-09-08 15:44:23
426
原创 python常用模块
time sleep：休眠指定的秒数(可以是小数) time：获取时间戳(从1970-01-01 00:00:00到此刻的秒数) localtime：将一个时间戳转换为一个对象，对象中包含了所有日期时间信息 # 将时间戳转换为一个对象(包含年月日等信息)# 当不传参数，默认转换当前时间戳local_time = time.localtime()print(lo...
2018-09-08 15:41:04
71
原创 python文件操作
文件操作目录管理(os) system：执行系统命令 # 清空屏幕# os.system('cls')# 弹出计算器程序os.system('calc') name：查看系统名称 nt：windows内核 posix：类unix内核 获取环境变量： # print(os.environ['path'])# print...
2018-09-08 15:36:35
92
原创 面向对象及异常处理
内置函数 总结：__init__、__del__、__str__、attr系列、item系列、__call__ __str__与__repr__ 使用print/str方法时会自动触发__str__方法，当__str__不存在，尝试__repr__ 使用repr方法时会自动触发__repr__方法 repr方法通常用于返回对象的字符串...
2018-09-08 15:32:22
147
原创 正则表达式
正则表达式应用场景特定规律字符串的查找替换切割等 邮箱格式、URL、IP等的校验 爬虫项目中，特定内容的提取使用原则只要是能够使用字符串函数解决的问题，就不要使用正则 正则的效率较低，还会降低代码的可读性 提醒：正则是用来写的，不是用来读的；在不知道功能的情况下，不要试图阅读别人的正则。基本使用说明：正则的解析处理是由re模块完成 相关函数： match：从开头进...
2018-09-08 15:26:27
90
原创 浮动和定位、背景图片和精灵图相关
网页的布局方式 网页布局方式就是指浏览器是如何对网页中的元素进行排版的 标准流(文档流/常规流)排版方式 浏览器默认的排版方式就是标准流 在标准流中有两种排版方式,一种是垂直排版,一种是水平排版 垂直排版:如果是块级元素,那么就会垂直排版 水平排版:如果是行内元素/行内块级元素,那么就水平排版 浮动流排版方式 浮动流是一种"半脱离标准流"的排版方式 浮动...
2018-08-08 22:24:48
440
原创 内外边距和盒子模型相关
什么是内边距 边框和内容之间的距离就是内边距 格式 非连写 padding-top: ; padding-right: ; padding-botton: ; padding-left: ; 连写 pdding:上 右 下 左; 注意点: 给标签设置内边距之后,标签占有的宽度和高度会发生变化 给标签设置内边距之后,内边距也会有背景颜色...
2018-08-08 22:22:46
158
原创 列表样式和边框属性相关
设置列表样式 list-style-type:disc; 默认选项,列表前面为实心圆 list-style-type:square; 实心方形 list-style-type:circle; 空心圆 list-style-type:none; 无 设置图片 list-style-image:url(img/money.png); 把...
2018-08-08 22:21:37
427
原创 字体文本样式相关
设置文字属性font-设置文字的颜色 color:red; 文字斜体 font-style:italic; 文字倾斜 font-style:normal; 文字不倾斜(默认选项) 文字粗体设置 font-weight:bold; 加粗字体 font-weight:border; 比bold更粗 文字的粗细有极限,达到极限就...
2018-08-08 22:20:45
179
空空如也
mongo副本集无法认证用户
2022-08-01
mongo查询/更新速度缓慢问题
2021-06-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人