- 博客(25)
- 收藏
- 关注
RSS订阅原创 pyside6 pytq PyDracula QVideoWidget视频只有声音没有画面
使用PyDracula pyside6 出现QVideoWidget只有画面没有声音的解决方案
2024-03-08 16:21:10
595
原创 Google Indexing API 推送 (避免踩坑)
google SEO Indexing API 快速推送 踩坑指南 避免碰到403 Permission denied. Failed to verify the URL ownership.
2022-12-07 15:13:48
1177
1
原创 最快最简单的在服务器上用docker部署:postgresql,redis,mongodb
postgresql1.docker pull postgres拉取镜像2.docker volume create postgresql创建本地的映射目录，名字设置为postgresql 可以自行设置名字3.docker run --name postgres -v postgresql:/var/lib/postgresql/data -e POSTGRES_USER=xxxxxx -e POSTGRES_PASSWORD=xxxxxx -p 5432:5432 -d postgres
2021-06-25 14:57:31
307
原创 记录一个aiohttp的大坑，aiohttp请求不成功,而requests可以
记录一个aiohttp的大坑，aiohttp请求不成功,而requests可以差异：1.requests发请求的时候会自动对headers进行排序，但是aiohttp不会如果有些平台会对headers顺序检测的时候，就会出现问题requests请求的时候的url发请求的时候url填的是，那么真实请求的时候就会是什么但是！！！aiohttp就不一样！！！！aiohttp会把冒号、逗号等字符有解码回来！有写网站会对url进行签名，这时候，aiohttp发请求时候的url做了转换，那么签名一
2021-04-16 16:19:53
1755
原创 python线程等待模板
自己写的一个比较好用的线程等待代码模板,python3环境下我的应用场景：在拨号爬虫的时候，重新拨号之后数据库的连接会出现异常，所以需要用到简介:A是爬虫线程，B是写控制爬虫线程什么时候停止，然后运行一些其他脚本的线程代码中主要运行逻辑我用的sleep代替import randomimport timeimport threadingclass A(threading.Thread): def __init__(self,thread_id,event): super(
2020-12-16 16:07:19
193
转载 python3使用ctrl+c终止多线程时，让每个线程执行指定函数
import timeimport signalimport threading, signalis_exit = Falsedef doStress(i, cc): global is_exit idx = i while not is_exit: if (idx < 10000000): print("thr...
2020-03-09 16:00:48
639
原创 keras多输入模型
双输入模型的构建from keras.models import Modelfrom keras import layersfrom keras import Inputtext_vocabulary_size=10000question_vocabulary_size=10000answer_vocabulary_size=5000#参考文本的输入text_input=In...
2019-10-25 10:38:00
490
原创 结合线程与异步实时获取爬虫爬取状态status
import timefrom threading import Threadimport asyncioclass bankcrawl_model(): def __init__(self): self.status="sleeping" def login(self): self.status="logging" pri...
2019-04-25 16:51:46
224
原创 数据转换成tfrecord类型并完成读取
前提：tensorflow --1.13.1numpy --1.16.2python --3.6.5本例转换 泰坦尼克号数据集链接 密码：n8wz数据预览：字段说明：PassengerId ，乘客的id号，这个我觉得对生存率没影响。因为一个人的id号不会影响我是否生存下来吧。这列可以忽略Survived ,生存的标号，上面图的数值1表示这个人很幸运，生存了下来。数值0，...
2019-04-04 17:21:02
1726
6
原创 python使用AES算法CBC模式加密,使用了偏移量,pkcs7padding
直接抛源代码环境需求:pip install pycryptodomeimport base64from cryptography.hazmat.primitives import paddingfrom cryptography.hazmat.primitives.ciphers import algorithmsfrom Crypto.Cipher import AESfrom ...
2019-02-22 11:36:18
8279
2
原创 利用python实现数据分析的大致主要流程（简）
前提：这段代码只适用于对数据分析有简单的基础认识者data是样本数据集，target是对应的样本目标1. 分析特征值如果特征值过多，将不需要的特征值删减，保留有影响或者影响较大的特征值2. 分解data和target如果target目标值的数据量差异巨大可以使用过采样，也就是将训练集样本量小的目标数据扩大，3. 交叉验证4. 模型参数自动调优决策树、梯度提升树决策树from...
2018-11-22 19:12:34
3936
1
原创 使用KMeans聚类算法使图片等比例压缩，让图片变小
import matplotlib.pyplot as plt from sklearn.cluster import KMeansimport numpy as np img = plt.imread('img.png')# 如果原图片是0-255的图片需要让他归一化 #img=img/255km = KMeans(n_clusters=16)km.fit(img.res...
2018-11-20 22:20:32
1465
原创 使用scrapy爬取小说网站的所有小说内容，并且使用简易的flask框架显示所有书和章节与内容
一、爬小说scrapy startproject democd demoscrapy genspider novel设计mysql表结构如下：1.存放书的表create table novels_item(novel_id int auto_increment primary key,novel_name varchar(20));2.存放章节和章节内容的表create t...
2018-11-02 20:16:18
1571
3
原创 selinum中获取js加载的页面中滚动条的一些操作
js = "var q=document.body.scrollHeight;return (q)"res=driver.execute_script(js)for i in range(res//800+1): js = "window.scrollTo("+str(i*800)+","+str(i*800+800)+")" driver.execute_script(js)...
2018-10-31 21:51:25
1210
原创 使用selenium爬取淘宝页面中的商品信息
一、分析淘宝页面中的商品都是用js动态加载的，所以使用selenium模块抓取内容1.首先分析如何用关键字搜索内容2.打开浏览器3.然后分析页面结构，抓取信息4.其次获取商品具体信息的话需要打开二级页面5.需要找到下一页的按钮用于模拟点击下一页，从而获取所有页面的相关信息二、开始操作1.首先分析如何用关键字搜索内容注意到页面的规律为https://s.taobao.com/sea...
2018-10-31 21:14:46
2589
原创 scrapy创建一个简单的不依靠项目的爬虫文件
首先创建普通py文件内容如下: import scrapy class Demo(scrapy.Spider): name="demo" def start_requests(self): urls = ['https://www.qidian.com', "https://www.baidu....
2018-10-29 21:10:39
245
原创 综合使用python爬虫技术，selenium模块动态抓取“视觉中国”网站上的图片的url
一、 导入模块import timefrom selenium import webdriverfrom lxml import etree本文章纯粹用来练手，于是我使用了etree,其实光使用find_elements…的方法也可以二、开始干活1.首先创建driver对象driver=webdriver.Chrome()2.打开网站driver.get("https://ww...
2018-10-28 15:35:24
1359
原创 python综合使用requests模块，redis，mysql分布式爬取csdn博客，并存储到mysql数据库中
一. 准备工作：创建一个模块master包含spider文件，再创建一个模块slaver包含spider.py文件和models.py文件master下的spider.py文件用于发布任务，即将需要爬取的url地址存放在redis中，slaver中的spider文件用于分布式提取redis中的url并且解析内容存放在mysql数据库中master\spider.pyslaver\spid...
2018-10-27 14:44:41
461
原创 使用爬虫python中的selenium模块抓取某小说网站某一章节中的JavaScript动态加载的内容
使用selenium抓取小说内容创建一个browser对象，用chrome启动from selenium import webdriver直接启动会报错“ Message: ‘chromedriver’ executable needs to be in PATH”使用这个的前提要安装一个chromedriver.exe放在项目下，去网上找与你的chrome对应的版本browser=...
2018-10-23 21:43:35
948
原创 虚拟机VMWare配置linux系统
打开安装好的Vmware 点击：创建新的虚拟机。 如果有iso映像文件的话，选择稍后安装操作系统 选择系统为：linux，版本为：Ubauntu 64位 设置你的虚拟机名称：我的是zx_virtual 位置最好放在专门放置虚拟机的文件夹下 分配给他磁盘大小，要保证你的磁盘有20g的大小，如果勾选：将虚拟磁盘存储为单个文件可以提高运行速度 在下一步自定义...
2018-09-01 09:25:52
2573
原创 linux环境下配置jdk
配置jdk 一.将相关压缩文件放在桌面上。 我创建了一个tool文件，相关文件名为” jdk-10.0.1_linux-x64_bin.tar.gz” 二.解压到安装目录： 1.首先在/usr/local下创建一个空的文件夹 java 2.然后将压缩文件解压到这个文件夹里. 如果当前路径是创建的空java文件夹则直接执行 sudo tar –zxvf ~/Des...
2018-08-31 22:48:42
154
原创 linux环境下安装VMWare Tools
点击菜单栏中的虚拟机—VMWare Tools安装 弹出以下界面：将五个文件复制到桌面上创建的（soft）文件夹 在命令行进行以下操作： 1. 将文件解压到当前目录（进入压缩文件所在目录）*：tar –zxvf 文件名 例如：tar –zxvf VMwareTools-10.1.6-5214329.tar.gz进入解压的文件夹后执行vmware-install.p...
2018-08-31 22:46:34
218
原创 linux安装ssh连接工具以连接Xshell
执行代码：sudo apt install ssh 启动服务：service 服务名 start 例如：service ssh start 检查ssh的状态：
2018-08-31 22:22:54
1251
原创 linux环境下配置pip和虚拟环境virtualenv和虚拟环境管理工具virtualenvwrapper
准备工作：安装python包管理工具（pip），安装虚拟环境（virtualenv），安装管理虚拟环境工具（virtualenvwrapper ） 一．安装pip 代码： 1. python2.7的pip安装：sudo apt install python-pip 2. python3的pip安装：sudo apt install python3-pip 查看pip的版本：pi...
2018-08-31 22:18:24
2076
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人