- 博客(17)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 python 爬虫-‘斗图啦’网站图片下载
python 爬虫练手，爬取 下载 斗图啦网站前100页最新图片。、其中知识点启用线程安全及多线程的方式进行同时下载。目前跑代码未出现异常报错。以下实例代码# -*- encoding=utf8 -*-import requestsfrom lxml import etreeimport osimport reimport threadingfrom queue import Queueclass P(threading.Thread): headers = {
2020-12-17 14:05:53
210
原创 python 爬虫-爬取小说网站-小白级
第一次编写爬虫网站。（感觉有点较凌乱）各位大神，如果有更好的意见，欢迎指点建议。谢谢。目前代码基本上能按照正常的思路扒取小说内容。思路如下：首先进入小说网站首页---》然后选取要下载的系列----》然后开始下载当前系列的所有书本链接，并存放json----》然后读取json文件内的数据进行下载。目前代码能够按照思路进行下载，但是下载速度太慢了 ，没有进行多线程下载（持续更新这部分功能）。我反爬机制没做好，如果在同一个局域网，两台不同的电脑&不同的请求头，同时运行，会处罚到网站的反爬
2020-09-16 10:32:06
2612
原创 Python print长数据省略的问题
Java获取python返回值时，可以通过print()来获取，但如果数据量过长，打印出的结果将会包含省略号。同样，Java接受到的数据也是包含省略号的。也就是说，python本地打印出是什么样子，Java接收到的就是什么样子。处理大量数据中打印省略的问题：1. 对于Numpy数据： 在输出print()位置前加入：1 np.set_printoptions(threshold=np.inf) 通过设置输出选项，将阈值设置为一个较大的数，从而实现完整长度的打印。2. 对于pan
2022-02-13 15:47:30
4780
原创 超简单安装dlib
首先下载visual studio 2019 地址:https://visualstudio.microsoft.com/zh-hans/vs/3.下载好以后点击安装必选C++环境，python环境可以勾选，也可以自己单独下载python解释器。python3.7.3下载地址:https://www.python.org/ftp/python/3.7.3/python-3.7.3-amd64.exe4.设置Cmake环境为系统环境变量我们之所以安装...
2022-01-22 11:17:07
1402
2
原创 python 安装pybluez 踩坑记
1、安装pybluezpip install pybluez2、提示需要安装c++ 14.00的框架。网上给的安装包都不好使。直接上官网下载，并安装visual studio 社区版本，并选择需要的语言以及环境。3、提示原因分析：这个主要是因为Windows 10 SDK将“IRPROPS.LIB”这个文件移除了。参考别的大佬的说明讲一下这个文件是干什么的： 这个文件是1990年代到2000年代间为红外通信之类的近场通信准备的。在2004年，Windows XP SP...
2021-09-10 17:28:24
2080
原创 python time 时间戳和日期时间 相互转换
import time#now = int(time.time())# 把当时时间转换成时间戳t = time.localtime()r = int(time.mktime(t))print(r)# 把时间戳转换成一定格式的日期和时间timeArray = time.localtime(r)otherStyleTime = time.strftime("%Y/%m/%d %H:%M:%S", timeArray)print(otherStyleTime)# 再把日期和时间转换成时.
2021-08-16 23:25:12
809
原创 pyqt5 弹窗大全
from PyQt5.QtWidgets import *from PyQt5.QtCore import Qt, pyqtSignal, QTimer class MyWindow(QWidget): def __init__(self): super().__init__() self.setWindowTitle('PyQt5 弹出窗口（框）大全') self.resize(400, 300) # 全局布局（.
2021-08-14 16:21:31
929
原创 python 爬取 网易翻译
#没有优化代码结构，只是简单得实现了功能。不喜勿喷。效果如下以下是源码import hashlibimport time,randomimport requestsurl3 = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'headers2 = {'Content-Length': '2205', 'Cookie': '_ntes_nnid=3014c96856733
2021-04-06 15:44:22
190
原创 python爬虫+抖音分享链接=可直接下载视频链接
#仅供学习参考。目标：由抖音分享出的链接，经过解释后，可以得到直接下载的视频链接，可以使用迅雷、浏览器等工具进行下载。功能：原本想增加一个可以直接下载成视频的链接，技术不到家，然后久没有深入了。如果有实力的小伙伴，可以往这个方向去实现功能。代码实现，往下看。以下为实例图：#耗时的长短，和当前的网络有直接关系，如果想要更快更稳，可以自己优化一下代码。#代码效率有待优化。import requestsimport reimport timeheaders =.
2021-03-10 18:18:26
2893
6
原创 python爬虫+pyqt5制作完成 ＜在线翻译软件.exe＞
#仅供学习参考。目标网站：网易翻译+pyqt5 = 在线翻译.exe功能需求：中英互译，其他国家语言也行，如果能用键盘打得出来得话，这部分功能没怎么测试。界面介绍：因为有时候网络有延迟，所有增加了个翻译消耗时间。具体代码实现。往下看。以下为效果图：功能测试图。import sysfrom PyQt5.QtWidgets import QApplication, QWidget, QLabel, QTextEdit, QTextBrowser, ...
2021-03-10 17:47:50
500
原创 python打开文件夹，提取当前文件夹下得所有文件名
#打开某个文件，并把当下得文件名提取出来，并保存为TXT#20210309import ospath = 'C:\\Users\\Administrator\\Desktop\\'ddd= os.listdir(path) #打开这个文件夹with open('C:\\Users\\Administrator\\Desktop\\111.txt','w',encoding='utf-8') as file: for i in ddd: file.write(i+'\n.
2021-03-09 14:25:48
531
原创 14个面试问题
##搬砖侠###1、检查列表是否包含整数xl = [3, 3, 4, 5, 2, 111, 5] print(111 in l) # True2、在整数列表中查找重复的数字def find_duplicates(elements): duplicates, seen = set(), set() for element in elements: if element in seen: duplic...
2021-02-18 18:40:57
75
原创 关于python创建虚拟环境
*关于创建虚拟环境的必要性：因为python的框架更新迭代很快，有事需要在电脑上存在一个框架的多个版本，这时候虚拟环境就可以解决这个问题。*以windows为例子：1、先安装virtualenv使用命令：pip install virtualenv2、安装完成后，进入到需要创建的虚拟环境的文件夹当中，使用virtualenv 创建一个虚拟环境，比如：virtualenv crawl-env3、创建完成虚拟环境之后，进入crawl-env（文件夹）的Scripts（文件夹），使用激活命令：ac
2021-01-31 23:25:05
93
原创 python笔记-正则表达式
一、正则表达式正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。import re###匹配单个字符#1、re.match 只可以匹配对象开头部分，如果匹配不到就会出错。匹配完成后返回的是一个re.MATCH的对象，需要调用group()才能把这个对象的内容打出来，返回类型是str# text ='hello'# he_match = re.ma.
2021-01-03 13:22:55
68
原创 scrapy笔记
##自学视频中的学习笔记记录###Scrapy笔记##安装scrapy框架1、安装 scrapy：通过pip install scrapy 即可安装2】如果是再windows 下，还需要安装pypiwin32，如果不安装，后面运行scrapy项目的时候就会出现报错：pip install pypiwin323、如果是再ubuntu 系统下，还需要安装一下第三方库，sudo apt-get install python-dev python-pip libxml2-dev libxs.
2020-12-26 16:51:48
168
原创 python数组和字符串之间的转换
python数组和字符串之间的转换字符串转数组str = '1,2,3'arr = str.split(',')数组转字符串arr = ['a','b']str = ','.join(arr)arr = [1,2,3]str = ','.join(str(i) for i in b)
2020-11-27 09:43:29
4057
原创 pyQT5 学习笔记
QtCore:包含了核心的非GUI功能。此模块用于处理时间、文件和目录、各种数据类型、流、URL、MIME类型、线程或进程。QtGui包含类窗口系统集成、事件处理、二维图形、基本成像、字体和文本。qtwidgets模块包含创造经典桌面风格的用户界面提供了一套UI元素的类。QtMultimedia包含的类来处理多媒体内容和API来访问相机和收音机的功能。Qtbluetooth模块包含类的扫描设备和连接并与他们互动。描述模块包含了网络编程的类。这些类便于TCP和IP和UDP客户端和服务器的编...
2020-11-05 14:18:58
275
US_phone_num小工具.rar
2021-07-09
python获取【即时新闻】源码.py
2021-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人