会飞的小窦娥-CSDN博客

原创 Scrapy项目实战

一项目准备工作1. 创建项目Scrapy框架常用的命令创建项目：scrapy startproject xxx进入项目：cd xxx #进入某个文件夹下创建爬虫：scrapy genspider xxx（爬虫名） xxx.com （爬取域）生成文件：scrapy crawl xxx -o xxx.json (生成某种类型的文件)运行爬虫：scrapy crawl XXX列出所有爬虫：scrapy list获得配置信息：scrapy settings [options]Scrapy项目文

2020-08-24 08:52:19 1869

原创 Python 根据歌词时间戳切割歌曲

Python 根据歌词时间戳切割歌曲操作1.查看格式时间戳格式2.代码实现#!/user/bin/env python# _*_coding:utf-8_*_from pydub import AudioSegmentimport rewith open("C:/Users/歌词/失控",'r',encoding='utf-8') as f: #打开歌词文件 time_list = [] #循环获取每一句歌词时间戳， while True: li

2020-09-28 14:21:03 931

原创 Python 音频文件批量切割

Python 音频文件批量切割操作安装 pydub1.pip3 install pydubpydub需要依赖 ffmpeg 安装ffmpeg1.安装地址ffmpeg下载链接2.配置环境变量代码实现from pydub import AudioSegmentfrom pydub.utils import make_chunksimport os, re# ## # 循环目录下所有文件for each in os.listdir("D:/纯音乐"): #循环目录

2020-09-24 10:22:05 1897 5

原创 Selenium+Request爬取某鱼直播音频数据（下）

获取M3U8地址:在上文已经获取到m3u8地址，直接上代码import requestsimport os#需要安装from Crypto.Cipher import AESimport uuiddef m3u8(url): base_url = url[:url.rfind('/')+1]#如果需要拼接url,则启用 , +1 把 / 加上 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x6

2020-09-03 16:09:48 400

原创 Selenium+Request爬取某鱼直播音频数据（上）

1 Selenium介绍：selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器2 安装pip install selenium一般我习惯用谷歌所以下载谷歌游览器插件...

2020-08-31 11:51:54 989

原创爬取网站上无法下载音频数据

使用猫抓插件查看视频页面:猫爪插件地址：https://download.csdn.net/download/qq_35944102/12751647点击查看第一个m3u8中地址：使用M3U8Downloader下载所查找视频M3U8Downloader插件下载地址：https://download.csdn.net/download/qq_35944102/12758824复制地址到下载器，选择保存位置和所需要保存格式。点击下载下载成功：...

2020-08-28 10:01:06 320

原创 Xpath的string(.)用法

Xpath的string(.)用法Xpath的text()与string(.)我们在爬取网站使用Xpath提取数据的时候，最常使用的就是Xpath的text()方法，该方法可以提取当前元素的信息，但是某些元素下包含很多嵌套元素，我们想一并的提取出来，这时候就用到了string(.)方法，但是该方法使用的时候跟text()不太一样，下面就举实例来讲解一下具体的区别。实例网站：https://www.qiushibaike.com/text/page(页码)列如以这个段子为例，如果我们使用tex

2020-08-24 16:35:11 4755 2

原创 Requests基本使用

1 Requests介绍：Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！2 安装利用pip安装pip install requests3 基本请求r = requests.ge

2020-08-24 14:47:59 152