- 博客(59)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 用python实现相声、评书自动下载（六）
用request_heml现在爬不到任何东西，应该是做了屏蔽。那么就要换个思路了，不用request请求网站，而且全部用selenium来操作。还是打开任意一个作品的第一页，然后获取网页源代码，通过源代码来获取所有的所有的跳转链接和当前界面所有的下载链接。主要更新了这个方法：def getAllSession(url): #当前页所有的链接 print('It\'s comming getAllSession()!') html = driver.page_sourc
2021-04-01 17:45:11
129
原创 用python实现相声、评书自动下载（五）
写完这些后，觉得分两个脚本跑太麻烦，而且每次还要去改下载脚本的csv文件名，效率太低。于是把所有的代码整合到一起，实现伪·全自动下载，只要有第一页的链接，就可以下完所有的相声、评书。发这篇博客的时候出现了一个问题，用link = r.html.absolute_links爬源码，返回的结果集变成了se()，还不清楚是什么原因。其实做成全自动的也有思路，就是打开任意一个人的作品集。抓取所有作品的“第一页”链接，然后用getAllLink()函数去打开每个作品的第一页，后面的步骤都一样。也许以后有空了会写
2021-03-12 16:23:12
187
原创 用python实现相声、评书自动下载（四）
对到目前为止遇到的所有异常做处理。from selenium import webdriverfrom requests_html import HTMLSessionimport requestsimport timeimport reimport pandas as pdfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selen
2021-03-12 15:11:55
125
原创 用python实现相声、评书自动下载（三）
在用python实现相声、评书自动下载（二）写了怎么爬所有的下载链接，那么在这篇写怎么下载。其实代码和（一）差不多from selenium import webdriverfrom requests_html import HTMLSessionimport requestsimport timeimport pandas as pddata = pd.read_csv('allLinks.csv', encoding='GB18030')driver = webdriver.Chro
2021-03-12 15:08:45
105
原创 用python实现相声、评书自动下载（二）
接用python实现相声、评书自动下载（一）。之前的代码成功爬到了这个评书网址的郭德纲的相声，但是每次都要手动去切下载链接，挺麻烦的。而且这个网站评书资源比较少，而且时不时放不了，所以换了一个网站。这次要求高一点，不但要自动爬下载链接，而且如果有多页的情况，要能自动跳转到下一页，并且爬下载链接。实现思路：1.手动打开第一页（以后会做成自动化），先爬网页源代码；driver = webdriver.Chrome()targetUrl = 'https://www.pingshu8.com/Mu
2021-03-12 15:06:39
189
原创 用python实现相声、评书自动下载（一）
由于最近开车听歌实在听腻了，就想听几段相声解解乏。但是各个音乐平台上相声实在是少，于是只能自己去网上找。这是最初版本的code，相当简陋，下载链接都是手动复制网页源代码，然后用正则切出来的。from selenium import webdriverfrom requests_html import HTMLSessionimport requestsimport timeimport jsonxs_list = [ "https://www.pingshu365.com/down/3
2021-03-12 14:31:00
191
原创 在新linux系统上部署Java web 项目服务器
最近在学习如何搭建测试环境，看了很多的博客和资料，都感觉不是很全。为了加深印像的同时分享自己的经验写下这篇博客。记录如何在一个新的linux系统上搭建服务（器）。我用的是Cent OS 7，基本的linux环境网上有很多教程。跳过如何配置linux，前期配置注意两个点：NAT模式和Cent OS 7配置IP，配置完后可以ping www.baidu.com 看一下网络是不是通的。前期软件准备VMware、XSHLL、XFTP。首先是配置jdk环境。在链接：https://pan.baidu.com/s
2020-11-20 15:00:05
167
原创 常用的资源
常见的占位符有：%d整数%f浮点数%s字符串%x十六进制整数 声明编码格式：# -*- coding: utf-8 -*- #listclassmates = ['Michael','Bob','Tracy','Jason']len(classmates) #获取数组长度classmates[0] ...
2017-10-21 11:37:27
144
原创 Python3_使用dict和set
dictPython内置了字典：dict的支持，dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。举个例子，假设要根据同学的名字查找对应的成绩，如果用list实现，需要两个list：names = ['Michael', 'Bob', 'Tracy']scores = [95, 75, 85]给定一...
2017-10-21 10:54:35
272
原创 Python3_循环
Code：print('------------------------------------------------------')# for...in.循环:依次把list或tuple中的每个元素迭代出来names = ['Michael', 'Bob', 'Tracy']for name in names: print(name)print('-...
2017-10-20 17:24:58
109
原创 Python3_条件判断
条件判断计算机之所以能做很多自动化的任务，因为它可以自己做条件判断。比如，输入用户年龄，根据年龄打印不同的内容，在Python程序中，用if语句实现：age = 20if age >= 18: print('your age is', age) print('adult')根据Python的缩进规则，如果if语句判断是True，就把缩进的两行p...
2017-10-20 11:51:51
142
原创 Python3_使用list和tuple
listPython内置的一种数据类型是列表：list。list是一种有序的集合，可以随时添加和删除其中的元素。 Code:print('------------------------------------------------------')#listclassmates = ['Michael','Bob','Tracy','Jason']print...
2017-10-20 09:24:23
96
原创 Python3_字符串和编码
对于单个字符的编码，Python提供了ord()函数获取字符的整数表示，chr()函数把编码转换为对应的字符： print('ord(\'A\') :',ord('A'))print('ord(\'中\') :',ord('中'))print('chr(66) :',chr(66))print('chr(25991) :',chr(25991)) ...
2017-10-18 15:58:11
108
Python3_数据类型和变量
Code:n = 123f = 456.789s1 = '\'Hello,world\''s2 = '\'Hello,\\\'Adam\\\'\''s3 = 'r'+'\'Hello,\"Bart\" \''s4 = 'r'+'''\'''Hello,Lisa!\''' '''print('n =',n)print('f =',f)print...
2017-10-18 14:23:24
122
原创 切片list_code
小游戏升级版: 跟电脑对点#coding=utf-8# 用score_you表示你的得分，score_com表示电脑得分。开始都为0，每进一球就加1。from random import choicescore_you = 0score_com = 0kick = ['a','b','c','d','e']for i in range(...
2017-05-25 20:08:34
105
原创 切片list
list有两类常用操作：索引(index)和切片(slice)。 昨天我们说的用[]加序号访问的方法就是索引操作。 除了指定位置进行索引外，list还可以处理负数的索引。继续用昨天的例子： l = [365, 'everyday', 0.618, True] l[-1]表示l中的最后一个元素。l[-3]表示倒数第3个元素。 切片操作符是在[]内提供一对...
2017-05-25 10:47:28
196
原创 踢足球小游戏_code
#coding=utf-8from random import choiceprint '请准备点球'print '请输入任意方向:a,b,c,d,e'you = raw_input() #raw_input()将输入的内容转化成字符串形式,这样输入时不要用打引号. #这里表示射门的方向prin...
2017-05-25 10:40:58
386
原创 操作list_code
ListSutDemo2#coding=utf-8l = ['fly','kill',12345,True,'世界']print l[4] # 输出第五个元素#print l[12] # 注意，你不能访问一个不存在的元素，比如l[10]，程序就会报错，提示你index越界了。l[0] = 'haha' # 修改第一个元素为'haha'print l...
2017-05-23 18:08:14
241
原创 操作list
上周给list开了个头，知道了什么是list。假设我们现在有一个list： l = [365, 'everyday', 0.618, True] 除了用for...in遍历l中的元素，我们还能做点啥？ 1. 访问list中的元素list中的每个元素都对应一个递增的序号。与现实中习惯的序号不同在于，计算机中的计数通常都是从0开始，python也不例外。如果你记不清这个而...
2017-05-23 15:32:31
67
原创 初探list_code
ListStuDemo#coding=utf-8#print range(1,10)l = [1,1,2,3,5,7,11,13,17,23,29]for i in l: print il2 = ['monkey','chicken','lion','tiger']for i2 in l2: print i2l3 = ['fly'...
2017-05-23 15:31:33
101
原创 初探list
今天要说一个新概念--list，中文可以翻译成列表，是用来处理一组有序项目的数据结构。想象一下你的购物清单、待办工作、手机通讯录等等，它们都可以看作是一个列表。说它是新概念也不算确切，因为我们之前已经用过它，就在这个语句里： for i in range(1, 10): #此处略过数行代码 看出来list在哪里了吗？你试一下： print range(1,10)...
2017-05-12 11:17:16
89
原创 If嵌套_Code
IfStuDemo2# coding=utf-8def isEqual(x,y): if y >= 0: if x >= 0: print 1 else: print 2 else: if x < 0: print 3...
2017-05-12 09:12:45
144
原创 if,else,elif应用 _Code
If_ElifStuDemo# coding=utf-8# if, elif, else可组成一个整体的条件语句。# if是必须有的；# elif可以没有，也可以有很多个，每个elif条件不满足时会进入下一个elif判断；# else可以没有，如果有的话只能有一个，必须在条件语句的最后。a = input()if a == 1: print 'o...
2017-05-12 09:12:34
146
原创 函数实例 _Code
FunctionTestDemo Python代码 def isEqual(num1,num2): if num1 < num2: print 'too small!' return False if num1 > num2: print 'too big!' ...
2017-05-12 09:07:29
104
原创 Python函数 _Code
FunctionStuDemo# coding=utf-8def sayHello(): # 定义函数sayHelloprint 'Hello world!'sayHello() #调用函数sayHellosayHello() #可以重复调用sayHello()printdef sayHello2(someone): print 'Hello',s...
2017-05-12 09:07:06
513
原创 If的嵌套
和for循环一样，if也可以嵌套使用，即在一个if/elif/else的内部，再使用if。这有点类似于电路的串联。 if 条件1: if 条件2: 语句1 else: 语句2else: if 条件2: 语句3 else: 语句4 在上面这个两层if的结构中，当条件1为True...
2017-05-11 19:49:23
440
原创 if,else,elif应用
今天补充之前讲过的一个语句：if。为什么我跳要着讲，因为我的想法是先讲下最最基本的概念，让你能用起来，之后你熟悉了，再说些细节。 关于if，可以发送数字『7』回顾之前的课程。它除了我们之前讲的用法外，还可以配合elif和else使用，使程序的运行顺序更灵活。 之前说的if，是：“如果”条件满足，就做xxx，否则就不做。else顾名思义，就是：“否则”就做yyy。当i...
2017-05-11 16:54:46
610
原创 函数实例
我希望有这样一个函数，它比较两个数的大小。如果第一个数小了，就输出“too small”如果第一个数大了，就输出“too big”如果相等，就输出“bingo” 函数还有个返回值，当两数相等的时候返回True，不等就返回False。 于是我们来定义这个函数： def isEqual(num1, num2): if num1<num2: ...
2017-05-11 15:27:22
98
原创 命令行常用命令
打开命令行，我们会看到每行前面都有诸如C:\Documents and Settings\Crossin>或者MyMacBook:~ crossin$之类的。这个提示符表示了当前命令行所在目录。 在这里，我们输入python就可以进入python环境了。但今天我们暂时不这么做。 第一个常用的命令是：dir （windows环境下）ls （mac...
2017-05-11 11:21:01
86
原创 Python函数
数学上的函数，是指给定一个输入，就会有唯一输出的一种对应关系。编程语言里的函数跟这个意思差不多，但也有不同。函数就是一块语句，这块语句有个名字，你可以在需要时反复地使用这块语句。它有可能需要输入，有可能会返回输出。 举一个现实中的场景：我们去餐厅吃饭，跟服务员点了菜，过了一会儿，服务员把做好的菜端上来。餐厅的厨房就可以看作是一个函数，我们点的菜单，就是给这个函数的参数；厨师在厨房里做菜...
2017-05-11 11:16:20
72
原创 类型转换
python的几种最基本的数据类型，我们已经见过： 字符串整数小数 （浮点数）bool类型 python在定义一个变量时不需要给它限定类型。变量会根据赋给它的值，自动决定它的类型。你也可以在程序中，改变它的值，于是也就改变了它的类型。例如 a = 1print aa = 'hello'print aa = Trueprint a ...
2017-04-30 11:31:53
83
原创 循环嵌套Code
循环嵌套:NestedLoopStuDemo# coding=utf-8#1.5个 * 号排成一竖for i in xrange(0,5): print '*'print#2.5个 * 号排成一行for i in xrange(0,5): print '*',print#3.循环嵌套.for i in xrange(0,5)...
2017-04-29 16:31:47
83
原创 循环嵌套
设想一样，如果我们要输出5个*，用for循环要这么写for i in range(0, 5): print '*' 如果想让这5个*在同一行，就在print语句后面加上逗号for i in range(0, 5): print '*', 但如果我想要这样一个图形，怎么办？* * * * ** * * * ** * * * ** * * *...
2017-04-29 09:38:22
133
原创 字符串格式化
我们在输出字符串的时候，如果想对输出的内容进行一些整理，比如把几段字符拼接起来，或者把一段字符插入到另一段字符中间，就需要用到字符串的格式化输出。 先从简单的开始，如果你想把两段字符连起来输出str1 = 'good'str2 = 'bye' 你可以print str1 + str2 或者还可以把字符变量一个字符串相加print 'very' + str...
2017-04-26 18:25:35
109
原创 字符串
字符串就是一组字符的序列（序列！又见序列！还记得我说过，range就是产生一组整数序列。今天仍然不去细说它。），它一向是编程中的常见问题。之前我们用过它，以后我们还要不停地用它。 python中最常用的字符串表示方式是单引号（''）和双引号（""）。我还是要再说：一定得是英文字符！ 'string'和"string"的效果是一样的。 可以直接输出一个字符串print...
2017-04-26 17:19:42
137
原创 While的使用
#======== 注释 ========# 先介绍一个新东西：注释。python里，以“#”开头的文字都不会被认为是可执行的代码。 print “hello world”和 print "hello world" #输出一行字是同样的效果。但后者可以帮助开发者更好地理解代码。在接下来的课程中，我会经常用注释来解释代码。 #========...
2017-04-19 17:46:02
99
原创 VarTestDemo
VarTestDemoa = 0b = 0sum = 0running = Truewhile running: a += 1 b = a + b print 'a=',a,',','b=',b sum = a print 'NO.',sum,'is',a+b,'=',a,'+',b if a == ...
2017-04-19 17:42:35
171
原创 ForTestDemo
ForTestDemo# coding=utf-8# 习题3,输出1到100# for a in range(1,101):# print a# 习题4,1加到100的和n = 0sum = 0for n in range(1, 101): while n <= 100: sum += n print...
2017-04-19 17:40:14
68
原创 RadomStuDemo
RadomStuDemofrom random import randintnum = randint(1,100)print('ganm is begin')result = Falsewhile result == False: answer = input() if answer < num: print('too ...
2017-04-19 17:36:43
70
原创 IfStuDemo
IfStuDemothisIsLove = input()if thisIsLove: print("abc") IfStuDemo2num = 10print("Guess what I think?")answer = input()if answer<num: print("too small!")if answer>num...
2017-04-19 17:17:01
80
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人