- 博客(16)
- 收藏
- 关注
RSS订阅原创 python编写的中英翻译程序
完整代码#!/usr/bin/python# # Created by 老刘 on 2020/5/11# # Author: Lao Liu <[email protected]>import requests,json,os#url='https://fanyi.baidu.com/sug'#头信息headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTM
2020-05-11 20:32:52
651
原创 四行代码搞定Python线程池
一、什么是线程池系统启动一个新线程的成本是比较高的，因为它涉及与操作系统的交互。在这种情形下，使用线程池可以很好地提升性能，尤其是当程序中需要创建大量生存期很短暂的线程时，更应该考虑使用线程池。线程池在系统启动时即创建大量空闲的线程，程序只要将一个函数提交给线程池，线程池就会启动一个空闲的线程来执行它。当该函数执行结束后，该线程并不会死亡，而是再次返回到线程池中变成空闲状态，等待执行下一个函数。此外，使用线程池可以有效地控制系统中并发线程的数量。当系统中包含有大量的并发线程时，会导致系统性能急剧下降，
2020-05-11 10:08:38
197
原创 爬虫实例6（获取哔哩哔哩网站《后浪》弹幕并可视化显示）（pyecharts词云，pandas库）
声明，只用于学习研究爬虫1.《后浪》弹幕词云如下2.代码流程一是分析网站，弹幕是和视频是分离，在开发者工具里面找到弹幕的网址。二是请求网站。获取到网址后request三是解析网站四是制作词云3.完整代码#!/usr/bin/python#导入相关库import requests,json,pandasfrom bs4 import BeautifulSoupfrom pyecharts import WordCloud#请求网页def get_html(url):
2020-05-10 13:04:17
1022
1
原创 爬虫实例5（爬取房天下二手房信息）（网页重定向，字典数据存入csv文件，bs4）
爬取要点分析1.网页重定向分析房天下网站，每个网页有个重定向如：访问https://cd.esf.fang.com/chushou/3_211293494.htm会跳转至https://cd.esf.fang.com/chushou/3_211293494.htm?rfss=1-b71f212cbb874a451c-3a解决方法：在原网页源代码中找到重定向网址，request 新网址即可 response=requests.get(url,headers = headers) html=r
2020-05-10 10:45:03
2171
3
原创 Python读取Excel展现在网页上
一、一个好玩的办公程序今天给大家介绍了好玩的程序，使用Python读取Excel，并把读取的数据展现在网页上。这次我们包含的技术有Python里的pandas和flask库。有关两个库的介绍大家可以在网上搜索下。下面直接上代码#!/usr/bin/python# # Created by 老刘 on 2020/5/8# # Author: Lao Liu <[email protected]>from flask import Flaskimport pandas as pd
2020-05-08 21:55:43
5155
7
原创 Pyecharts可视化神器安装与使用
Pyecharts可视化神器安装与使用1．Pyecharts简介pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化工具，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。用 Echarts 生成的图可视化效果非常棒，为了与 Python 进行对接，方便在 Python 中直接使用数据生成图，pyecharts就此产生，所以也可以...
2020-05-08 16:05:42
401
原创 python中的列表、字符串和字典小知识
#对于字符串来说str.title（）用于标题化字符串，每个单词大写str='i love you ,honey'#output:I Love You ,Honey#对于列表来说，返回的列表的值list=['list1','love','honey','babay']for num in range(len(list)): print(list[num].title())"...
2020-05-07 15:56:29
124
原创 使用python制作词云（重点对jieba库和wordcloud库进行介绍）
在海量数据中提取有效的信息，词云不愧是一种有效解决此类问题的方法，他可以突出显示关键词，快速提取有价值的信息。Python制作词云很简单，要求不高的话，几行代码就可以搞定，主要使用的库有jieba（结巴，一种分割汉语的分词库）和wordcloud库。下面是我参考网上一些代码改编的，还有效果图，初学，钻研的还不够深。# Created by 老刘 on 2020/5/1import PIL....
2020-05-07 09:23:34
1516
原创 NumPy库常用函数梳理（持续更新...）
NumPy NumPy简介基础知识ndarray数组的创建ndarray数组的维度变换数组的索引和切片一维数组切片多维数组索引数组的运算numpy随机数函数简介numpy 的random子库numpy的统计函数NumPy简介NumPy是Python中科学计算的基础包。它是一个Python库，提供多维数组对象，各种派生对象（如掩码数组和矩阵），以及用于数组快速操作的各种API，有包括数学、逻辑、...
2020-05-06 19:35:41
263
原创 爬虫实例4（抓取12306网站余票信息）
# Created by 老刘 on 2020/5/4import requestsimport jsonimport timedef getdata(): headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4...
2020-05-04 12:37:24
593
原创 爬虫实例3（进程池，正则表达式，json）
声明程序是改变其他作者的，主要是为了学习多进程抓取网页和正则表达式解析网页python代码import requestsimport reimport jsonfrom multiprocessing import Pool#获取网页HTMLdef get_one_page(url): headers = { 'User - Agent': 'Mozilla...
2020-05-03 09:38:45
158
原创 BeautifulSoup库详解（个人整理）
1.解析库灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。安装：pip3 install BeautifulSoup4解析器使用方法优势劣势Python标准库BeautifulSoup(markup, “html.parser”)Python的内置标准库、执行速度适中 、文档容错能力强Python 2.7...
2020-05-02 05:37:04
7910
1
原创 简单网络爬虫教程
爬虫使用程序来获取我们需要的网络上的内容，如文字，视频，图片等信息 等。使用工具Python3.7 Pycharm编写流程步骤一：请求网站，下载网页内容url = "http://www.baidu.com"#如果访问的网页地址有规律，可以批量的构造网页#如：urls =['http://xa.xiaozhu.com/search-duanzufang-p{}-0/'.format...
2020-05-01 22:47:29
937
原创 爬取网页内容实例2
简介本实例爬取了该网站有关python3的所有教程，并将其结果保存在contents.txt文件中。代码：import requests #导入网页请求库from bs4 import BeautifulSoup #导入网页解析库import parserdef start_requests(url): headers = { 'User - Agent': '...
2020-05-01 20:51:40
275
原创 爬取网站内容实例1
最近，对爬虫比较感兴趣，感觉很神秘，很牛逼的样子，特别是别人做的周杰伦词云后，顶礼膜拜。所以就看了些资料，写了部分代码，闲来无事，就放在博客里，便于以后查用。
2020-05-01 06:38:10
285
原创 爬取网络小说的Python代码
爬取小说《断天魂》并保存在TXT文件中# _*_ coding: utf-8 _*_import requests #导入网页请求库from bs4 import BeautifulSoup #导入网页解析库"""爬取小说《断天魂》并保存在TXT文件中"""#获取网页请求，将网页内容保存def start_requests(url): headers = { ...
2020-05-01 06:21:14
1955
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人