- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 1024 Palindromic Number (25 point(s))
1024 Palindromic Number (25 point(s))A number that will be the same when it is written forwards or backwards is known as a Palindromic Number（回文数）. For example, 1234321 is a palindromic number. All single digit numbers are palindromic numbers.Non-palindr
2021-05-22 15:53:28
164
原创 1023 Have Fun with Numbers (20 point(s))
1023 Have Fun with Numbers (20 point(s))Notice that the number 123456789 is a 9-digit number consisting exactly the numbers from 1 to 9, with no duplication. Double it we will obtain 246913578, which happens to be another 9-digit number consisting exactly
2021-05-21 09:22:49
187
原创 1009 Product of Polynomials (25 point(s))
1009 Product of Polynomials (25 point(s))This time, you are supposed to find A×B where A and B are two polynomials.Input Specification:Each input file contains one test case. Each case occupies 2 lines, and each line contains the information of a polyno
2021-05-19 13:43:13
157
原创 1001 A+B Format (20 point(s))
1001 A+B Format (20 point(s))Calculate a+b and output the sum in standard format – that is, the digits must be separated into groups of three by commas (unless there are less than four digits).Input Specification:Each input file contains one test case.
2021-05-19 09:15:06
72
原创 1002 A+B for Polynomials (25 point(s))
1002 A+B for Polynomials (25 point(s))This time, you are supposed to find A+B where A and B are two polynomials（多项式）.Input Specification:Each input file contains one test case. Each case occupies 2 lines, and each line contains the information of a poly
2021-05-19 01:09:21
75
原创 Dev-Cpp 的配置和 Debug
如果想要在Dev-Cpp里面使用C++11特性的函数，比如刷算法中常用的stoi、to_string、unordered_map、unordered_set、auto这些，需要在设置里面让dev支持c++11～需要这样做～在工具-编译选项-编译器-编译时加入这个命令“-std=c++11”：Referhttps://blog.csdn.net/liuchuo/article/details/82669248...
2021-05-17 18:17:24
871
原创 [Debug]VMFusion报错 could not open /dev/vmmon: broken pipe.
报错：could not open /dev/vmmon: broken pipe.在终端运行sudo kextunload /Library/Extensions/intelhaxm.kext试试
2021-05-17 09:45:19
120
转载 spring mvc 从Controller向页面传数据
之前章节中已经详细介绍了Controller获取请求参数，Controller中方法的返回值，此章节我们详细介绍一下从Controller向页面传值的方式 Controller向页面传值方式 使用Request对象保存数据使用Session对象保存数据使用ModelAndView保存数据使用Model保存数据使用ModelMap保...
2021-04-03 10:20:27
959
原创 vmware 安装 Ubuntu 18.04.2
vmware 安装 Ubuntu 18.04.2选择自定义虚拟机，一路 continue 下去。然后点击 CD/DVD，其他不用的设备可以直接删掉。然后开启虚拟机，跟着我 done 下去：直到配置镜像地址，这里改成阿里云的：http://mirrors.aliyun.com/ubuntu接着一定要选磁盘扩容，不然将来磁盘无法扩容。更改逻辑卷就改成最大的数值...
2020-04-04 15:56:56
323
原创 GitLab and SSH keys
GitLab and SSH keysGit is a distributed version control system, which means you can work locallybut you can also share or "push" your changes to other servers.Before you can push your changes to ...
2020-04-03 13:28:26
422
原创 超快的国内docker镜像
直接用国外的 docker hub 镜像实在是太慢了。换过 Daocloud 的镜像源，还是很慢，每秒大概 500 kb。然后用了中国科学技术大学（LUG@USTC）的开源镜像，速度蹭蹭蹭上去了：sudo vi /etc/docker/daemon.json 。{"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]}...
2020-04-01 16:27:14
2384
原创 博客复制(去除行号、特殊标志、完善图片)
博客复制(去除行号、特殊标志、完善图片）去除行号有时在其他博客上复制的代码，可能是这样。一两个可能还好，可是大量大量复制的时候，要删除就很麻烦了。这是打开任何带有正则匹配功能的 ide，比如 IDEA ， Ctrl+R 打开正则表达式匹配模式。输入 1\n2\n((\d+\n)+) 解决问题。但我的匹配规则不好，欢迎提出更优雅的规则。特殊标志例如下面的 VuePress 复制的文...
2020-03-31 14:27:28
178
原创 FuckCSDN：去除CSDN上的百度广告
blog.csdn.net 上的广告及其恶心，及其反人类，及其作恶。使用 Adblock 类的广告过滤插件可以很好的屏蔽这类广告。以 Adblock Plus 为例，在设置中写入规则：baidu.com###content_rightbaidu.com##.cr-offseticlick.admaster.cn/*cm.baidu.com/*cm.pos.baidu.com/*...
2019-06-16 19:52:28
866
转载 PyQuery用法详解
本文转自：https://blog.csdn.net/jeremyjone/article/details/80450236前言PyQuery 是灵活而又强大的网页解析库，而在爬虫框架 PySpider 和 Scrapy 中又随处可以 PyQuery 的身影。本节，我们通过一连串的极其简易的实例，来深入学习 PyQuery。那我们开始吧！一、初始化方式有三种，可以传入字符串，传...
2018-11-29 18:02:42
1343
1
原创 搜狗微信文章爬取（下）
GitHub:https://github.com/utopianist/SougouWeixin前言上节我们爬完了所有索引页，这节我们开始爬取公众号文章。要知道，我们之前爬的是 weixin.sogou.com ,而现在爬取的是 mp.weixin.qq.com ，这是两个完全不同的网站。关于 mp.weixin.qq.com 的反爬，并不是很严厉，我们只需需要构造新的请求头。...
2018-11-27 16:31:08
4355
原创 搜狗微信文章爬取（中）
前言上节，我们已经成功构造了包含参数 SNUID 的 Cookie 池，这节我们将正式爬取 sogou.weixin.com。Redis数据库我们同样编写一个 db.py 文件，里面包含 Redis 数据的各种接口。我们要对接 Redis ，并且满足一下几个功能：能够提取 SNUID 参数拼凑出请求头。能够提取出代理，并且对不满足需求的代理扣分。构造一个新的 Redis 队列 re...
2018-11-27 04:46:40
3905
3
原创 搜狗微信文章爬取（上）
前言weixin.sogou.com 是一个反爬极其严厉的站点。想要通过搜狗提供的 API 爬取微信公众号，你必须对以下几点印象深刻：weixin.sogou.com 的 URL 构造，这是爬虫工程师的基本功。在不登录的情况下只能浏览前十页。在登录的情况下只能爬取前一百页。搜狗微信 的反爬措施是封 IP 和封 Cookie。如果每五秒翻一页，大概翻二十页你会触发反爬：我们今天...
2018-11-27 03:25:27
10384
3
原创 爬虫进阶：Redis+Flask构建代理池
关键字： 代理池 Redis FlaskGitHub：https://github.com/utopianist/ProxyPool前言我们今天跟着 《Python3网络爬虫开发实战》这本书来搭建自己的代理池。代理池工作后，我拥有了接近八百个代理，评分一百的代理也有上百个。代理池结构功能代理池中的 py 文件功能：基本框架：为什么是 Redis？Redis 是一个开源的...
2018-11-18 01:09:12
701
4
原创 进阶爬虫：用 selenium 爬取 GitHub 2.0
关键字： selenium 爬虫GitHub:https://github.com/utopianist/GitHubZip2.0前言我在微信公众号写的第一篇推文：爬爬看：爬取 GitHub 项目 Zip 文件，保存并解压。发布的时间不过十多天，GitHub 网站的 URL 规则就更改了。昨天更新了这部分代码：GitHub：https://github.com/utopiani...
2018-11-12 15:59:51
544
原创 PyCharm Regex 正则匹配
这几天在学习崔庆才大佬的《Python3WebSpider》时，看到了这么一波亮瞎眼的操作：我百度了一下后，发现一些门路：在 PyCharm 中键入 Ctrl+R 打开正则表达式匹配模式。选择 Regex 正则匹配。在上框中输入 (.*?): (.*) 。在下框中输入 '$1': '$2', 主要到这里的冒号后面有空格，还有注意末尾有一个逗号。最后点击 Replace all 。...
2018-11-11 16:11:41
4192
2
原创 进阶爬虫：今日头条街拍美图
关键字： json 爬虫 MongoDBGitHub：https://github.com/utopianist/JiePai前言今日我们在 今日头条 网站上爬取 街拍美图 。今日头条 的数据都是用 Ajax 技术加载渲染完成，打开 今日头条 页面源码，连一根鸡毛都没有。在我们爬虫界，按照 ‘可见即可爬’ 的原则， 所谓的 Ajax 就是 ’换一个页面‘ 爬取我们想要爬取的资源。...
2018-11-11 15:27:42
660
原创 经典爬虫：用Scrapy爬取百度股票
关键字： Scrapy CSS选择器 爬虫GitHub：https://github.com/utopianist/ScrapyBaiduStocks课程url：http://www.icourse163.org/course/BIT-1001870001前言今天我们编写一个用 Scrapy 框架来爬取百度股票的代码，之前写过一篇爬取百度股票的文章，代码的逻辑和这篇文章的逻辑是一样的...
2018-11-08 20:28:40
605
原创 爬爬看：爬取西刺代理
关键字： 西刺代理 爬虫 CSV文件GitHub：https://github.com/utopianist/XichiProxies前言由于群里一位水友的提问，我打算写这份代码。西刺网站的代理分为四种：高匿 、普通（透明） 、HTTPS 、HTTP 。对应页面的 URL 特征是：nn 、nt 、wn 、wt 。这里，我们以 高匿代理 为爬取目标。目标站点分析查看网页 元素...
2018-11-07 16:14:46
638
2
原创 经典爬虫：爬取百度股票
关键字： 百度股票 爬虫 文件保存课程 URL：http://www.icourse163.org/course/BIT-1001870001GitHub： https://github.com/utopianist/CrawBaiduStock前言百度股票 URL ：https://gupiao.baidu.com/stock/ + sz300059 +.html，其中以 sh 开...
2018-11-04 18:10:28
2949
3
原创 经典爬虫:淘宝商品
关键字： 淘宝 爬虫课程url：http://www.icourse163.org/course/BIT-1001870001GitHub：https://github.com/utopianist/CrawTaoBao前言这次爬取taobao.com，输入关键词书包：达到这种效果：HTML下载器def getHTML(url): try: head...
2018-11-03 12:24:50
193
原创 经典爬虫:爬取高校排名
前言本文介绍北京理工大学崇天老师的一篇爬虫,爬取的目标站点是"最好大学网".附上课程URL=‘https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/learn/announce’.HTML下载器HTML下载器注意到get函数的两个方法,raise_for_status()和apparent_encoding,rais...
2018-11-01 20:46:09
454
原创 爬爬看:爬取GitHub项目Zip文件,并保存解压.
爬爬看:爬取GitHub项目Zip文件,并保存解压.前言目标站点分析HTML下载器HTML解析器Zip下载器Zip解压并删除总结前言最近在学习崔庆才大佬的网络爬虫课程,难免要用到他GitHub上课源代码.但项目很多,一个个下载这种事情,显得很愚蠢.我作为一个程序员,宁愿用一天来写一个代码,也不要用十分钟来手动下载(`へ´*)ノ.目标站点分析这次我们要下载的zip文件链接是这样的:我们只...
2018-10-29 17:43:28
5141
6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人