小大大白-CSDN博客

转载爬虫的增量式抓取和数据更新

爬虫的增量式抓取和数据更新页面爬的多了，量上去了之后，就会遇到其他的问题，其实不管做什么技术量大了都会有问题。一般情况下，我认为解决"大量"问题的思路有两个：一种是着力于优化系统的能力，让原本只能一分钟处理100条的系统提升到一分钟1000条之类的，在我看来并行、分布式、集群都属于这个范畴，这种思路下，系统处理的内容没有变化只是单纯的处理速度变快了；另一种是着力于提高系统的工作...

2018-11-28 11:59:25 2252

转载版本控制工具Git的基本使用

学无止境，精益求精！十年河东，十年河西，莫欺少年穷！学历代表你的过去，能力代表你的现在，学习代表你的将来！本篇博客是转发的别人的，原文地址：http://www.ruanyifeng.com/blog/2015/12/git-cheat-sheet.html很久没写博客了，都是工作太忙闹的，索性今儿转发一篇！省的博客园太冷清了...Git图形化界面我用的还可以，但是命令就不太会了，索性和...

2018-11-10 23:32:07 96

转载爬虫验证码解决思路

参考崔庆才python网络爬虫开发实战 Python爬虫四种验证码的解决思路 2018年06月07日 10:17:13 小卒曹阿瞒阅读数：5584 ...

2018-11-08 22:45:59 208

原创 MySQL启动时遇到的的问题

在命令行输入 mysql -u root -p 登录mysql，返回”Can’t connect to MySQL server on localhost (10061)”错误问题原因：在一番谷歌后，查到问题原因是mysql没有启动。解决方法：1、将mysql加入到Windows的服务中。切换到mysql安装目录下的bin文件夹，命令行运行"mysql --install"1 C:\Pro...

2018-10-30 20:38:39 137

转载爬虫文字的显示问题（反反爬虫）

转自litang199612https://blog.csdn.net/litang199612/article/details/83413002 爬虫遇到的问题最近在用爬虫程序爬一些网站的时候发现爬到的数据出现乱码，不能正常显示：如上图我们可以发现有些数据的数字变成了加密字体，我就去查看了一下网站的代码...

2018-10-30 16:01:46 3658 1

原创 MySQL命令大全

1、连接Mysql格式： mysql -h主机地址 -u用户名－p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口，然后进入目录mysql\bin，再键入命令mysql -u root -p，回车后提示你输密码.注意用户名前可以有空格也可以没有空格，但是密码前必须没有空格，否则让你重新输入密码。如果刚安装好MYSQL，超级用户root是没有密码的，故直接回车即可进入到MYSQL中...

2018-10-26 12:18:31 100

转载 sql操作指令

MySQL常用操作指令和内置函数，欢迎留言补充！建库，选择库create database pygodnet; use pygodnet;12删库drop database pygodnet;13.建表，删表create table user(userid int(11),usern...

2018-10-25 09:14:31 123

原创使用requests库实现验证码登录

import requestsfrom bs4 import BeautifulSoupimport urllib.requestheaders = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safa...

2018-10-23 20:23:37 1412

1.http和https的概念：HTTPS（全称：Hypertext Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。它是一个URI scheme（抽象标识符体系），句法类同http:体系。用于安全的HTTP数据...

2018-10-23 20:00:26 415

原创 Django示例演示

**定义模型类**模型类被定义在"应用/models.py"文件中，此例中为"booktest/models.py"文件。模型类必须继承自Model类，位于包django.db.models中。提示：对于重要数据使用逻辑删除。示例演示接下来首先以"图书-英雄"管理为例进行演示。注意：这里我们用的版本是django==1.83版本。了解和2.1版本的区别，请百度查询，这里不再啰嗦。...

2018-10-18 11:05:26 620 1

weixin_42950386的博客