- 博客(34)
- 收藏
- 关注
RSS订阅转载 python中自定义超时异常的方法
带有返回值的超时异常，可以通过创建thread类的方式来进行捕捉import threadingimport sysimport timeclass Dispacher(threading.Thread): def __init__(self, fun, args): threading.Thread.__init__(self) self.se...
2019-03-05 16:50:36
1623
转载 图解MySQL 内连接、外连接、左连接、右连接、全连接
转载自：https://blog.csdn.net/plg17/article/details/78758593用两个表（a_table、b_table），关联字段a_table.a_id和b_table.b_id来演示一下MySQL的内连接、外连接（ 左(外)连接、右(外)连接、全(外)连接）。MySQL版本：Server version: 5.6.31 MySQL Community Se...
2019-02-28 17:20:21
354
转载 5分钟让你明白“软链接”和“硬链接”的区别
本文转自简书https://www.jianshu.com/p/dde6a01c4094什么是链接？链接简单说实际上是一种文件共享的方式，是 POSIX 中的概念，主流文件系统都支持链接文件。它是用来干什么的？你可以将链接简单地理解为 Windows 中常见的快捷方式（或是 OS X 中的替身），Linux 中常用它来解决一些库版本的问题，通常也会将一些目录层次较深的文件链接到一个更...
2018-11-28 17:33:06
974
1
转载 ASCII，Unicode和UTF-8终于找到一个能完全搞清楚的文章了
转载自：https://blog.csdn.net/Deft_MKJing/article/details/79460485 前言平时喜欢写东西，看博客，一直对编码有些懵，今天下午也不知道看到了什么，突然想了解下，就找到了这个文章，看完真的豁然开朗，这个必须留下来做纪念。点击打开链接1.ASCII我们知道，计算机内部，所有信息最终都是一个二进制值。每一个二进制位（...
2018-10-17 11:52:20
169
转载 ORM基础知识
何为ORM一、ORM简介 对象关系映射（Object Relational Mapping，简称ORM）模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。那么，到底如何实现持久化呢？一种简单的方案是采用硬编码方式，为每一种可能的数据库访问操作提供单独的方法。 ...
2018-09-07 16:13:33
205
原创 笔记
Xpath中contains contains 匹配一个属性值中包含的字符串 – 模糊定位<a href="http://www.baidu.com">百度搜索</a>//a[text()='百度搜索'] 或//a[contains(text(),"搜索")] --文本模糊定位<a id=&q
2018-09-04 15:58:35
251
转载 python操作mysql数据库
转载地址：http://www.runoob.com/python/python-mysql.html python操作mysql数据库Python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库，你可以选择适合你项目的数据库：GadFlymSQL...
2018-08-31 20:01:29
403
原创 Mysql学习笔记
关系型数据库与非关系型数据库的区别当前主流的关系型数据库有Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL等。非关系型数据库有 NoSql、Cloudant。数据库类型特性优点缺点关系型数据库SQLite、Oracle、mysql1、关系型数据库，是指采用了关系模型来组织数据的数据库；2、关系型...
2018-08-31 19:48:24
211
原创 图形验证码的识别
准备工作识别图形验证码需要库tesserocr。识别测试用tesserocr库识别该验证码，代码如下所示：import tesserocrfrom PIL import Imageimage = Image.open("code.jpg")result = tesserocr.image_to_text(image)print(result)在这里我们新建了一个I...
2018-08-23 15:11:35
1148
1
转载 赋值、浅拷贝、深拷贝之我理解
（一）2个为什么 先通过2个为什么来了解一下python内存中变量的存储情况。>>> name = [1,2,3,["alex","rain"]]>>> name2 = name.copy()
2018-08-19 21:11:17
595
转载 Scrapy-Request和Response（请求和响应）
请求和响应Scrapy的Request和Response对象用于爬网网站。通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序。上面一段话比较拗口，有web经验...
2018-08-19 21:04:12
1128
原创 scrapy存Mysql数据通用方法
首先保证Mysql正常运行 新建一个数据库，名字自定，例如images360,SQL语句如下： CREATE DATABASE images360 DEFAULT CHARACTER SET utf-8 COLLATE utf-8_general_ci新建一个数据表，内容自定，例如：id，url，title，thumb四个字段，SQL数据如下所示： CREATE TA...
2018-08-18 16:47:16
377
转载 12306抢票系统无界面版本——(4)完成购票与抢票
引言因为老师突然给了个比赛，所以就和我朋友一起参加了，我负责的工作是项目整合和界面的绘画，使用的语言是python，用pyQT5画的界面。项目完成这里我做一些笔记。前面的爬取就直接看我朋友的文章吧获取验证码：https://blog.csdn.net/r244925932/article/details/81227873获取车票信息：htt...
2018-08-18 16:13:53
2824
原创 scrapy通用存图片方法
pipelines我们重写ImagesPipeline方法来实现将图片存到本地。# 首先导包import scrapyfrom scrapy.pipelines.images import ImagesPipeline# 重写方法class Pictures360Pipeline(ImagesPipeline): def get_media_requests(sel...
2018-08-18 16:11:23
377
原创 scrapy存MongoDB通用方法
在pipelines中import pymongoclass MongoPipeline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db @classmethod def...
2018-08-18 15:41:19
593
转载 Chrome开发者工具详解(5)-Application、Security、Audits面板
转载自：http://www.cnblogs.com/charliechu/p/6021141.htmlChrome开发者工具详解(5)-Application、Security、Audits面板这篇文章是Chrome开发者工具详解这一系列的最后一篇，介绍DevTools最后的三个面板功能-Application面板、Security面板、Audits面板的基本功能：Applicati...
2018-08-09 21:23:52
347
转载 Chrome开发者工具详解(4)-Profiles面板
Chrome开发者工具详解(4)-Profiles面板如果上篇中的Timeline面板所提供的信息不能满足你的要求，你可以使用Profiles面板，利用这个面板你可以追踪网页程序的内存泄漏问题，进一步提升程序的JavaScript执行性能。概述当前使用的Chrome最新版为54.0.2840.71，这个版本的Profiles面板比之前提供的功能更多也更强大，下面是该面板所包含的功能点：...
2018-08-09 21:22:45
144
转载 Chrome开发者工具详解(3)-Timeline面板
Chrome开发者工具详解(3)-Timeline面板注： 这一篇主要讲解面板Timeline，参考了Google的相关文档，主要用于公司内部技术分享。。注： 这一篇主要讲解面板Timeline，参考了Google的相关文档，主要用于公司内部技术分享。。Timeline面板Timeline面板是整个面板里面最复杂的一个面板，涉及的东西比较多。可以利用这个面板来记录和分析网页运行过程...
2018-08-09 21:21:50
183
转载 Chrome开发者工具详解(2)-Network面板
转载自：http://www.cnblogs.com/charliechu/p/5981346.html Chrome开发者工具详解(2)-Network面板 <div class="postBody"> <div id="cnblogs_post_body" class=...
2018-08-09 21:20:58
284
转载 Chrome开发者工具详解(1)-Elements、Console、Sources面板
转载自：http://www.cnblogs.com/charliechu/p/5948448.htmlChrome开发者工具详解(1)-Elements、Console、Sources面板Chrome开发者工具面板面板上包含了Elements面板、Console面板、Sources面板、Network面板、Timeline面板、Profiles面板、Application面板、Se...
2018-08-09 21:19:18
195
原创 爬取今日头条街拍图片
基本工具Requests库os模块解析过程我们首先在头条内搜索街拍并同时打开开发者工具，查看Networks中的XHR选项，发现只有一个GET请求。 通过分析，我们可以清楚的在Preiew中发现我们图片的地址 然而这个图片地址我们直接复制在浏览器中是没用的，我们尝试加上“https:”，再在浏览器中打开，如下图所示 便可以得到图片，所以，我们要做的就是得到这...
2018-08-07 21:39:39
531
转载 python生成器
谈谈python生成器第一次看到Python代码中出现yield关键字时，一脸懵逼，完全理解不了这个。网上查下解释，函数中出现了yield关键字，则调用该函数时会返回一个生成器。那到底什么是生成器呢？我们经常看到类似下面的代码def count(n): x = 0 while x < n: yield x x += 1for i...
2018-08-07 11:01:15
103
转载 深入理解python元类
类和对象什么是元类__metaclass属性定制元类为什么要使用元类？总结类和对象在理解什么是元类之前，有必要先理解下，什么是类。什么是类？通俗的讲，类就是用来创建对象的代码片。在python中，类还有一个奇特的特性，就是类，本身也是一个对象。怎么理解？——在你定义...
2018-08-07 10:13:59
145
原创 Redis存储学习笔记
引言Redis是一个基于内存的高效的键值型非关系型数据库，存储效率极高，而且支持多种存储数据结构。基本操作Redis 和 StrictRedis redis-py库提供了两个类，Redis和StrictRedis来实现Redis命令操作。 StrictRedis：实现了绝大部分命令，参数也一一对应。 Redis：StrictRedis的自雷，主要功能是用于向后兼容旧版本库里的几...
2018-08-07 09:00:54
121
转载 Mac下Zookeeper安装及配置
Zookeeper 的安装 下载地址：http://www.apache.org/dyn/closer.cgi/zookeeper首先从官网下载ZooKeeper压缩包，然后解压下载得到的ZooKeeper压缩包，发现有“bin，conf，lib”等目录。“bin目录”中...
2018-08-07 08:53:00
10048
原创 Python中Requests库学习笔记
Requests: HTTP for Humans让HTTP服务于人类为什么使用requests库。 相比较urllib，比如处理网页认证和Cookies时，需要写Openner和Handler来处理。为了更加方便的实现这些操作。安装 pip install requests验证安装 没有报错就已经证明安装成功基本用法简单实例 使用requests...
2018-07-31 15:28:55
4318
转载 Python-Image 基本的图像处理操作
Python-Image 基本的图像处理操作 Python-Image 基本的图像处理操作，有需要的朋友可以参考下。Python 里面最常用的图像操作库是&nbsp;Image library（PIL），功能上，虽然还不能跟Matlab比较，但是还是比较强大的，废话补多少，写点记录笔记。1. 首...
2018-07-30 16:22:15
365
转载 32个python爬虫项目
今天为大家整理了32个Python爬虫项目。整理的原因是，爬虫入门简单快速，也非常适合新入门的小伙伴培养信心。所有链接指向GitHub，祝大家玩的愉快~O(∩_∩)OWechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣...
2018-07-28 09:51:37
275
原创 微博内容爬取——陈一发儿微博实例
引言利用Ajax分析微博并爬取其内容如微博内容，点赞数，转发数，评论数等。分析打开陈一发微博网站：https://m.weibo.cn/p/1005051054009064，并同时打开开发者工具。 我们可以在Network中分析可以得出，微博中所有的内容都是名为“getIndex?containerid=1076031054009064”的响应 经过这其中的JSON代码分析后可...
2018-07-27 20:24:10
6738
4
原创 正则表达式之猫眼电影排行榜爬取
引言利用requests库和正则表达式来抓取猫眼电影TOP100的相关内容分析与代码阶段首先打开猫眼排行榜网页：http://maoyan.com/board/4 并同时打开开发者工具。我们可以在页面上看到前十名的排行。 并在响应为 【4？offest=0】中找到网页源代码，里面有我们需要的相关内容。 之后尝试点击下一页寻找网页之间变化关系，可以发现下一页的offest变成了10 ...
2018-07-27 09:05:37
430
原创 12306抢票系统无界面版本——(3)获取个人信息
获取个人信息我们打开着开发者工具，点击查看个人信息。可以在Network中看到一个名为initQueryUserInfo的响应。 这其中的 Request URL:https://kyfw.12306.cn/otn/modifyUser/initQueryUserInfo 我们在登录状态下便是图中左边的页面。 所以我们可以通过BeautifulSoup解析来得到其中的内容def...
2018-07-26 21:34:39
861
原创 12306抢票系统无界面版本——(2)获取车票信息
获取车票信息获取车票信息不需要登录依旧可以获取，但是我们依旧保持cookie来获取车票信息。 首先进入车票预订网站 URL = https://kyfw.12306.cn/otn/leftTicket/init 并打开开发者工具，我们可以发现这里只发送了一个GET请求来获取车票的信息。 我们打开Request URL可以看到一大段JSON代码。 这里我们可以看出已经获得到了车票...
2018-07-26 21:17:57
1460
1
转载 欢迎使用CSDN-markdown编辑器1
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-07-26 17:13:48
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人