- 博客(44)
- 收藏
- 关注
RSS订阅
原创 Python开发基础目录
一、Python入门:1.计算机基础2.python入门基础3.python中基础数据类型和基础运算4.流程控制和循环语句: (if循环和for循环)二、数据类型、字符编码、文件处理1.基本数据类型及其内置操作(数字、浮点、字符串、列表)2.基本数据类型及其内置操作(元组、字典、集合)3.字符编码和文件处理三、函数1.函数的简单介绍2.函数的基本使用...
2020-03-08 14:28:36
349
原创 数据库相关:
关系型数据库: Mysql1. 数据库基础及数据的安装和基础配置2. Mysql数据库的基本操作3. Mysql中创建表的完整操作、mysql中的数据类型、约束条件、4. Mysql中多表之间的关系创建、外键(Foreign Key)的使用5.Mysql中单表查询、多表查询、子查询6.Mysql中的用户管理(权限管理)、连接Mysql的模块: pymysql、可视化工具...
2019-09-24 20:31:25
393
原创 跨域请求及其处理办法
目录什么是跨域请求?一 同源策略二 CORS（跨域资源共享）简介三 CORS基本流程四 CORS两种请求详解简单请求非简单请求跨域请求的服务端解决方案五 Django项目中支持CORS什么是跨域请求?跨域请求简单来说就是在一个域名内对另一个域名发起请求, 或者说在一个域名内携带数据进行跳转, 跳转到另一个请求,这个在用户看来非常正常的操作实际上是存在一点...
2019-02-28 18:51:46
343
原创 REST-Framework: RESTful规范
目录一 什么是RESTful二 RESTful API设计三 基于原生的Django实现一 什么是RESTful REST与技术无关，代表的是一种软件架构风格，REST是Representational State Transfer的简称，中文翻译为“表征状态转移” REST从资源的角度类审视整个网络，它将分布在网络中某个节点的资源通过URL进行标识，客户端应用通...
2019-02-19 19:50:01
317
原创 浅谈Django中CSRF（Cross-site request forgery）跨站请求伪造
目录一 CSRF是什么二 CSRF攻击原理三 CSRF攻击防范简介 原理 通过form表单提交通过ajax提交总结一 CSRF是什么CSRF（Cross-site request forgery）跨站请求伪造，也被称为“One Click Attack”或者Session Riding，通常缩写为CSRF或者XSRF，是一种对...
2019-01-22 20:45:42
379
原创 Django组件: session和cookie
目录一、 会话跟踪技术会话路径技术使用Cookie或session完成二、cookie介绍cookie的由来什么是cookiecookie的原理Cookie规范 Cookie的覆盖 在浏览器中查看cookie三、Django中怎么操作Cookie获取Cookie设置Cookie删除CookieCookie版登录校验二、Session介绍...
2019-01-22 20:05:51
386
原创 Web应用与Web框架
目录Web应用是什么?Web框架在Web中 HTTP协议、wsgi协议、Socket的关系:wsgiref模块Web应用是什么?B/S架构的应用程序, b/s本质上也是c/s, 这里的B指的是浏览器, S包括两部分: server+application,其中server是web服务器, server是实现了wsgi协议规定的socket, 现在使用的一般都是现成的,...
2019-01-17 20:39:06
1420
原创 项目的三层结构简介
什么是三层架构编程:本质上所有的项目(应用程序)都是需要和用户交互,然后产生数据,对数据进行处理,最后将数据存储到硬盘这么个过程在编程中,可以将这个过程分一下层次,最初只分两层,用户层和数据层,但是后来人们发现,只分两层的话,这两层之间的耦合程度比较高,在实际运行过程中会造成不必要的麻烦,所以为了分层架构的编程方法实用性更好,抽取出另外一层专门负责处理用户提交的数据,对数据进行判断,验...
2018-11-01 16:08:08
1001
原创 Python基础: TCP套接字中出现的粘包现象和解决办法
一、什么是粘包现象首先我们先来基于TCP制作一个执行远程命令的程序注意:在服务端使用subprocess执行系统命令返回结果的候res=subprocess.Popen(cmd.decode('utf-8'),shell=True,stderr=subprocess.PIPE,stdout=subprocess.PIPE)上面代码的结果的编码是以当前所在的系统为准的,如果是wind...
2019-08-07 17:26:43
571
原创 爬虫介绍: 分布式爬虫
一 介绍原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址）所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Scheduler到共享队列存取Request，并且去除重复的Request请求，所以总结下来，实现分布...
2019-03-11 22:53:31
315
原创 爬虫框架: Scrapy的使用
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrap...
2019-03-11 22:49:17
426
原创 爬虫介绍: 高性能爬虫
一 背景知识爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的利用率仍然会很高，之所以单线程下串行多个爬虫任务低效，是因为爬虫任务是明显的IO密集型程序。...
2019-03-11 20:35:48
306
原创 爬虫介绍: 爬虫的解析库:Pyquery
如果你对Web有所涉及，如果你比较喜欢用CSS选择器，如果你对jQuery有所了解，那么这里有一个更适合你的解析库——pyquery。接下来，我们就来感受一下pyquery的强大之处。1.准备工作在开始之前，请确保已经正确安装好了pyquery。若没有安装pip install pyquery。2.初始化像Beautiful Soup一样，初始化pyquery的时候，也需...
2019-03-07 23:22:56
196
原创 爬虫介绍: 爬虫的解析库:Re、BeautifulSoup和Xpath详细介绍
爬虫的Re解析库:在python中就是使用我们之前介绍过的re模块一 BeautifulSoup模块介绍简单来说,Beautiful Soup是python的一个库, 最主要的功能时从网页抓取数据, 官方解释如下:Beautiful Soup提供一些简单的, python式的函数用来处理导航, 搜索, 修改分析树等功能. 它是一个工具箱, 通过解析文档为用户提供需要抓取的数据...
2019-03-07 23:07:43
1582
原创 爬虫介绍: 爬虫的请求库:Selenium
一 Selenium介绍selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器from selenium import webdriverbrowser=webdriver.Ch...
2019-03-07 21:20:56
910
原创 爬虫介绍: 爬虫的请求库:Request
一 Request模块介绍介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求#Request的安装：pip3 install requests#各种请求方式...
2019-03-07 20:43:13
676
2
原创 爬虫介绍: 爬虫的基本原理
一 爬虫是什么在我们开始介绍爬虫之前, 我们先来了解一些基础的问题, 方便我们后续更好的了解爬虫1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，...
2019-03-07 16:04:03
884
原创 Django中的缓存机制
一 缓存介绍在动态网站中,用户所有的请求,服务器都会去数据库中进行相应的增,删,查,改,渲染模板,执行业务逻辑,最后生成用户看到的页面.当一个网站的用户访问量很大的时候,每一次的的后台操作,都会消耗很多的服务端资源,所以必须使用缓存来减轻后端服务器的压力.缓存是将一些常用的数据保存到内存或者Redis / memcache中,在一定的时间内有人来访问这些数据时,则不再去执行数据库及渲染...
2019-02-28 21:14:33
536
原创 REST-Framework: 视图组件
目录视图类运用一、基本视图二、Mixins类和generics类编写视图三、通用类generics下ListCreateAPIView,RetrieveUpdateDestroyAPIView四、终极方案:使用ModelViewSet五个类小结ViewSetMixinAPIView总结总体概括这篇博文主要将围绕上面这张思维导图进行，下面我们将从应用讲到...
2019-02-26 20:36:30
439
原创 REST-Framework: 版本控制器
目录版本控制器介绍:一 作用二 内置的版本控制类三 局部使用四 全局使用五 示例源码分析版本控制器介绍:为什么在开发过程中为什么会有不同的版本产生, 我们之前在Restful规范的时候的时候已经介绍过了, 这里不再赘述, 在Rest-framework中开发者就为我们内置了一个版本控制组件来帮助我们来更好地控制不同的版本, 下面我们就介绍一下在Rest-fram...
2019-02-25 19:33:46
186
原创 REST-Framework: url路由控制
目录路由控制介绍:一 自定义路由（原始方式）二 半自动路由（视图类继承ModelViewSet）三 全自动路由（自动生成路由）路由控制介绍: 我们之前一直接触的路由是最基本的形式, 就是我们下面介绍的第一种方式的自定义路由, 无论是FBV还是CBV, 都可以使用这用方式来设置路由来设定请求来的时候对应响应视图的函数或者视图类 当我们使用封装了的视图类处理代码的时...
2019-02-25 19:28:29
814
原创 REST-Framework: 响应器
Rest-Framework之前有篇博客有专门介绍解析器和响应的我们在这里介绍怎么应用Rest-Framewor中的响应器组件,他们的应用并不广泛, 只是在有需求的项目中才会出现,一般用默认的就可以了一 作用根据 用户请求URL 或 用户可接受的类型，筛选出合适的 渲染组件。用户请求URL： http://127.0.0.1:8000/test/?format=json ...
2019-02-25 19:23:39
197
原创 REST-Framework: 解析器
Rest-Framework中的解析器和响应器是对应的,分别对客户端的请求和服务器的响应相对应做处理一 解析器的作用根据请求头 content-type 选择对应的解析器对请求体内容进行处理。有application/json，x-www-form-urlencoded，form-data等格式, 可以自己自行配置支持或者不支持哪种格式, 一般在实际的生产环境中用json一种数据格式进...
2019-02-25 19:19:37
226
原创 REST-Framework: 分页器
分页器的应用说明:分页往往是在查询的结果是多条数据而我们又不需要一次性显示或者阅读的时候使用的,在Rest-Framework中也内置了分页器的组件供我们使用, 分页器中一共内置了三种分页方法: 简单分页、偏移分页、加密分页. 下面就一次介绍一下这几种分页方法的具体使用和区别一 简单分页（查看第n页，每页显示n条） 使用情景较多, 具体使用方法和各个参数的说明如下 from r...
2019-02-25 19:11:16
265
原创 REST-Framework: 频率组件
目录一 频率简介二 自定义频率类，自定义频率规则三 Rest-Framework中内置频率类全局及局部使用局部使用:四 内置频率类及全局使用五 源码分析一 频率简介为了控制用户对某个url请求的频率，比如，一分钟以内，只能访问三次二 自定义频率类，自定义频率规则自定义的逻辑'''（1）取出访问者ip（2）判断当前ip: 不在访问字典里，添加进去，并...
2019-02-25 10:20:44
302
原创 REST-Framework: 权限组件
目录一 权限简介二 局部使用三 全局使用四 源码分析一 权限简介只用超级用户才能访问指定的数据，普通用户不能访问，有了这种类似的需求就要有权限组件对其限制, 权限组件就这样产生了权限组件的使用和认证组件的使用很类似, 不管是全局使用,还是局部使用都可以参考认证组件的使用, 在需要注意的地方和不同之处我会特别指出二 局部使用from rest_framework...
2019-02-22 12:08:55
203
原创 REST-Framework: 认证组件 | token的介绍和使用
目录一 认证简介二 认证组件局部使用三 认证组件全局使用附：不存数据库的token验证四 源码分析一 认证简介Django 自带一个用户认证系统，这个系统处理用户帐户、组、权限和基于 cookie 的会话.只有认证通过的用户才能访问指定的url地址，比如：查询课程信息，需要登录之后才能查看，没有登录，就不能查看，这时候需要用到认证组件Rest-Framework中...
2019-02-21 09:51:09
1119
原创 REST-Framework: 序列化组件
目录序言:Django自带序列化组件一、restframework介绍什么是restframeworkrestframework介绍HTTP动词状态码二 rest-framework序列化之Serializer序列化的意义:常用字段类型:序列化实例三 rest-framework序列化之ModelSerializer四 生成hypermedialin...
2019-02-20 09:45:38
443
原创 Django组件: Django中的中间件
目录一 什么是中间件二 中间件有什么用三 自定义中间件process_request和process_responseprocess_viewprocess_exceptionprocess_template_response(self,request,response)四 中间件应用场景1、做IP访问频率限制2、URL访问过滤五 CSRF_TO...
2019-01-23 11:06:06
375
原创 Django组件: Auth模块
目 录一、Auth模块是什么二、auth模块常用方法authenticate()login(HttpRequest, user)logout(request) is_authenticated()login_requierd()create_user()create_superuser()check_password(password)set_passw...
2019-01-22 20:25:46
630
原创 Django组件: 强大的forms组件
目录Forms组件:一、校验字段功能二、渲染标签功能渲染方式1(推荐)渲染方式2(推荐)渲染方式3三、渲染错误信息功能模板html文件接收错误信息:四、forms组件的参数配置五、全局钩子和局部钩子局部钩子全局钩子Forms组件:是Django提供的用于数据校验和模板渲染的组件, 在Django使用该组件可以便捷的帮助我们来完成很多事情;下面...
2019-01-22 17:54:48
603
原创 Django组件: Django中的分页器
1 Django的分页器（paginator）简介在页面显示分页数据，需要用到Django分页器组件from django.core.paginator import Paginatorpaginator对象下的属性及其代表的意义,使用Paginator(QuerySet对象, 10)生成paginator对象的时候, 第二个参数表示一页显示的数据个数Paginator对象： ...
2019-01-21 18:43:40
388
原创 Django组件: Django与Ajax
目录一、什么是Ajax二 基于jquery的Ajax实现ajax----->服务器------>ajaxkedudaun三 案例四 文件上传请求头ContentType基于Form表单上传文件基于Ajax上传文件五 Ajax提交json格式数据的几种方式六、在Django中返回给前端json格式数据的几种方式七、Django内置的seri...
2019-01-21 12:22:11
428
1
原创 Django框架模型层常用字段和参数说明
目录1. ORM字段常用和非常用字段合集2. ORM字段参数DateField和DateTimeField3. 关系字段ForeignKeyOneToOneFieldManyToManyField4. 多对对关系创建的三种方式方式一：自行创建第三张表方式二：通过ManyToManyField自动创建第三张表方式三：设置ManyTomanyField并...
2019-01-21 09:50:52
516
1
原创 Django中的MVC与MTV模型、ORM的使用以及Django的生命请求周期
目录一、MVC与MTV模型MVCMTV二、Django中的ORM2.1、ORM简介三、Django的生命请求周期一、MVC与MTV模型MVCWeb服务器开发领域里著名的MVC模式，所谓MVC就是把Web应用分为模型(Model)，控制器(Controler)和视图(View)三层，他们之间以一种插件式的、松耦合的方式连接在一起，模型负责业务对象与数据库的映射(O...
2019-01-17 20:45:04
436
原创 Django框架的模型层之多表操作
目录一 创建模型二 表记录的增删改一对多多对多三、基于对象的跨表查询一对一查询（Author 与 AuthorDetail）一对多查询（publish与book）多对多查询 (Author 与 Book)四、基于双下划线的跨表查询(推荐)一对一查询(author对author_detail)一对多查询多对多查询(book对author)进阶...
2019-01-14 18:29:02
459
原创 Django框架的模型层之单表操作
目录一、ORM简介二、单表操作创建表添加表纪录查询表纪录Django的ORM中各个对象的说明:基于双下划线的模糊查询 删除表纪录修改表纪录三、在python脚本中调用Django环境四、Django终端打印SQL语句一、ORM简介查询数据层次图解：如果操作mysql，ORM是在pymysq之上又进行了一层封装 MVC或者MTV框架中包括一个...
2019-01-14 15:02:36
310
原创 Django框架的模板层详解
目录 一、模板简介二、模板语法之变量三、模板之过滤器四、模板之标签for标签for ... emptyif 标签with五、自定义标签和过滤器六、模板导入和继承模板导入:模板继承:七、静态文件相关除了使用static标签外还可以使用get_static_prefixinclusion_tag一、模板简介首先我们来看一个例子:...
2019-01-10 17:54:17
543
2
原创 Django框架的视图层详解
目录 一、视图函数二、HttpRequest对象Request的属性request常用的方法三、HttpResponse对象Render()redirect()四、JsonResponse五、CBV和FBV六、简单的文件上传一、视图函数一个视图函数，简称视图，是一个简单的Python 函数，它接受Web请求并且返回Web响应。响应可以是一张网页的...
2019-01-09 20:26:10
508
原创 Django中的路由控制
目录 一、Django中路由的作用二、简单的路由配置三、有名分组和无名分组3.1 有名分组3.2 路由的无名分组3.3 路由中的伪静态四、路由分发五、反向解析六、名称空间(了解)七、Django2.0之后的pathpath中的转化器自定义转化器一、Django中路由的作用Django中URL配置(URconf)就像Django所支持的网站...
2019-01-09 17:07:37
459
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人