- 博客(77)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Django：将有存量数据的自定义的用户表无痛继承自带的AbsUser
前言1、实测成功2、只描述思路和方法，不提供具体有关代码和文档链接背景项目长期维护了一个自定义的Person表，有关用户表的边缘操作都是自己造的轮子，终于有一天大家终于受不了了，而这个任务就落在了我的身上。。方案及流程1、将person表直接继承django自带的AbsUser。2、配置setting中有关默认用户表的变量为：'cur_app.Person'3、生成一个迁移文件4、再生成两个空的迁移文件5、删掉第一个迁移文件有关 username 字段的唯一约束。（请提前将该字段的相关操
2021-06-03 21:16:10
258
1
原创 python assert关键字的第二个参数
描述不知道应不应该说第二个参数，但是可以知道的是这种用法在平常开发中很少用的(甚至说除了在写测试的时候基本上不会用)抛出的异常的补充信息哈。演示如下：a = 0assert a == 1, 'a 为 0'input：Traceback (most recent call last): File "F:/python_file/cookbook/me/demo.py", line 2, in <module> assert a == 1, 'a 为 0'Asser
2020-07-30 21:23:23
520
原创 避免程序中因为文件io操作造成的效率问题
描述这个问题的出现是在我一个同事在django项目中的某一个接口一直读取yaml文件导致效率极其的慢，而出现的小bug。问题解决其实这个问题很好解决的，对于一个打开操作，只需要在程序中进行一次就可以了。那么如何只进行一次？就可以提供一个文件级别的私有函数打开这个文件，定义一个全局变量调用这个函数即可。如果本身需要对这个文件的内容提供操作接口的话，那么再定义一个函数深拷贝这个内容的内容进行操作就好了。为什么这样可行呢？因为在一个程序在运行过程中，所有模块级的变量都会被保存在内存中，不会被释放
2020-07-30 21:16:59
420
原创 为什么Django rest framework 的api会在一次请求中访问两次？
描述遇到这个问题的时候是我在调试的过程中发现的，当我的后台控制台打印出两条相投的语句的时候，我发现了这个问题。解决在搜索引擎上是没有搜索到这个答案的，在官方文档上也没有对应的解释。于是我就点进源码里看了看，当时应该是看到了一点什么，但是时间久了，就忘记了（印象中，大概是DRF的模板也会自动访问一次对应的接口的…）。总而言之：这是正常的！，如果这个问题困扰到你，你可以试试用requests模块中访问一下你的接口，然后就会发现，这样访问的时候和浏览器访问是不同的效果的。...
2020-07-30 21:01:32
629
原创 python：销毁一个对象__del__()和with语句选择哪个
前言当然选择后者啊，这还用说的？好吧，还是说说吧正文有那么一段时间，我习惯于用_ init_()方法来初始化连接，打开，准备等操作；使用__del__（）方法做销毁操作。我是一直知道其弊端的：不就是循环引用和实例多引用致使无法正常销毁实例嘛！简单的使用这种方式，一般情况是遇不到什么问题的，但当业务变得越来越复杂的时候，就会发现会出现莫名奇妙的问题，比如：1、某个操作会卡死在_ d...
2020-05-07 22:53:55
369
原创 python：极可能不知道的and和or巧用
前言and和or一般用于判断语句，但是也有其它用法。有时候你会看到，或者经常使用到这样的用法： return value or xx或者a = value or xx但是下面的用法你遇到过几次？正文codeIn [4]: 'a'and'b'or'c'Out[4]: 'b'In [5]: ''and'b'or'c'Out[5]: 'c'In [6]: 'a'and'b...
2020-05-07 22:27:59
169
原创 python：__new__()和 类名()创建的实例对象的细微差别
前言一般来说，我们创建一个实例对象的时候是使用 类名() 的方式，但实际上 _ new _(）也是可以的，当然它们有着细微的区别。正文code：class Test: def __init__(self): self.test="test"if __name__ == '__main__': t1 = Test() print(vars...
2020-05-07 22:17:05
347
原创 python：记工作中的一些在搜索引擎上不太好找到bug（二）
前言不定时更新选择记录的原因有以下两个：相关问题在搜索引擎上基本上搜索不到有效的答案。错误错的很有意义。文章中会有很少的代码片。（这是因为我所在的这家公司保密机制做的很严格，我需要尊重它）关于每个问题我重在记录和指导我会在每个问题的最后我会选择性的记录一些：你可能不知道，但是有必要知道的小知识点。第一个：使用查询语句的时候，得到了一个意想不到的效果。有下面两个mod...
2020-04-29 19:33:23
148
原创 python：记工作中的一些在搜索引擎上不太好找到bug（一）
前言不定时更新选择记录的原因有以下两个：相关问题在搜索引擎上基本上搜索不到有效的答案。错误错的很有意义。文章中会有很少的代码片。（这是因为我所在的这家公司保密机制做的很严格，我需要尊重它）关于每个问题我重在记录和指导我会在每个问题的最后我会选择性的记录一些：你可能不知道，但是有必要知道的小知识点。第一个：Django项目中生成迁移表或者在进行pytset测试时报出某个mo...
2020-04-22 18:38:23
191
原创 python : 列表推导式中的 if else 的连用
前言之前，我一直认为在python的列表推导式及各种推导式中是只可以有if，不能有else的。直到我看到了 cookbook 这本书中有关于这一点的写法。我又get到一个小技能。顺便说一下：这本书真的很不错。代码之前，我以为只有三元运算符可以这样使用。 tmp = 1 if True else 0但是实际上：In [1]: a=[1,2,3,4,]In [2...
2020-04-17 21:34:55
894
原创 简单介绍：过采样中的SMOTE算法
前言仅概况介绍正文算法思想：对于每个少数类样本A，从它的最近邻中随机选一个样本B，在A、B之间的连线上随机选一点C作为一个新的样本。具体过程：1、对于少数类中每一个样本A，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，将这些样本记作为“邻居”。2、根据数据集中的不平衡比例设置一个采样比例，来确定采样倍率N，对于每一个少数类样本A，在其“邻居”中随机选择若干个邻居，假设选...
2020-03-01 21:40:28
1950
原创 python：尽量用最少的代码实现2048小游戏
介绍项目需求：控制台实现2048游戏。如果想要了解这个游戏的话：游戏链接项目思想和逻辑：由于该项目中追求的是尽量少的代码，所以阅读体验估计会很差但是核心思想表现的很清楚关键环境：python 3.65 及标准库即可命令行测试：python tzfe.py即可项目补充：清屏命令使用的是win下的 cls，如果使用linux的话请换成 clear关...
2020-02-25 21:38:31
983
原创 通俗易懂：总结各种关于语言类型的专业名词的区别
前言在最开始编程的时候，我根本就不敢考虑这些概念，因为查询出来的资料对我来说，完全是天方夜谭，后来深入一点了，就感觉自己略懂一二了吧，所以也就简单记录一下。没有什么专业术语，我的博客本身的原则就是：通俗易懂。如果有什么错误，希望大佬及时指正。正文动静态类型语言：静态类型语言：比较严格，在运行前就给你数据类型检查了，不允许你变来变去的。就比如java，那么多的声明就是为了这。动态...
2020-02-24 22:37:58
550
原创 python：实现通过字符串将图片画出来
简单介绍：项目需求：将传入的图片使用字符串保存并展示。项目思想和逻辑：代码中很容易看明白关键环境：python 3.65 Pillow 7.0.0命令行测试：python pic.py -i ./obj_fie/file.pnggithub：链接code#!/usr/local/bin/python3# -*- coding: utf-8...
2020-02-24 17:09:20
2149
原创 python：贪心+状态机解决leetcode摇摆序列问题（377）
前言leetcode题目解法我只在csdn中记录一些我觉得有必要记录的。问题描述及我的解法及其相关注释和个人觉得的最优解都在代码片里，请自行查看。code#!/usr/local/bin/python3# -*- coding: utf-8 -*-# Author : rusi_# 如果连续数字之间的差严格地在正数和负数之间交替，则数字序列称为摆动序列。第一个差（如果存在的话...
2020-02-21 18:06:54
245
原创 简单介绍：tensorflow的分布式
介绍RPC框架（远程过程调用）：它是一种对底层通信协议的二次封装，通过网络从远程计算机程序上请求的服务框架。可参考：RPC框架tensorflow中的是谷歌的gRPC框架数据分析设备类型：一机多卡（普通）：一台服务器，多个显卡。多机多卡（分布式）：多台服务器，多个显卡。tensorflow实现分布式的结构：参数服务器们（tensorflow对于其的命名规范：/job:...
2020-02-18 22:36:41
241
原创 深度学习：验证码识别
需求：验证码识别方案：数据集和样本本身很小，使用全连接层神经网络预测code：github数据集图片数据集链接：https://pan.baidu.com/s/1ENAtDuyTriCa94CKBONHXg 提取码：77as（由于该链接中的数据不是压缩包的形式，非会员下载极其麻烦，所以不推荐这种方法）自己使用验证码生成代码生成（推荐）直接使用tfecords文件（推荐）文件...
2020-02-16 21:41:19
501
原创 神经网络：卷积神经网络神经
介绍卷积神经网络常用于图片识别，尤其是在大型图像处理上尤为出色。卷积神经网络和全连接神经网络的区别（参考图片，后者为卷积）：相关专业名词：零填充（Zero-padding）：有时，在输入矩阵的边缘使用零值进行填充，这样我们就可以对输入图像矩阵的边缘进行滤波。零填充的一大好处是可以让我们控制特征图的大小。使用零填充的也叫做泛卷积，不适用零填充的叫做严格卷积 。卷积：看到一个很复杂的信...
2020-02-13 18:42:23
461
原创 神经网络：全连接神经网络（单层结构）
介绍首先，要先了解一下逻辑回归。在逻辑回归中，其实是通过sigmoid函数将线性回归输出值转换成0~1之间的概率值，从而通过阈值（常为0.5）比较实现二分类问题求解。而在神经网络解决多分类问题时，便是通过softmax函数，将每个样本的输出值转换为一个概率值，比较概率值的大小，实现多分类问题的求解。softmax函数：公式：公式介绍：我们假设存在一组数据：样本为三个特征的三分类问...
2020-02-10 17:37:40
2198
原创 浅析：关于go与python中的回调函数和闭包的一点小总结
前言浅析，仅个人理解，个人总结。不讨论标准的函数式编程，如果有需要自行科普。存在借鉴。先说闭包广义上：闭包具备以下两个特点：1、可以读取函数内部的变量。2、 让这些变量的值始终保持在内存中。关于这两点我就一次性都表现出来了。在go中：闭包不仅可以读函数内部的变量，还可以直接修改。package mainimport "fmt"func test() f...
2020-02-09 18:12:16
158
原创 go：工具函数汇总（不定时更新，还有小福利）
int to byte// int to bytefunc IntToByte(num int64) []byte { var buffer bytes.Buffer err:=binary.Write(&buffer,binary.BigEndian,num) CheckErr("IntToByte",err) return buffer.Bytes()}byte t...
2020-02-05 21:24:15
204
原创 python：工具函数合集（不定时更新）
重整文件夹所有的文件的名字因为今天使用tensorflow打开我之前爬虫爬下来的图片时，报错了，原因是我的文件名有中文（一般出现这种报错是因为文件损坏）。报错信息OutOfRangeError (see above for traceback): FIFOQueue '_1_batch/fifo_queue' is closed and has insufficient elements ...
2020-01-31 21:35:58
181
原创 go：一种投机取巧的类型转换
前言这种方法说是投机取巧，但是我觉得还是有一定的作用的此方法只适用于：别的类型转为字符串正文巧用：fmt.Sprintf()这是函数解释：Sprintf formats according to a format specifier and returns the resulting string.（将格式化的字符串直接进行返回）示范（bool、int…其他类型均可如此使用）：...
2020-01-29 13:38:06
255
原创 django：优雅装饰类视图的多种方法（以login_required举例）
第一种：直接在url上下手。 url(r'^comment/(?P<course_id>\d+)$', login_required(CommentsView.as_view()), name="comment") 补充说明问题1：为什么可以这样？回答1：1、回忆一下装饰器的原理：将函数本身的引用作为参数传递给这个函数，由该函数定义一个同名函数，在此同名函数中进...
2020-01-17 19:24:28
512
原创 易懂：聚类算法之Kmeans
介绍首先要知道为什么要聚类？简来说：就是没有目标值，自己创造目标值复杂说：通常聚类是做在分类之前的，当数据集没有目标值的时候，就只能通过聚类的方式，将一定量的样本化为一类，另外一部分样本再化为一类，然后这些样本所属于的类别就作为其样本的目标值，之后便在做常规的分类预测。聚类算法之Kmeans的步骤（过程）：ps:先假设此时有1000个样本（点），要将其划分为3个类别（k=3）...
2020-01-15 23:42:36
1551
原创 易懂：逻辑回归
介绍首先要了解线性回归(你一定要看)：线性回归与岭回归。逻辑回归（分类算法）：以线性回归的式子作为公式基础，接受特征值并输入后，通过sigmoid函数可将目标值值转化为0~1之间的某一个值，即为逻辑回归的公式。所以你可以理解逻辑回归公式为：ho(x) = sigmoid(f(x))，(f(x) = w’x 是线性回归公式)，通俗来说：逻辑回归比线性回归多了一个sigmoid函数。sigmo...
2020-01-15 19:11:44
1026
原创 易懂：线性回归
前言尽量表述通俗易懂线性回归的定义和原理线性回归的定义：线性回归通过一个或者多个自变量（特征）与因变量（目标值）之间之间进行建模的回归分析。其特点为一个或多个称为回归系数的模型参数的线性组合。通俗理解：特征值和目标值间具有某个函数关系。问题1：什么样的数据会使用线性关系模型？回答1： 当特征值和目标值在一个二维的时候大概是一个直线的关系（特征值只有一列的时候）；在三维或者多维空间...
2020-01-11 00:17:43
573
原创 关于过拟合和欠拟合
铺垫首先考虑一下，机器学习模型的本质是什么？它的本质其实就是一个函数，其作用是实现从一个样本 x 到样本的目标值 y 的映射，即 f(x)=y。那么这个函数，是不是在空间中可以通过绘图绘制出来？我们不去真正的画某一个模型的几何图形，我们只假设某一个算法模型在不断的通过样本锻炼的过程中，在几何里形成了下图的三个阶段。假设每个点是样本的目标值，那么？哪个图？或者说哪个阶段锻炼出来的算法模型能...
2020-01-10 23:10:37
378
原创 浅析：go语言如何实现面向对象
前言一切都是我自行理解，可能有错，但是我现在无法意识到，意识到或者有人愿意提醒我，我会更正。对go语言实现面向对象有部分知识铺垫，可以跳过。你最好明白常见的面向对象编程的相关名词。正文何为面向对象？我通俗的介绍一下吧。例子1：比如计算 1+1+2+2。你可以定义三个函数，依次计算1+1，2+2，4+4这就是面向过程；你还可以定义一个对象的方法，这个方法专门用来计算加法的，你用...
2020-01-08 21:32:06
685
原创 易懂：决策树与随机森林
相关知识铺垫信息熵的定义：在物理界中，熵是描述事物无序性的参数，熵越大则越混乱；而信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；一个系统越是混乱，信息熵就越高，所以，信息熵也可以说是系统有序化程度的一个度量。信息熵的公式：也可以理解为：H(x) = -(p1logp1 + p2logp2 + … + p32logp32)信息熵公式案例：在32个比赛用马中选择...
2020-01-06 20:55:33
258
原创 golang多任务爬虫：爬取爆照吧每个帖子第一页所有的照片
前言一直使用python写爬虫，一时心血来潮想用golong写个爬虫试试，于是我就试了试。由于没用过golong写过爬虫，所以对第三方库不太了解，所有的数据提取使用的是正则表达式。由于没有使用ip池、user-agent池、cookie池；所以我被反爬了，最多一次抓取1054张照片。使用go的协程，总结一下：快的一批。单任务爬取并下载完毕1054张照片大概需要1分多钟;多任务的话，一瞬间...
2020-01-05 15:37:13
608
4
原创 关于网格搜索和交叉验证
定义理解交叉验证：意义：为了让被评估的模型更加的准确可信(交叉验证平均值最大的才是最可信的)，作用：确定估计器最好的超参数是哪个。实际操作：把训练集分为几个等份，其中包括一份验证集（类似测试集）和多份训练集。而且你还要知道：这份验证集是不固定的，你分为多少份，验证集就有多少种可能；这份验证集的训练集是剩下的多份训练集之和，而不是谋一份训练集网格搜索：指定模型估计器的超参数，程序自...
2020-01-03 23:51:54
993
原创 机器学习：有关分类模型的准确率、召回率、精确率介绍
提要模拟一个机器学习案例：我们假设要做一个预测是否为癌症的案例，特征值是：身体的各项素质，目标值是：是否为癌症。那么此时如何衡量这个模型的好坏？由此引出衡量机器学习的几个标准：准确率、召回率、精确率、其实还有稳健型F1。下面结合假设的预测案例，来介绍这几个标准。正文先了解几个定义：类别定义案例真正例（TP ）实际上是正例的数据点被标记为正例实际上为癌...
2020-01-03 23:23:52
559
原创 go：实现一个小型多人聊天室
前言旨在测试go的协程特此记录codepackage mainimport ( "fmt" "net" "strings" "time")type Client struct { C chan string // pipeline to send data Name string Addr string}//save online users. v...
2020-01-02 19:03:25
438
原创 易懂：朴素贝叶斯算法
前言尽量描述通俗易懂有公式详解和使用案例算法实现和公式推导有链接还有小彩蛋 -。-相关信息定义（我反正不太懂）：朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入 x ，利用贝叶斯定理求出后验概率最大的输出 y 。定义通俗理解：如果数据集的...
2019-12-29 22:30:54
503
原创 易懂：k-近邻算法
前言尽量表述易懂。重在算法本身，案例的的特征处理和数据清洗没有做多少。相关信息定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。通俗理解：距离最近的k个值中，占大多数的目标值就是被预测数据的目标值(k值就是“邻居值”的个数)。来源：KNN算法最早是由Cover和Hart提出的一种分类算法。公式（欧氏距离）：可...
2019-12-28 22:50:34
306
原创 归一化，标准化的小总结
摘要python3.65名词替换：样本为每一行；特征为每一列。归一化，标准化，标准化代码实现都在代码片中。前言问：数据为什么要归一化或者标准化？答：当一组数据中，所有特征对数据分析的作用都是一样，但是数值大小却差别很大的时候，就需要用到归一化或者标准化。归一化特点：通过对原数据的处理，转换数据范围在0-1之间实现公式：x1=x−minmax−minx2=x1×(mx−...
2019-12-24 18:56:23
346
原创 关于VM虚拟机和docker相互不兼容问题解决
摘要window10，vm15pro，dockerdesktop当你想用VM的时候关闭HPV；使用管理员powshell输入命令：bcdedit /set hypervisorlaunchtype off具体参考VM兼容问题当你想用docker的时候打开HPV使用管理员powshell输入命令：bcdedit /set hypervisorlaunchtype auto...
2019-12-23 20:35:04
1976
1
原创 简单理解TF-IDF算法
前言在对文本信息处理得过程中，我们会使用分词工具对文本字符串进行分词处理，然后进行频率统计，就会明白文本字符串中关键词的重要性占比。但是，问题来了，难道，诸如：“所以”、“也许”、“或者”… 这样的词能说明其很重要？答案当然是否！所以，TF-IDF算法就来解决了这一问题。原理Tf，也就是term frequency，它代表了词的频率（“词频”）；可以这样计算 ：词频 = 某词在文...
2019-12-21 19:24:03
404
原创 go：格式化输出
摘要避免用的时候总查百度，特此记录内容%%一个%字面量%b一个二进制整数值(基数为2)，或者是一个(高级的)用科学计数法表示的指数为2的浮点数%c字符型。可以把输入的数字按照ASCII码相应转换为对应的字符%d一个十进制数值(基数为10)%e以科学记数法e表示的浮点数或者复数值%E以科学记数法E表示的浮点数或者复数值%f以标准记数法表示的浮点数或者复...
2019-12-14 11:57:08
113
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人