- 博客(42)
- 收藏
- 关注
RSS订阅原创 fiddler 手机抓包
image.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.png转载：https://www.jianshu.com/p/724097741bdf
2021-04-16 17:19:34
45
原创 python super().init()作用
一。python里的super().init()有什么用？对于python里的super().init()有什么作用，很多同学没有弄清楚。直白的说super().init()，就是继承父类的init方法，同样可以使用super()点 其他方法名，去继承其他方法。下面通过三个不同的继承并调用，对比他们的区别，搞清楚super().init()的用途。二.image.png...
2021-02-02 17:14:30
36
原创 flask的使用(一)
一.flask简单的post get的使用from flask import Flaskfrom flask import requestimport jsonapp = Flask(__name__)# 定义路由以及试图函数# 定义路由，是用装饰器实现的# 路由默认只支持GET，如果需要增加，需要自行制定@app.route('/', methods=["GET", "PO...
2020-11-17 15:33:42
32
原创 解决维度爆炸问题
一、出自https://www.jianshu.com/p/867193608bbd二、如何避免维度灾难image.png图1展示了随着维度变得很大，分类器的性能是下降的。那么问题是“很大”意味着什么？过拟合如何避免？很遗憾，在分类问题中，没有固定的规则来指定应该使用多少特征。事实上，这依赖于训练样本的数量、决策边界的复杂性和使用的是哪个分类器。如果理论上训练样本时无限多的，那...
2020-06-28 17:19:07
55
原创 维度细分法
一、多维度插解什么是多维度拆解分析方法？多维度：维度1，维度2，维度3...... —— 多角度拆解：维度1+维度2+维度3 —— 做加法二、如何使用多维度拆解分析方法？从哪些维度去拆解？指标构成根据单一指标和它的构成进行拆解分析。业务流程根据业务流程的每一步进行拆解分析。image.pngimage.png...
2020-06-20 10:22:54
33
原创 初级数据分析必备sql技能
一、必备总体大纲完整教程：https://www.w3school.com.cn/sql/index.aspimage.png二、 select 查询(1)select 查询SELECT 列名称 FROM 表名称SELECT * FROM 表名称(2)表连接image.pngimage.pngimage.pngimage.png(...
2020-06-20 10:19:15
32
原创 26、RNN(循环神经网络)
一、RNN循环神经网络https://zybuluo.com/hanbingtao/note/541458公式的计算过程：image.png二、LSTMLSTM----也是一种RNN普通的RNN.pngLSTM--长短期记忆神经网络LSTM.png两者不一样的地方，LSTM右上角加上上来c的t次方。如果是DNN使用Dense构建神经网...
2020-05-12 11:10:03
27
原创 25、pytorch的学习--基础
一、pytorchpytorch教程：https://github.com/yunjey/pytorch-tutorial/blob/master/tutorials/02-intermediate/convolutional_neural_network/main.py#L35-L56*神经网络的库我们学过:tensorflow--googlekeraspytorch--(fac...
2020-05-12 11:09:59
27
原创 24、keras 再次使用案例
一、序贯(Sequential)模型image.png定义模型序贯模型是多个网络层的线性堆叠，也就是“一条路走到黑”。可以通过向Sequential模型传递一个layer的list来构造该模型也可以通过.add()方法一个个的将layer加入模型中模型需要知道输入数据的shape，因此，Sequential的第一层需要接受一个关于输入数据shape的参数.传递一个inpu...
2020-05-12 11:09:53
33
原创 22、CNN(卷积神经网络)
一、CNN参考文章https://www.cnblogs.com/kongweisi/p/10987870.html卷积运算结构.png层与层之间的连除了矩阵运算，还有CNN。convolution neural network 卷积神经网络convolution 卷积是一种数学的运算运算法则：input image* kernel = feature map第一...
2020-05-12 11:09:43
46
原创 21、（DNN）深度神经网络
一、神经网络(DNN算法)实例网站：[http://playground.tensorflow.org深度神经.pngimage.pngimage.pngimage.png激活函数：relu,sigmoid,作用：由直变曲值代表线性问题image.pngimage.png三、神经网络算法代码实现prefetch -...
2020-05-12 11:09:32
67
原创 18、SVM（支持向量机）
一、支持向量机SVM(support vector machine)SVC分类，SVR回归--统称SVM支持向量机(Support Vector Machine, SVM)是一类按[监督学习](supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier)，其决策边界是对学习样本求解的最大边距超平面主要针对小样本...
2020-05-12 11:09:09
31
原创 15、分层聚类（与kmeans对比）以及连通性、
一、分层聚类1具体介绍image.png生成结构化的层次分层聚类--又叫系统聚类法具体的做法：1.开始吧每个样品作为一类2.然后把嘴靠近的样品(即距离最小的群品)首先聚为小类3.再将已聚合的小类按其类间距离再合并，并且如此不断的重复下去，最后把一切子类聚合到一个大类。2距离的计算方式自底向上的合并算法：自底向上的合并算法.png两个组合数据点...
2020-04-13 22:27:36
65
原创 14、线性插值--聚类初识
一、线性差值image.pngimage.png空值处理博客--https://blog.csdn.net/Soft_Po/article/details/89302887import numpy as npfrom scipy import interpimport matplotlib.pyplot as plt# x 和 y之间存在规律，正弦波，每个点...
2020-04-13 22:27:30
113
原创 16、朴素贝叶斯算法（高斯、伯努力、多项式）
一、朴素贝叶斯(一)、什么是贝叶斯公式.png导入贝叶斯：from sklearn.naive_bayes import *案例.png案例.png(二)、多条件的贝叶斯公式：公式.png案例：去自习室的概率.png比较去与不去.png多个参数得预测：多个属性.png独立性假设，每...
2020-04-13 22:27:10
104
原创 1.1(numpy+cv)实现人脸的识别
一 、人脸识别需要文件haarcascade_frontalface_default.xml相关下载链接：//download.csdn.net/download/u011262200/10651807?utm_source=bbsseo二、cv库的简单介绍在计算机视觉项目的开发中，OpenCV作为较大众的开源库，拥有了丰富的常用图像处理函数库，采用C/C++语言编写，可以运行在Linux...
2020-04-12 19:54:41
34
原创 13.ROC-AUC-KS-聚类
一、ROC-AUC-KS一、ROC--受试者特征曲线ROC.pngDAIMA.png0,1表示真实的类别proba 表示样本属于样本1的概率分类问题都是概率问题KNN 是概率问题逻辑斯蒂 是概率问题随机森林 投票是概率问题决策树分类 不是概率问题(通过的是信息熵或者基尼系数决定的)二叉树--列分--所以不是概率问题概率代码.pngRO...
2020-04-08 20:54:58
36
原创 （八）弹性网络---ElasticNet
一、原理及简介弹性网络.png二、什么是L2正则化和L1正则化原理及作用：https://blog.csdn.net/liuweiyuxiang/article/details/99984288三、弹性网络预测天池项目代码导包import numpy as np# cross validation：交叉验证# 传递参数的时候，一次可以传递多个，挑选最合适的from s...
2020-04-07 08:36:50
163
原创 （十三、）随机森林
一、原理随机森林：属性随机、样本随机多个算法，合到一起，共同发挥作用取长补短随机森林提高准确率，防止过拟合随机森林：<font color = red>就是多颗普通的决策树 + 随机抽样</font>极限森林：随机性，不是随机抽样As in random forests, a random subset of candidate features is...
2020-04-07 08:36:09
18
原创 （十四、）极限森林
一、极限森林特征随机参数随机分裂随机因为分裂是随机的，所以就不需要样本是随机的了随机森林和极限森林不同之处：随机森林样本抽样，随机性，而极限森林样本都是固定的随机森林在分裂的时候，best；极限森林 分裂方式是：random其他的都是一样的。好处：降低模型方差，模型更加稳定(高中同学考试为例，张三，发挥不稳定)，鲁棒性增强robust。偏差变大。集成算法多颗树，有的...
2020-04-07 08:36:05
100
原创 （十五、）bagging算法
一、bagging、首先bagging算法是集成学习中两大类算法中的其中一个代表算法，还有另一类的经典算法是Xgboost。他们主要的区别是前者学习器之间不存在依赖关系和可以并行生成学习器，后者学习器之间存在强依赖关系和可以串行生成学习器。bagging算法：(1)bagging算法可以解决回归问题和分类问题。(2)它从原始数据中随机抽取n个样本，重复s次，于是就有个s个训练集，每个训练集都可...
2020-04-07 08:35:59
104
原创 （十九）xgboost的原理和使用
参考文章https://www.cnblogs.com/mantch/p/11164221.htmlhttps://blog.csdn.net/v_JULY_v/article/details/81410574一、原理如果用一句话定义xgboost，很简单：Xgboost就是由很多CART树集成。但，什么是CART树？数据挖掘或机器学习中使用的决策树有两种主要类型：分类树分析是指预测结果...
2020-04-07 08:35:14
34
原创 3.pandas基础(二)
一、代码练习image.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage....
2020-04-06 16:10:55
15
原创 （算法必会流程和必备知识）
一、损失函数，目标函数，代价函数图片.png二、算法的流程：算法是核心，数据和计算是基础定位：1、分析数据2、分析业务3、应用常见算法进行对比校验4、特征工程、调参、优化数据类型离散型数据：由记录不同类别个体的数目所得到的数据，又称计数数据，所以数据全是整数连续型数据：变量可以在某一范围内任取一数，即变量的取值是可以连续的，通常是小数注意：离散型是区间内不可分，连...
2020-04-06 16:10:14
93
原创 2.数据降维--variance
一、variance特征的选择使用的是 low variance小方差二、代码的实例from sklearn.feature_selection import VarianceThresholdfrom sklearn import datasetsimport matplotlib.pyplot as pltimport numpy as npd:\python3.7.4\l...
2020-04-06 16:10:00
30
原创 7.数据降维--相关性系数的筛选
一、原理pandas中使用corr()这个函数，可以查看数据之间的相关性，检查两个变量之间变化趋势的方向以及程度，值范围-1到+1，0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大相关性越强。线性回归，多个特征找与目标值之间的关系，有的是没有关系的，这部分没有关系的就可以进行删除。找到目标值关系很小的特征值，删除这些特征值。二、代码实例# 天池工业蒸汽量预测# 里面有3...
2020-04-06 16:09:34
100
原创 10.数据降维--LLE局部线性嵌入法降维操作
代码：# 降维，高维数据降成低维的数据# manifold 流形from sklearn.manifold import LocallyLinearEmbeddingfrom sklearn.decomposition import PCAfrom sklearn import datasetsimport matplotlib.pyplot as pltfrom mpl_toolk...
2020-04-06 16:09:21
34
原创 113.xpath的使用
一.解析页面模块比较:1.正则表达式是进行内容匹配，将符合要求的内容全部获取；2.xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检测出内容是否为真的标签；3.Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下;xpath的速度会快一点，因为xpath底层是用c来实现的二. 语法不同正则表...
2020-02-10 22:24:29
38
原创 python Django rest 架构的数据的筛选
###一.Django REST架构1.请求的过程：实体 —> 数据 —> 数据接口 —> 网络API（HTTP/HTTPS）2.Django REST框架是一个功能强大且灵活的工具包，用于构建Web API。安装：pip install djangopip install djangorestframework3.用处：REST的用处 经常用在前后端分离的...
2020-01-13 21:54:20
614
原创 109.Django Rest获取数据数据保存Excel及下载
一.序列化和方序列化(1)序列化：将程序中的一个数据结构类型转换为其他格式(字典、JSON、XML等)，例如将Django中的模型类对象装换为JSON字符串，这个转换过程我们称为序列化。(2)反序列化：将其他格式(字典、JSON、XML等)转换为程序中的数据，例如将JSON字符串转换为Django中的模型类对象，这个过程我们称为反序列化。以上的两种的序列化的方式在写rest api 的时...
2020-01-13 20:59:06
67
原创 110.Django REST架构的删除和查询
一.Django REST架构注意使用这个的时候需要到app中注册：rest_framework1.请求的过程：实体 ---> 数据 ---> 数据接口 ---> 网络API(HTTP/HTTPS)2.Django REST框架是一个功能强大且灵活的工具包，用于构建Web API。安装：pip install djangopip install djangores...
2020-01-10 19:08:24
53
原创 107. Xshell 连接阿里云服务器报错
Could not connect to '118.xx.5.xxx' (port 22): Connection fail出现以上的错误的时候我上网查询了各种的资料。做了以下的操作：1.重新配置了云服务器的22端口。2.将本地的公网ip加入了白名单。因为有人已经写好了，我就直接转。多种原因的查找：https://blog.51cto.com/11950363/1836256以...
2020-01-08 23:41:22
31
原创 99.session，跨站伪造以及多种编码方式
一.session对象1.在Django框架中提供了一个在服务端保存用户相关信息的session对象。Session:在计算机网络应用中，称为“会话控制”。Session 对象存储特定用户会话所需的属性及配置信息。这样，当用户在应用程序的 Web 页之间跳转时，存储在 Session 对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。当用户请求来自应用程序的 Web 页时，如果该用户...
2020-01-05 21:15:45
43
原创 76.git常用的指令
把一个文件夹变成了git仓库后，不能再在这个里面新建仓库了。git常用指令1.基本指令git init —— 新建git仓库git add 文件/文件夹 —— 将文件添加到缓存区中git add -A --- 添加所有内容到缓存区中git status ——— 查看git状态git commit -m ‘提交信息’ —— ...
2019-12-19 17:45:45
17
原创 41.盒子模型
盒子模型.png1.盒子模型每个可见的标签其实都是由content、padding、border和margin四个部分组成；其中content、padding、border是可见的，margin是不可见的，但是占位置2.控制盒子模型(1)content - 设置标签的宽度和高度其实就是在设置content的大小;标签中的内容或者子标签都是显示或者添加到content上...
2019-12-04 17:41:44
16
原创 16正则表达式，复制，内存管理
一。1. ^ 除什么之外的 ， \ 不让转义。2 .代表任意字符，两个点代表任意的两个。3. \w ASCII表中只能匹配字母数字或者下划线，ASCII表以外的都可以匹配4.\d 0-9数字，匹配任意一个数字字符。5.\s --匹配任意空白字符。6. \W,\D,\S --和小写的功能相反.二。字符集：[ 字符集 ] 匹配字符集中的任意的一个字符。[字符集1 - ...
2019-11-27 19:03:32
47
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人