- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 次梯度（坐标法）、迭代加权最小二乘、ADMM求解Lasso
Lasso的特性及简介： 在最小二乘中，常把岭回归与Lasso来进行比较，它们都能对数据防止过拟合，这是为什么呢？ 当特征之间存在高度相关关系的时候，假设有两个特征高度负相关，那么不带正则化的回归问题可能会赋予二者近似相等的很大权重，这样加权起来的结果仍然较小，但是由于权重很大，就导致了过拟合问题。Ridge Regression会倾向于在相关特征之间均匀分布权重，Lasso则倾向...
2020-01-14 17:15:37
4131
2
原创 最小二乘、加权最小二乘（WLS）、迭代加权最小二乘（迭代重加全最小二乘）（IRLS）
最小二乘、加权最小二乘、迭代加权最小二乘（迭代重加全最小二乘）最小二乘：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。...
2019-12-16 21:53:33
24762
11
原创 Windows下在pycharm中的tensorflow和cuda安装教程
Windows下在pycharm中的tensorflow和cuda安装教程需要安装的软件：1、CUDA Toolkit： CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。（只有安装cuda才能让显卡支持tensorflow的运行）2、cuDNN：是NVIDI...
2019-11-28 20:01:05
5107
2
原创 支持向量机(SVM)
个人认为，支持向量机在流行的基础机器学习算法中是比较难的，所以在理解推导的过程中一定要细心耐心。支持向量：在训练数据集的样本点与分离超平面距离最近的样本点。在决定分离超平面时，只有支持向量起作用，但支持向量的个数一般很少，所以支持向量机由很少的训练样本确定（噪声影响很大）。网址1：https://www.cnblogs.com/pinard/p/6097604.html网址2：https:...
2019-08-08 15:34:10
186
原创 线性模型(逻辑回归（二分类、多分类）、岭回归、lasso)
线性模型是一个通过在属性上的线性组合来进行预测的函数。优点：许多非线性模型可通过在线性模型的基础上引入层级结构或高维映射得到模型参数直观表达了属性对于结果的重要性，线性模型具有很好的解释性缺点：模型较简单，准确度有时较低。普通线性模型:y^=w1x1+w2x2+...+wnxn+b=wTx+by\hat{}=w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}+...
2019-08-07 14:18:34
5415
原创 决策树（ID3、C4.5、CART）
决策树通过不断地发掘规则将特征空间划分为一个一个的小单元，每个小单元就是决策树的叶子节点（表示一个类），而决策树的内部节点表示一个特征或属性。从根节点到叶节点可以看作一条规则，规则的末尾即叶节点代表的是该条规则的所属类别。对于输入的样本从根节点开始寻找该样本满足的规则，也就是该样本的预测结果。在构建决策树的过程中，最重要的是制定规则的准则，准则的不同，得到的决策树也不同。ID3决策树熵：熵定...
2019-08-02 11:12:21
92
原创 KNN
KNN算法(K-近邻算法)k-NN算法采用测量不同特征值之间的距离方法进行分类优点：简单直观、精度高、对异常值不敏感缺点： 计算复杂、空间复杂度高输入样本：T={x1,x2,x3,...}T=\left \{x_{1},x_{2}, x_{3},... \right \}T={x1,x2,x3,...}根据某种距离计算方式得到输入样本TTT与训练集中的每个样本的距离，找出与输入样本距...
2019-07-31 19:26:52
91
Burrus C S. Iterative re-weighted least squares.pdf
2019-12-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人