- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【吴恩达机器学习】异常检测
1.问题动机比如生产飞机引擎，需要进行质量测试，而作为测试的一部分，需要测量引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。于是就会有一个数据集从x_1到x_m，将这些数据绘制成图表，如图：这样，异常检测问题可以定义如下：假设有新的引擎生产出来，具有特征变量x_test，所谓的异常检测问题就是：我们希望知道这个新的飞机引擎是否有某种异常，或者说希望判断这个引擎是否需要进一步测试。给定数据集 ????_1，????_2, . . ????_m，假使数据集是正常的，希望知道新的数据
2021-03-29 09:24:51
258
原创 【吴恩达机器学习】降维
降维，就是降低特征的维数。假如每个样本有1000维的特征，通过降维可以用100维的特征来代替原来1000维的特征。1.降维的好处一：数据压缩数据压缩后不仅使得数据占用较少的计算机内存或磁盘空间，也对学习算法进行了加速。例如将数据从三维降至二维：将三维向量投射到一个二维的平面上，使得所有的数据都在同一个平面上，降至二维的特征向量。2.降维的好处二：可视化通过降维得到更直观的视图。但问题在于降维的算法只负责减少维数，新产生的特征的意义就必须由自己去发现。3.主成分分析（PCA）问题最常见的降维
2021-03-26 11:26:17
1530
原创 【吴恩达机器学习】聚类
1.K-均值算法K-均值是最普及的聚类算法，算法接受一个未标记的数据集，然后将数据聚类成不同的组。K-均值是一个迭代算法，假设我们想要将数据聚类成 n 个组，其方法为:1）首先选择????个随机的点，称为聚类中心2）对于数据集中的每一个数据，按照距离????个中心点的距离，将其与距离最近的中心点关联起来，与同一个中心点关联的所有点聚成一类。3）计算每一个组的平均值，将该组所关联的中心点移动到平均值的位置。4）重复步骤2-3直至中心点不再变化。用????1,????2,…,???????? 来表
2021-03-25 11:50:48
198
原创 【吴恩达机器学习】机器学习系统的设计
1.误差分析构建一个学习算法的推荐方法为：1.从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法2.绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他选择3.进行误差分析：人工检查交叉验证集中算法产生预测误差的实例，看看这些实例是否有某种系统化的趋势（共同的特征和规律）以垃圾邮件过滤器为例，误差分析要做的既是检验交叉验证集中算法产生错误预测的所有邮件，看：是否能将这些邮件按照类分组。例如医药品垃圾邮件，仿冒品垃圾邮件或者密码窃取邮件等。然后看分类器对哪一组邮件的预
2021-03-24 08:13:13
122
原创 【吴恩达机器学习】应用机器学习的建议
1.评估假设函数为了检验假设函数是否过拟合，将数据分成训练集和测试集，通常用70%的数据作为训练集，用剩下30%的数据作为测试集。训练集和测试集均要含有各种类型的数据，通常要对数据进行“洗牌”，然后再分成训练集和测试集。如果这组数据有某种规律或顺序的话，那么最好是随机选择70%的数据作为训练集，30%的数据作为测试集。通过训练集让模型学习得出其参数后，对测试集运用该模型，有两种方式计算误差：对于线性回归模型，利用测试集数据计算代价函数J(θ)对于逻辑回归模型，除了可以利用测试数据集来计算代价函
2021-03-23 08:23:42
197
原创 【吴恩达机器学习】神经网络：学习
1.代价函数神经网络在分类问题中的应用：引入一些新的标记方法：m：训练样本的个数，每组包含一个输入x和一个输出yL：神经网络的层数S_????：第????层的神经元数量(不包括第????层的偏置单元)神经网络的分类情况：二元分类 和 多类别分类对于二元分类，神经网络输出值y不是0就是1，即S_L = 1对于多类别分类，神经网络有K个输出单元，则S_L = K神经网络的代价函数：其中：h_????(x)是一个维度为K的向量，(h_????(x))_k表示第K个输出。正则化项：最里层的
2021-03-18 19:37:55
157
原创 【吴恩达机器学习】多类别分类习题
在本练习中，我们将使用Logistic回归来识别手写数字（从0到9），扩展先前的Logistic回归的实现，并将其应用于一对多分类。任务是实现一对一全分类方法，其中具有K个不同类的标签就有K个分类器，每个分类器在’类别i’和不是’类别i’之间决定。把分类器训练包含在一个函数中，该函数计算10个分类器中的每个分类器的最终权重，最终权重返回K*（n+1）数组，其中n是参数数量。import numpy as npimport pandas as pdimport matplotlib as pltfr
2021-03-16 10:46:09
271
原创 【吴恩达机器学习】正则化逻辑回归习题
在本部分练习中，将实现Logistic回归的正则化，以预测来自制造工厂的微芯片是否通过质量保证。假设你是工厂的产品经理，在两次不同的测试中获得了某些微芯片的测试结果。从这两次测试中，你想确定应该接受还是拒绝微芯片。为了帮助你做出决定，你拥有过去微芯片测试结果的数据集，可以从中建立Logistic回归模型。代码：import pandas as pdimport numpy as npimport seaborn as snsimport matplotlib.pyplot as pltfrom
2021-03-15 09:22:57
266
原创 【吴恩达机器学习】神经网络：表述
1.神经网络神经网络是一种很古老的算法，它最初产生的目的是制造能模拟大脑的机器。神经网络兴起于二十世纪八九十年代，当时应用的非常广泛。但由于各种原因，在90年代后期，它的应用逐渐减少了。近些年，神经网络可谓是又东山再起了，其中一个原因是：神经网络是计算量有些偏大的算法，而近些年计算机的运行速度变快，才足以真正运行起大规模的神经网络，如今的神经网络对于许多应用来说是最先进的技术。2.模型表示 大脑中的神经元：每一个神经元都可以被认为是一个处理单元/神经核（processing unit/
2021-03-13 11:20:26
110
原创 【吴恩达机器学习】逻辑回归习题
建立一个逻辑回归模型来预测学生是否被大学录取。 根据每位申请者的两次考试成绩来确定他们的录取机会。有每位申请者的历史数据，可以 用作Logistic回归的训练集。 目标：建立分类器（求解出三个参数θ_0、θ_1、θ_2），即得出分界线。 备注：θ_1对应’exam1’，θ_2对应’exam2’ 设定阈值，根据阈值判断录取结果。 备注：阈值指最终得到的概率值，将概率值转化为一个类别。一般是>0.5被录取。import pandas as pdimp
2021-03-12 09:55:14
448
原创 【吴恩达机器学习】正则化
1.过拟合的问题详见已发的博客：’'过拟合与欠拟合"泛化：一个假设模型应用到新样本的能力2.代价函数通过在代价函数中增加惩罚项来防止过拟合：其中λ又称为正则化参数（Regularization Parameter）。经过正则化处理的模型与原模型的可能对比如下图所示：如果选择的正则化参数λ 过大，则会把所有的参数(不包括θ_0)都最小化了(趋于0)，导致模型变成h(x)=θ_0，图中红色直线所示的情况，造成欠拟合。对于正则化，我们要取一个合理的 ???? 值。3.线性回归的正则化正则化
2021-03-11 09:56:32
158
原创 【吴恩达机器学习】Logisitic回归
1.分类问题逻辑回归是一种分类算法，是解决二分类问题的利器。如：判断一封邮件是否为垃圾邮件，判断一个肿瘤是恶性还是良性。2.假设表示逻辑回归模型的假设函数是：其中，X表示特征向量，g表示逻辑函数。一个常用的逻辑函数为Sigmoid函数，公式为图像为：ℎ(????)的作用：对于给定的输入变量，根据选择的参数计算输出变量y=1 的可能性。即ℎ(????) = ????(???? = 1|????; ????)例如，如果对于给定的????，通过已经确定的参数计算得出ℎ(????) = 0.7，
2021-03-10 16:23:03
315
原创 【吴恩达机器学习】线性回归习题
一、单变量线性回归在单变量线性回归这一部分中，我们将使用一个变量实现线性回归，以预测食品卡车的利润。假设你是一家餐饮连锁店的老板，并且正在考虑在不同的城市开设新的门店。该连锁店已经在各个城市开了新的分店，并且你有这些城市的利润和人口数据。你想使用此数据来帮助你选择要扩展到的下一个城市。文件ex1data1.txt包含我们线性回归问题的数据集。第一列是城市的人口，第二列是该城市的餐车的利润，利润的负值表示亏损。python实现：import numpy as npimport pandas
2021-03-09 21:56:30
922
1
原创 【吴恩达机器学习】线性回归
线性回归是通过一个或者多个自变量与因变量之间的关系进行建模。特点为一个或多个回归系数的模型参数的线性组合一元线性回归：涉及到的变量只有一个多元线性回归：涉及到的变量两个或两个以上一、单变量/一元线性回归：1.1监督学习算法工作的流程h(hypothesis)：假设函数，是一个从????到 ???? 的函数映射。如：其中θ是模型参数，x是输入变量/特征，y是输出/目标变量。1.2代价函数/平方误差函数/平方误差代价函数代价函数：其中：????是训练样本的数量参数决定了模型所预测的值与
2020-12-07 17:46:39
1703
原创 Python求矩阵的逆矩阵
import numpy as npA = np.matrix([[1,2,3],[4,5,6],[7,8,9]])B = np.array([1,2,3,4,5,6,7,8,9]).reshape((3,3))print(A)print(B)print("*" * 50)print(np.linalg.inv(A))print(np.linalg.inv(B))结果为：[[1 2 3] [4 5 6] [7 8 9]][[1 2 3] [4 5 6] [7 8 9]]**
2020-12-06 16:43:34
14234
转载 win10安装.NET Framework 3.5的方法
一.安装方法安装前务必开启windows自动更新，否则容易安装失败。1.下载.NET Framework 3.5安装工具包32位系统/64位系统工具包下载地址：https://download.csdn.net/download/weixin_51444827/131925052.解压3.将解压得到sxs文件夹复制到C盘（安装后可删除）4.右键>以管理员身份运行【NET Framework 3.5.bat】5.等待安装完成等待部署进度100%即可， 黑框会自动退出。二.判断是否安装成
2020-11-26 15:07:42
5339
1
原创 pandas
pandas一、什么是pandas？Pandas的名称来自于面板数据（panel data）和Python数据分析（data analysis）。Pandas是一个强大的分析结构化数据的工具集，基于Numpy构建，提供了 高级数据结构 和 数据操作工具，它是使Python成为强大而高效的数据分析环境的重要因素之一。一个强大的分析和操作大型结构化数据集所需的工具集基础是Numpy，提供了高性能矩阵的运算提供了大量能够快速便捷地处理数据的函数和方法应用于数据挖掘，数据分析提供数据清洗功能二
2020-11-17 20:19:14
120
原创 numpy
numpy1、什么是numpy一个在Python中做科学计算的基础库，重在数值计算，也是大部分Python科学计算库的基础库，多用于在大型、多维数组上执行数值运算。2、numpy基础0）ndarray的随机创建np.random.rand(d0,d1)----创建d0*d1维度均匀分布的随机数组，浮点数，范围从0-1。np.random.randn(d0,d1)----创建d0*dn维度的标准正态分布随机数，浮点数，平均数0，标准差1np.random.randint(low,high,(sh
2020-11-14 20:55:24
259
转载 Python中range()和np.arrange()的区别与联系
转载：https://blog.csdn.net/yuanxiang01/article/details/78702123
2020-11-14 20:04:19
1505
原创 matplotlib
matplotlib1、为什么要学习matplotlib1）能将数据进行可视化，更直观的呈现2）使数据更加客观、更具说服力2、什么是matplotlibmatplotlib: 最流行的Python底层绘图库，主要做数据可视化图表,名字取材于MATLAB，模仿MATLAB构建3、matplotlib基本要点包：from matlotlib import pyplot as plt import matlotlib.pyplot as plt设置图形大小：plt.f
2020-11-14 17:41:15
10282
原创 format格式化函数
格式化字符串函数str.format()实例1:# 不设置指定位置，按默认顺序str_1 = "{} {}".format("hello", "python")print("str_1:",str_1)# 设置指定位置str_2 = "{0} {1}".format("hello", "python")print("str_2:",str_2)# 设置指定位置str_3 ="{1} {0} {1}".format("hello", "python")print("str_3:",st
2020-11-14 16:26:15
237
原创 数据分析
数据分析1、为什么要学习数据分析1）有岗位需求2）是python数据科学的基础3）是机器学习课程的基础2、什么是数据分析数据分析是用适当的方法对收集来的大量数据进行分析，帮助人们作出判断，以便采取适当行动。3、数据分析的流程数据收集：本地数据或者网络数据的采集与操作.数据处理：数据的规整，按照某种格式进行整合存储。数据分析：数据的科学计算，使用相关数据工具进行分析。数据展现：数据可视化，使用相关工具对分析出的数据进行展示。4、数据分析的工具SAS：SAS（STATISTICAL
2020-11-14 11:04:20
130
原创 tf.random_uniform()
tf.random_uniform([rows, colomns], minval = low, maxval = high, dtype = tf.float32)返回一个维度为[rows, colomns]，范围为[low, high]的均匀分布随机浮点数张量import tensorflow as tfw = tf.random_uniform([3,3],-1,1,tf.float32)with tf.Session() as sess: # print(sess.run(w)) p
2020-11-04 19:44:16
612
原创 np.random.normal()
np.random.normal(loc,scale,size): 均值为loc，标准差为scale的正态分布参数loc(float)：正态分布的均值，对应着这个分布的中心。loc=0说明这一个以Y轴为对称轴的正态分布。参数scale(float)：正态分布的标准差，对应分布的宽度，scale越大，正态分布的曲线越矮胖，scale越小，曲线越高瘦。参数size(int 或者整数元组)：输出的值赋在shape里，默认为None...
2020-11-04 19:20:18
123
原创 分布式Tensorflow
分布式TensorFlow分布式Tensorflow是由高性能的gRPC框架作为底层技术来支持的。这是一个通信框架gRPC(google remote procedure call)，是一个高性能、跨平台的RPC框架。RPC协议，即远程过程调用协议。是指通过网络从远程计算机程序上请求服务。分布式原理：单机多卡是指单台服务器有多块GPU设备。假设一台机器上有4块GPU，单机多GPU的训练过程如下:1）在单机单GPU的训练中，数据是一个batch一个batch的训练。 在单机多GPU中，数据一 次处理
2020-10-30 21:49:07
371
原创 非监督学习
非监督学习主要方法：k-meansk-means步骤：1.随机设置K个特征空间内的点作为初始的聚类中心2.对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别3.对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）4.如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行第二步过程(以新中心点作为聚类中心)k-means API：sklearn.cluster.KMeans语法：sklearn.cluster.KMeans(n_clusters=
2020-10-30 17:00:30
296
原创 分类算法-逻辑回归
分类算法-逻辑回归逻辑回归是解决二分类问题的利器输入：sigmoid函数公式：输出：[0,1]区间的概率值，默认0.5作为阀值注：g(z)为sigmoid函数，z为回归的值逻辑回归的损失函数、优化与线性回归原理相同,但由于是分类问题，损失函数不一样，只能通过梯度下降求解sklearn逻辑回归API：sklearn.linear_model.LogisticRegression语法：sklearn.linear_model.LogisticRegression(penalty
2020-10-30 16:41:40
111
原创 岭回归与sklearn模型的保存与加载
岭回归与sklearn模型的保存与加载岭回归带有正则化的线性回归–岭回归API:sklearn.linear_model.Ridge语法：sklearn.linear_model.Ridge(alpha=1.0)具有L2正则化的线性最小二乘法alpha:正则化力度coef_:回归系数正则化程度的变化，对结果的影响：正则化力度越大，权重越接近于0Ridge优点：岭回归得到的回归系数更符合实际，更可靠。另外能让估计参数的波动范围变小，变的更稳定。在存在病态数据（异常数据）偏多的研究中有较
2020-10-30 16:25:08
151
原创 过拟合与欠拟合
过拟合与欠拟合过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)欠拟合：一个假设在训练数据上不能获得更好的拟合， 但是在训练数据外的数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)欠拟合原因以及解决办法原因：学习到数据的特征过少解决办法：增加数据的特征数量过拟合原因以及解决办法原因：原始特征过多，存在一些嘈杂特征。 模型过于复杂是因为模型尝试去兼
2020-10-30 16:14:00
139
原创 回归算法-线性回归分析
回归算法-线性回归分析线性关系模型----一个通过属性的线性组合来进行预测的函数：线性回归：通过一个或者多个自变量与因变量之间进行建模的回归分析。其中特点为一个或多个回归系数的模型参数的线性组合一元线性回归：涉及到的变量只有一个多元线性回归：涉及到的变量两个或两个以上损失函数(误差大小)注：损失函数，用来度量预测值和实际值之间的差异，它是一个非负实值函数，从而作为模型性能参考依据。损失值越小，说明预测输出和实际结果之间的差值就越小，也就说明构建的模型越好，反之说明模型越差。如何去求
2020-10-30 16:01:17
292
原创 分类算法-决策树、随机森林
分类算法-决策树、随机森林决策树1. 认识决策树决策树模型呈树形结构。在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合。在决策树的结构中，每一个实例都被一条路径或者一条规则所覆盖。决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。2. 信息论基础信息熵：表示了信息的不确定性，单位为比特。当所有事件发生概率相等时，信息熵最大，其不确定性最大公式如下：信息增益：信息增益是决策树的划分依据之一。其定义为：特征A对训练数据集D的信息增益为
2020-10-30 15:37:18
915
原创 模型的选择与调优
模型的选择与调优如何选择合适的算法模型在解决问题的时候，必须考虑下面两个问题：一、使用机器学习算法的目的，想要算法完成何种任务，比如是预测明天下雨的概率还是对投票者按照兴趣分组；二、需要分析或者收集的数据是什么。首先考虑使用机器学习算法的目的。如果想要预测目标变量的值，则可以选择监督学习算法，否则可以选择无监督学习算法，确定选择监督学习算法之后，需要进一步确定目标变量类型，如果目标变量是离散型，如是／否、1/2/3，A/B/C/或者红／黑／黄等，则可以选择分类算法；如果目标变量是连续的数值，如0.0～
2020-10-30 14:55:21
332
原创 分类模型的评估
分类模型的评估estimator.score()一般最常见使用的是准确率，即预测结果正确的百分比混淆矩阵在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)精确率(Precision)与召回率(Recall)精确率：预测结果为正例样本中真实为正例的比例（查得准）召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）分类模型评估API：sklearn.metri
2020-10-30 09:33:43
142
原创 分类算法-朴素贝叶斯算法
分类算法-朴素贝叶斯算法1. 概率基础联合概率：包含多个条件，且所有条件同时成立的概率。记作：P(A,B) = P(A)P(B)条件概率：事件A在事件B已经发生条件下的发生概率。记作：P(A|B) =P(AB)/P(B)特性：P(A1,A2|B) = P(A1|B)P(A2|B)-----其中A1,A2相互独立2. 朴素贝叶斯介绍贝叶斯公式：也即：P(B|A) = P(AB)/P(A) = P(A|B)P(B)/P(A)其中：A可看作文章（词1、词2、词3…）B为文章类别，如科技、娱乐…
2020-10-30 09:27:45
108
原创 分类算法-k近邻算法与实例
分类算法-k近邻算法（KNN）定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。算法来源：KNN算法最早是由Cover和Hart提出的一种分类算法流程----对于未知类别属性数据集中的点:1.计算已知类别数据集中的点与当前点的距离2.按照距离依次排序3.选取与当前点距离最小的K个点4.确定前K个点所在类别的出现概率5.返回前K个点出现频率最高的类别作为当前点预测分类。k近邻算法是需要做标准化处理的计算距离公式：欧氏距离
2020-10-27 16:39:52
1507
原创 转换器与估计器
转换器和估计器转换器fit_transform():输入数据直接转换fit():输入数据但不转换----用于从训练集中学习模型参数transform():进行数据的转换----用学习到的参数转换数据fit_transform() = fit() + transform()估计器在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator，是一类实现了算法的API用于分类的估计器：sklearn.neighbors k-近邻算法sklearn.n
2020-10-27 10:44:39
134
原创 sklearn数据集
1. 数据集划分数据集划分为两个部分：训练数据：用于训练，构建模型测试数据：在模型检验时使用，用于评估模型是否有效2. sklearn数据集API（接口）scikit-learn数据集API介绍：sklearn.datasets-----加载获取流行数据集datasets.load_*（）获取小规模数据集，数据包含在datasets里datasets.fetch_*(data_home=None)获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目
2020-10-27 10:36:02
548
原创 机器学习基础
1. 机器学习开发流程（1）收集数据我们可以使用很多方法收集样本数据，如：制作网络爬虫从网站上抽取数据、从RSS反馈或者API中得到信息、设备发送过来的实测数据。（2）准备输入数据（数据的基本处理）得到数据之后，还必须确保数据格式符合要求。（3）分析输入数据（特征工程）这一步的主要作用是确保数据集中没有垃圾数据。如果是使用信任的数据来源，那么可以直接跳过这个步骤（4）训练算法找到合适算法进行预测。如果使用无监督学习算法，由于不存在目标变量值，故而也不需要训练算法，所有与算法相关的内容在第（
2020-10-26 09:45:43
157
原创 数据的特征工程
数据的特征工程1.特征工程是什么特征工程是将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的模型准确性2.特征工程的意义更好的特征意味着更强的鲁棒性更好的特征意味着只需用简单模型更好的特征意味着更好的结果3.scikit-learn库介绍Python语言的机器学习工具Scikit-learn包括许多知名的机器学习算法的实现基于NumPy、SciPy和matplotlib构建开源、商业可用 - BSD许可Scikit-learn文档完善，容易上手，丰富的A
2020-10-24 17:36:21
1561
原创 数据类型与数据集的结构
1.数据来源企业日益积累的大量数据（互联网公司更为显著）政府掌握的各种数据科研机构的实验数据… …2.数据类型离散型数据：由记录不同类别个体的数目所得到的数据，又称计数数据，所有这些数据全部都是整数，而且不能再细分，也不能进一步提高他们的精确度。如：班级人数、进球个数、是否是某个类别等等连续型数据：变量可以在某个范围内取任一数，即变量的取值可以是连续的，如：长度、时间、质量值、票房等，这类整数通常是非整数，含有小数部分。注：离散型是区间内不可分，连续型是区间内可分3.数据集的结构3.1可
2020-10-24 17:25:00
1593
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人