- 博客(23)
- 收藏
- 关注
RSS订阅原创 排版之切换成CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客首先 你得切换Markdown编辑器打开博客管理（右上角）博客设置默认编辑器改为Markdown本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Mark...
2018-08-29 19:21:20
574
原创 正交变换之PCA原理
正交变换的牛逼的之处 能量和关系不变（长度和角度）嗯哼哼 所以正交变换能用来做什么呢降维what怎么降维嗯哼哼 先来看看其对角化后组成的方阵由特征值构成的而特征值是代表其只是进行伸缩变换因此我们可以将特征值进行排序 而忽略小的特征值对其伸缩的影响就是我们说的降维嗯哼 这是损失了一定数据 称为有损压缩第二种是无损压缩我们知道空间变换就是选择不同的基而在新基下，数据有新的坐标表示而我们可以通过将一...
2018-05-21 16:02:18
5784
原创 线性代数的那些事（四）从线性空间到希尔伯特空间
嗯哼哼 先说说空间是啥 就是集合 集合 集合 定义空间就是集合 所以线性空间（向量空间）， 对数乘和向量加法封闭所组成的集合 嗯哼哼 维基百科定义对线性空间而言，主要研究集合的描述。为了描述清楚，就引入了基的概念，所以对于一个线性空间来说，只要知道其基即可，集合中的元素只要知道其在给定基下的坐标即可。嗯哼哼 但是缺少“长度”的概念所以定义的了范数 即范数的集合⟶ 赋范空间+线性结构⟶线性赋范空间...
2018-05-18 19:58:38
1626
1
原创 人工智能导论之经典逻辑推理
嗯哼哼 经典推理让人首先想到的就是假言推理嗯哼我们说的推理就是在这基础上的对于一个复杂的句子（谓词公式）我们首先要做的就是把他简单化 嗯哼哼 比如说化为合取范式为什么化为合取范式嗯哼 当然是为了更好的推理出我们的结论 简单的一个合取范式(p∨q∨p)∧(┐r∨p) 嗯哼 p q r 都是文字 (┐r∨p)则为子句 整体为句子子句集就是｛(p∨q∨p)，(┐r∨p) ｝就是这样子而条件要推出结论...
2018-05-10 17:59:39
2237
原创 人工智能导论之知识的表示
知识的表示什么是知识嗯哼 鄙人之见 就是有用的信息组合在一起 就是组成知识 而且经过知识 我们来可以得到我们想要的信息状态空间表示 简单的三元组 （S,F,G）其中 S，F,G又可以用元组表示 问题规约表示 就是简单的分治法 嗯哼哼可用与或图表示谓词逻辑表示 是为了方便推理 或者验证我们想要的信息语义网络 是用来方便显示各个事物信息间的联系eg：我椅子的颜色是咖啡色的；椅子包套是皮革；椅子是...
2018-05-10 16:05:55
909
原创 线性代数的那些事（三）特征值与正交变换
嗯哼哼说下变换为什么要进行变换因为变换后，在新空间下运算变得简单，或者说 在变化下之前复杂难以观察的规律变得容易观察了其实变换的实质就是旋转与拉伸比如傅立叶变化 k-l变换伯特空间的正交变换...
2018-05-09 22:35:28
22919
2
转载 线性代数的那些事（二）行列式与逆
转载自：https://zhuanlan.zhihu.com/p/19609459这里首先讨论一个长期以来困惑工科甚至物理系学生的一个数学问题，即，究竟什么是面积，以及面积的高维推广？1 关于面积：一种映射大家会说，面积，不就是长乘以宽么，其实不然。我们首先明确，这里所讨论的面积，是欧几里得空间几何面积的基本单位：平行四边形的面积。平行四边形面积的定义，几何上说是相邻两边边长乘以他们之间的夹角的正...
2018-05-09 17:16:45
5312
原创 从零到精通SVM之核函数
原因：一些分类 在现有空间不是线性可分方法：映射到高维就是线性函数了栗子：嗯哼哼 线性不可分 嗯哼哼 就成了线性函数了就是那么简单 把函数变成线性可分可是有两个大问题第一个问题你首先得知道原先的非线性函数吧其次，就算你知道了非线性函数映射到高维空间计算量是噌噌噌的往上涨，传说的“维数灾难”啊所以这不是一个好的方法嗯哼哼 在看下 我们要求的你会发现 我们要求的只是高维空间的内积会不会有种从天而降的函...
2018-04-27 19:06:28
212
原创 从零到精通SVM之SMO算法原理
嗯哼将求最大值转化为最小值先来分析下本期目标是寻找一个α向量 是的上述函数取得最大值回顾下α是什么α是拉格朗日因子其中α>=0看下 为什么要这样子首先我们先回顾下原始约束其中 KTT条件 是要我们来看下 这条件在分类时具体的意义嗯哼哼 首先 ab区域的点其都满足 到超平面的函数间隔 大于1也就是说那么这些点对应的α = 0嗯哼 以此类推嗯哼哼 马上有人就看出来了在c区域上的点呢其其是不满足K...
2018-04-26 16:35:43
420
原创 从零到精通SVM之超平面求解和松弛变量
嗯哼哼 回顾下 上期的内容 目的 是找到一个超平面能够划分类别而这个超平面 还能是最完美的故其两边最近的点到超平面的距离 不能超过一定距离故求其最大的函数距离（可转化为几何距离） 来确定超平面（其中 2是 假设函数距离为2）变得求最值问题了嗯哼哼根据拉格朗日对偶问题 https://blog.csdn.net/sibiantai555/article/details/79997868可以将其改成拉...
2018-04-23 22:25:19
1089
原创 拉格朗日乘子法 和对偶问题
拉格朗日乘数法就是求条件极值转化为非条件极值嗯哼哼 首先看下条件极值为一个等式的情况将条件转化为带入z 就变成简单的一元函数求极值了嗯哼多变量也同样如此现在看看不等式约束嗯哼哼重要的数学思想来了 像条件极值转化为非条件极值我们能不能将不等式约束转化为等式约束 然后就依样画葫芦了嗯哼哼 引入松弛变量 what 什么是松弛变量比如X1<= 4 定义松弛变量 X2 = 4 - X1 故约束X1&...
2018-04-18 22:59:04
7504
1
原创 从零到精通SVM之超平面与几间隔问题
首先 SVM全称 支持向量机 Support Vector Machines，嗯哼 很难以理解是吧就是一个多维分类的机器而且分类 还是只是两类分类先看看最简单的二维两类分类嗯哼哼 存在好多线可以将他们分开支持向量机的目标就是找找分割中最完美的一条线如何找到最完美的一条线呢可以有点到所有点到线上距离最小即可然后求和扩展 三维的就是一个平面三维以上就是叫做超平面 设n 维空间中的超平面由下面的方程确定...
2018-04-18 13:40:14
1280
原创 python 实战决策树之txt数据导入
首先将txt数据导入两种方法 第一将txt 转化为csv注意 输出路径 不能更改 这能在根目录下否则会报错然后再通过np读取到第二种 直接txt读取 但是 形式不一样 第二种属于元组 np.loadtxt同样也能读取csv文件但是直接读取会发生错误 嗯哼 错误提示说类型转化出错 不过从上述错误可以看出 其类型是默认float的 查一下 loadtxt函数loadtxt(fname, dtype...
2018-04-16 21:00:40
2421
原创 决策树原理ID3.C4.5以及实现
HUNT算法 ：1：如果数据集D中所有的数据都属于一个类，那么将该节点标记为为节点。2：如果数据集D中包含属于多个类的训练数据，那么选择一个属性将训练数据划分为较小的子集，对于测试条件的每个输出，创建一个子女节点，并根据测试结果将D中的记录分布到子女节点中，然后对每一个子女节点重复1，2过程，对子女的子女依然是递归的调用该算法，直至最后停止。 但是HUNT算法没有说明具体先选择哪一个条件，即哪一个...
2018-04-15 19:58:29
1195
原创 经典算法思想及其案例
贪心算法：总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。贪心算法往往是无后性无记忆性，即当前做出的决策不会影响到下一步的决策分治法：通过分解问题为一个个小问题，知道最后子问题可以求解，原问题的解即子问题的解的合并。这些子问题互相独立且与原问题形式相同，可以递归地解这些子问题，然后将各子问题的解合并得到原问题的解。故分治法和递归往往同时应用...
2018-04-15 15:37:18
1744
原创 非参数估计法之 parzen窗方法和k近邻方法估计概率密度
无论是参数估计还是费参数估计 其目的都是为了求出总体的概率密度函数parzen窗基本原理嗯哼哼 ，画个圈圈 ，在圈圈里面又画一个正方形，在往圈圈里面随机扔豆豆，豆豆在正方形里面的概率约等于在正方形内的总数k比豆豆总数n即k/n,其正好是正方形与圈圈的面积比,假设正方形的面积为R设豆豆落在正方形里面的概率为P = k/n，假设豆豆落在正方形的每一个点上的概率一样，则落在正方形中的任意一点的概率为p ...
2018-04-10 16:49:41
7457
2
转载 强大的语言 语言和编译
转载于https://blog.csdn.net/u010165147/article/details/51025164 我越来越感慨语言之美，语言之强大。 中文，英文这类自然语言，也可以是C，C#,Python,Lisp这类通用语言，也可能是自己定义的领域特定语言(DSL)。更广泛的可以是音乐和DNA序列。 语言就是字符串，一组由不同字符串组成的顺序链条。然而，大巧不工，越朴...
2018-04-09 20:03:31
186
原创 统计编码值之哈夫曼，游程长度，算术编码，附算术编码源码
统计编码统计编码是根据消息出现概率的分布特性而进行的压缩编码游程长度原理在一个逐行存储的图像中，具有相同灰度(颜色）值的一些象素组成的序列称为一个行程。将一行中颜色值相同的相邻像素用一个计数值和该颜色值来代替。栗子aaaa bbb cc d eeeee fffffffa3b2c1d5e7f 致命弱点：如果图像中每两个相邻点的颜色都不同，用这种算法不但不能压缩，反而...
2018-04-08 22:42:14
2348
原创 数字媒体 之 信息编码导论
大部分时候 人都在 完成机器学习不断的敲代码 不断的增加自己代码的熟练度没有创新，只为生存日复一日，年复一年活着 是为了寻求人生的意义在生活中不断的发现问题 解决问题不断的在向社会提供价值的同时更要给自己提供生活的价值一个能让自己在不断自我否认的同时又能不断自我肯定是我而非我 献给自己正题 回归正题什么是算术编码...
2018-04-08 21:22:22
425
原创 机器学习笔记之贝叶斯分类器贝叶斯网络
来来来 总结下 上一节课的贝叶斯参数估计，你会发现一个相当有意思的事情就是要后验概率必须满足以下三个条件：（1）一定要通过先验知识假设θ的密度函数（2）而且样本是相互独立的（3） 你要假设未知数的概率密度函数以及总体其服从的分布嗯哼哼 傻了吧 那么多先决条件 要利用贝叶斯算法做一个分类器真难首先来确定贝叶斯分类器设计的基本思想通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类...
2018-04-07 18:34:51
429
原创 参数估计之最大似然估计法和贝叶斯估计法（点估计）
1.补充些gay率论知识： （1）随机变量的独立性和相关之间的关系 简单的一句话就是 相关系数为0是两变量独立的必要非充分条件 统计学上的相关一般指线性相关，可以用相关系数这个指标来说明期相关程度相关可以认为是一种映射，故可以分为线性映射和非线性映射线性映射 ：设映射f是线性映射，即满足(1) f(a+b)=f(a)+f(...
2018-04-07 11:04:46
4959
2
原创 最小二乘法和梯度下降法
1.最小二乘法的原理以及要解决的问题 最小二乘法主要是根据线性相关的知识进行求解。为了方便理解，我们先举一个一元回归的例子对于二元组（x，y），每一个x我们所能观察到对应的Y值，故设产生N组（x,Y） 假设已知其成线性相关并设 Y = ax + b + ε 其中 ε为误差 并服从高斯分布ε~N（0，δ²） PS:为什么要服从正太分布，嗯哼，首先是这逼...
2018-04-05 22:36:23
678
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人