- 博客(82)
- 收藏
- 关注
RSS订阅原创 CS229 Lecture 20
CS229 Lecture 20POMDPs(Partially Observed MDPs)Policy searchReinforcePagasusconclusion回顾st+1=Ast+Bat+wts_{t+1}=As_t+Ba_t+w_tst+1=Ast+Bat+wtyt=Cst+vty_t=Cs_t+v_tyt=Cst+vtAt+1:at+1=LtstA_{t+1}:a_{t+1}=L_ts_tAt+1:at+1=Ltst在LQR问题中，因为噪声
2021-05-15 21:33:24
136
原创 CS229 Lecture 19
CS229 Lecture 19Debugging RL algorithmDifferential Dynamic Programming (DDP)Kalman FilterLinear Quadratic Gaussian (LQG)
2021-05-09 19:10:32
182
原创 CS229 Lecture 18
CS229 Lecture 18state-action rewardFinite-horizon MDPsLinear dynamic SystemLinear Quadratic Regulation(LQR)Discrete Ricatti equations回顾马尔可夫决策过程定义为：MDP(S,A,{Psa},γ,R)MDP(S,A,\{P_{sa}\},\gamma,R)MDP(S,A,{Psa},γ,R)，其中： &nbs
2021-05-02 20:31:39
238
原创 CS229 Lecture 17
CS229 Lecture 17Continuous state MDPs1. Discretization2. Value function approximation
2021-04-24 15:15:52
138
原创 CS229 Lecture 16
CS229 Lecture 16强化学习马尔可夫决策过程(MDPs)value functionvalue iterationpolicy iterationMarkov Decision ProcessMDP(S,A,,γ,R)MDP(S,A,,\gamma,R)MDP(S,A,,γ,R)SSS对应状态集合AAA对应动作集合PsaP_{sa}Psa是一个状态转换分布∑Psa(c)=1,Psa(s)≥0\sum P_{sa}(c)=1,P_{sa}(s)\geq0∑Psa(c
2021-04-05 13:34:34
103
原创 CS229 Lecture 15
CS229 Lecture 15Singular Value Decomposition(SVD)Independent Component Analysis(ICA)
2020-08-16 12:43:36
205
原创 CS229 Lecture 14
CS229 Lecture 14课程要点：Factor Analysis - EM stepPrincipal Components Analysis (PCA)
2020-08-02 18:03:57
160
原创 CS229 Lecture 13
CS229 Lecture 13课程要点：Mixture of GaussiansNative of BayesFactor AnalysisGaussians Distribution
2020-07-12 18:07:59
263
原创 CS229 Lecture 12
CS229 Lecture 12课程要点：无监督学习聚类(K-Means)Mixtures of GaussiansJensen’s InequalityEM(Expectation Maximization)Loading!
2020-06-27 23:20:43
316
原创 CS229 Lecture 11
CS229 Lecture 11课程要点：Bayesian statistics and regularizationOnline LearningActive for apply ML Algorithm贝叶斯统计和正则化上节课讲了如何通过特征选择减少特征数目，进而降低算法出现过拟合的风险，本节会介绍另一种降低过拟合的方法，即正则化，这种方法不会减少特征的数目。前面讲述过线性回归其通过最大似然的方式求解θ\thetaθmaxθ ∏i=1mp(y(i)∣x(i);θ)\matho
2020-06-20 22:48:18
200
原创 CS229 Lecture 10
CS229 Lecture 10课程要点：VC 维模型选择-交叉验证特征选择回顾上节课推论：假设H\mathcal{H}H的大小为kkk且γ\gammaγ和σ\sigmaσ固定，那么对于在至少1−σ1-\sigma1−σ的概率下ε(h^)≤minh∈Hε(h)+2γ\varepsilon(\hat h)\le min_{h\in \mathcal{H}}\varepsilon(...
2019-10-09 22:55:45
255
原创 CS229 Lecture 9
CS229 Lecture 9课程要点学习理论偏差与方差就上面的三幅函数与数据的拟合图像来说，左图明数据呈现出二次函数形式而拟合函数却是一次函数θ0+θ1x\theta_0+\theta_1xθ0+θ1x,未能拟合出数据的特征，因此会造成训练误差很大，进而泛化误差就更不可靠。处于欠拟合状态，有较高的偏差 (high bais)。而右图使用了y=θ0+θ1x+⋯+θ5xy=\...
2019-09-15 11:27:15
183
原创 CS229 Lecture 8
CS229 Lecture 8课程要点：kernelssoft marginSMO algorithm原始优化问题：minw,b  12∣∣w∣∣2\mathop {\min }\limits_{w,b}\,\,\frac{1}{2}||w||^{2}w,bmin21∣∣w∣∣2s.t&ThinSpace...
2019-09-07 22:50:49
228
原创 CS229 Lecture 7
CS229 Lecture 7课程要点：最有边界分类原始/对偶问题原始/对偶优化问题(KKT)支持向量机对偶问题核方法支持向量机的函数hw,b(x)=g(wTx+b)h_{w,b}(x)=g(w^Tx+b)hw,b(x)=g(wTx+b),g(z)={1if  z≥ &ThinSpa...
2019-09-03 15:07:04
173
原创 CS229 Lecture 6
CS229 Lecture 6本节课重点Naive Bayes神经网络支持向量机回顾上节课的内容：将一封邮件表示成一个向量[10⋮1⋮]\begin{bmatrix}1\\0\\\vdots\\1\\\vdots\end{bmatrix}⎣⎢⎢⎢⎢⎢⎢⎡10⋮1⋮⎦⎥⎥⎥⎥⎥⎥⎤，这个向量的长度为字典的大小,这个向量中的数字只能为0和1,即存在或者不存在。将其表示为生成学...
2019-08-23 23:40:29
158
原创 CS229 Lecture 5
CS229 Lecture 5本节课重点：Generative Learning algorithmsGaussian discriminant analysisNaive BayesLaplace smoothing如果一个算法目的是学习p(y∣x)p(y|x)p(y∣x)或者直接学习根据xxx预测数据的标签{0,1}\{0,1\}{0,1}。这类学习算法称为判别学习算法(di...
2019-08-07 23:46:29
180
原创 CS229 Lecture 4
CS229 Lecture4这节课听的也是不太懂，先把笔记记下来课程要点：牛顿方法广义线性模型指数分布族多项式分布牛顿方法牛顿方法提供了一种求解极值的方法，它需要迭代的次数会较梯度下降、上升之类的算法少很多。上图中左子图中有函数f(x)f(x)f(x)要求解其与xxx轴的交点，一种方法是选一点x0x_{0}x0,计算其在对应的f(x0)f(x_0)f(x0),过(x0...
2019-07-22 00:00:06
192
原创 CS229 Lecture 3
CS229 Lecture 3课程要点Linear RegressionLocally Weight RegressionProbabilistic interpretationLogistic RegressionDigression: perceptron Learning欠拟合：拟合出来的函数未能较好的反应出数据的特征，一般欠拟合反应在训练过程中，训练得到的误差很大。过...
2019-07-18 23:49:07
201
原创 CS229 Lecture 2
CS 229 Lecture 2本节课要点：线性回归(Linear Regression)梯度下降(Gradient Descent)Normal Equation符号定义符号含义mmm表示样本数目nnn表示特征数目xxx表示输入变量/特征yyy表示输出变量/目标变量(x,y)(x,y)(x,y)表示一个训练样本(x(i...
2019-07-14 13:50:44
156
原创 CS229 Lecture 1
CS229 Lecture 1监督学习学习理论无监督学习强化学习监督学习：学习算法是有标准答案的，即训练数据是有对应的标签的。如线性回归，分类算法都属于监督学习。无监督学习：即学习算法对于学习的结果是否正确是没有标准答案，这类学习主要是通过对数据特征的学习，发现数据中潜在的规律。例如聚类算法。强化学习：该学习是一个不断强化的过程，并不是一次性的。这类学习算法做出相应的动作，系统是...
2019-07-13 10:56:42
243
原创 git 学习
git 学习笔记git 管理 下的文件分为三种状态：已修改已暂存已提交以上三种状态分别对应工作区、暂存区、版本库git 常用命令#git 配置提交者的用户名和邮箱git config --global user.name "example"git config --global user.email "examp
2019-01-06 23:26:51
259
原创 ActiveMQ小demo
这里记述下ActiveMQ使用的两个小demo。demo1：点对点方式，这种方式中生产者和消费者是一对一的，一个生产者产生的消息置灰被一个消费者消费掉，如果生产者在消费者在队列中注册之前发送了某条消息，在消费者注册到对列中依旧是可以获取到这条消息的。创建queue的生产者package com.chunbaosheng.learn;import javax.jms.Connecti...
2018-07-17 19:15:57
326
原创 HttpServlet的service方法
HttpServlet中有两个Service方法：其中一个是重写GenericServlet的Service方法：@Override public void service(ServletRequest req, ServletResponse res) throws ServletException, IOException { HttpSe...
2018-06-13 14:35:01
1567
原创 网页的转发与重定向
在web开发中，转发与重定向有很大的区别。直观看来，转发不会发生URL址的变换，而重定向则会发生URL的改变。这仅仅只是一种表象。HttpServlet中的request对象和response对象是在用户请求网页时由服务器根据浏览器传过来的参数封装生成的。一旦从浏览器请求过来，服务器响应回去那么request和response的也就到了生命的终点了。当使用转发的时候，浏览器仅仅请求一次...
2018-06-10 14:12:27
1847
原创 Java静态代理与动态代理
有的时候类AAA可能无法访问类BBB，但是有一个类CCC，它可以访问AAA且BBB也能访问到CCC,那么AAA就可以通过CCC间接的访问到AAA。在Java**代理模式**中中三类角色：抽象角色，定义一系列的行为方法，可以用接口或者抽象方法表示。真实角色，它才真正做事的角色。代理角色，代理角色持有真实角色的一个引用，当访问代理角色时，它可以帮助我们间接的访问到真实角色（情况时，我们无...
2018-04-08 22:51:21
213
原创 java反射访问private字段与方法
我们知道Java中外部类是不可以访问某个类的private字段或者方法的，但是通过反射就会打破java的封装机制。下面看看如何通过反射来访问一个类的private字段和方法。import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.Method;publi...
2018-04-08 17:20:02
1679
原创 Java中的HashSet和TreeSet
Java中的HashSet类中存放的对象不能重复，怎么定义是否重复就得开发人员自己来自定，比如定义一个Person类，你可以人为两个名字相同的人，表示是一个人，那么HashSet中就不会存放两个名为”Tom”的对象。一般来说如果要把一类对象放入HashSet中我们一般需要重写其hashCode方法和equals方法。在我们使用HashSet时，被放入对象的hashCode就会得到调用，判断已经...
2018-04-01 14:27:00
394
原创 Java设计模式之单例模式与策略模式
单例模式即这种模式只会生成一个对象，我们知道java通过new 方法生成对象，这意味着每new一个就会生成一个对象，哪怎么样才能让一个类只生成一个实例呢？public class SingletonTest{ public static void main(String[] args) { /** * Earth earth1 = ne...
2018-03-29 16:13:59
647
原创 MIT 18.06 linear algebra 第三十五讲笔记
MIT 18.06 linear algebra 第三十五讲笔记第三十五讲是MIT 18.06 linear algebra的最后一讲，主要是对前面的知识的一个复习。例题： 给出一个m×nm×nm\times n矩阵AAA，满足Ax=⎡⎣⎢100⎤⎦⎥Ax=[100]Ax=\begin{bmatrix}1\\0\\0\end{bmatrix}没有解，Ax=⎡⎣⎢010⎤⎦⎥Ax=...
2018-03-28 12:23:12
225
原创 java多态
在说多态前，写记录下关于重载与重写的区别。重载： 方法名字相同，但是方法参数不同（①参数个数不同，参数类型不同），方法重载并不关心返回值的类型，也就是说返回值的类型对方法重载没有影响。方法重写 子类重写父类中的方法，两个方法的返回值类型一样，方法名一样，参数一样，这样的子类方法与父类中的方法构成了重写关系。重载发生在一个类的内部，而重写则是在父子类的继承。如果子类方法与父类方法中的...
2018-03-27 23:16:25
181
原创 MIT 18.06 linear algebra 第三十四讲笔记
MIT 18.06 linear algebra 第三十四讲笔记第三十四课课程要点：4 subspacesleft-inverseright-inversepseudo-inverse这张图是最前面学到的关于矩阵四个子空间。有m×nm×nm\times n的矩阵AAA,如果矩阵AAA的左右逆都存在即A−1A=I=AA−1A−1A=I=AA−1A^{-1}A=I...
2018-03-27 15:33:19
330
原创 java中构造方法重载和继承
java中同一个类同的构造方法怎么调用另一个构造方法呢？如果一个类中有多个构造方法，在一个构造方法中想要调用另一个构造方法，需要用到this(参数)这样的方式，且这行语句必须写在构造方法的第一行。public class B { public B() { /** * 这里的this(字符串)就是调用符合参数要求的构造方法 * ...
2018-03-26 23:17:14
584
原创 同步交互、异步交互和ajax基本用法
同步交互发一个请求就要等待服务器的响应结束，然后才能发第二个请求。常见的情形就是有的网站你点击太快，它就卡住了。每次请求都会刷新整个页面。异步交互发一个请求后，无需等待服务器的响应，就可以发送第二个请求。可以使用Js接收服务器的响应，axaj其实就是使用了JS的局部刷新功能。服务器给客户端的响应一般是整个页面，即一个完整的HMTL页面，但ajax是局部刷新，那么服务武器无...
2018-03-26 14:54:29
924
原创 MIT 18.06 linear algebra 第三十三讲笔记
MIT 18.06 linear algebra 第三十三讲笔记第三十三讲主要是对前面学习过的知识的一个复习。6.1-2 特征值与特征向量6.3 dudt=Aududt=Au\frac{du}{dt}=Au and eAteAte^{At}6.4 A=AT⇒A=QΛQTA=AT⇒A=QΛQTA=A^T\Rightarrow A=Q\Lambda Q^T6.5 Positive ...
2018-03-26 12:24:29
437
原创 MIT 18.06 linear algebra 第三十二讲笔记
MIT 18.06 linear algebra 第三十二讲笔记Change of basisCompression of ImagesTransformation↔↔\leftrightarrowMatrix这一课主要是讲了一些关于信号图像压缩的知识。假设现在有一幅图是512×512512×512512\times 512个像素的灰度图。这幅图可以表示为5212×15...
2018-03-25 12:21:12
287
原创 MIT 18.06 linear algebra 第三十一讲笔记
MIT 18.06 linear algebra 第三十一讲笔记第三十课课程要点：Linear TransformationsWithout coordinates: NO MatrixWith Coordinates →→\rightarrow Matrix例子一个二维平面中的投影：使得平面中的一个向量变为平面内的另一个向量 满足以下条件的就是线性变换：T...
2018-03-25 11:32:57
260
原创 MIT 18.06 linear algebra 第三十讲笔记
MIT 18.06 linear algebra 第三十讲笔记Singular value Decomposition ⇒SVD⇒SVD\Rightarrow SVDA=UΣVTA=UΣVTA=U\Sigma V^T ΣΣ\Sigma is diagonal U,V is Orthogonal对称的正定矩阵AAA，可以被写为A=QSQTA=QSQTA=QSQ^{T}。正定矩阵...
2018-03-23 16:00:55
495
原创 MIT 18.06 linear algebra 第二十九讲笔记
MIT 18.06 linear algebra 第二十九讲笔记ATAATAA^TA is Positive Definite !Similar Matrices A,B⇒B=M−1AMA,B⇒B=M−1AMA,B\Rightarrow B=M^{-1}AMJORDAN DORM正定矩阵意味着xTAx>0xTAx>0x^TAx>0,(除x=0x=0x=0)。 ...
2018-03-22 18:24:16
278
原创 MIT 18.06 linear algebra 第二十八讲笔记
MIT 18.06 linear algebra 第二十八讲笔记Positive Definite MatrixTests for Minimum (xTAx>0xTAx>0x^TAx>0)Ellipsoids in RnRnR^n假设正定矩阵A=[abbc]A=[abbc]A=\begin{bmatrix}a&b\\b&c\end{bmatrix}，那么它满足...
2018-03-21 13:20:33
314
原创 MIT 18.06 linear algebra 第二十七讲笔记
MIT 18.06 linear algebra 第二十七讲笔记Complex inner productsVectorMatricesDiscrete FourierFourier Matrix FnFnF_nFast Transform =FFTFFTFFT一个普通的nnn阶矩阵和一个向量做乘法时需要进行n2n2n^2次乘法运算。而进行快速傅里叶变换后可以降低到n...
2018-03-20 11:04:07
283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人