- 博客(90)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 cross correlation function —— ρ
matlab中给了很好的说明：https://ww2.mathworks.cn/help/econ/crosscorr.html其实就是相关系数ρ的计算， 只不过加上了滞后。另：信号领域的cross-correlation：
2021-04-25 16:15:05
852
原创 协方差以及协方差矩阵的整理及思考
协方差协方差的概念要从方差的概念延伸来看。首先，方差：类比，协方差：协方差的通俗理解两个变量在变化过程中是同向还是反向？以及同向或反向变化的程度如何？协方差的结果的意义（1）cov > 0 , 正相关（你增我增）（2）cov < 0 , 负相关（你增我减）（3）cov = 0 , 统计上“相互独立”协方差的一些性质协方差 & 相关系数即：X和Y的相关系数 就是 用X和Y的协方差除以X的标准差和Y的标准差值得注意的是：协方差多了就是协方差矩阵协方差只
2021-01-02 00:51:52
1385
1
原创 【2020-11-26】上海交通大学张志华机器学习导论笔记1
大数据 n（数据量）和p（特征）都很大。n比较小。半监督学习：在训练时，把测试数据也放进去。先随机给测试数据y值。 训练，得出a。在用a重新标注测试数据。 再拿到新的y，再训练。。。这叫： transtactive learning...
2020-11-26 22:38:26
480
原创 R packages：fNonlinear———bdsTest——BDS检验
bdsTest ： Brock--Dechert--Scheinkman test for iid seriesBDS检验
2020-10-12 13:09:37
4778
1
原创 R语言——一张图上画多条线
第一种：plot(M[1:20],type="o",pch=20,col="red")par(new = TRUE)plot(N[1:20],type="o",pch=17,col="blue")中间加上这一行par(new = TRUE)就好了。第二种：选择用linesplot(M[1:20],type="o",pch=20,col="red")points(N[1:20],pch=17,col="blue")lines(N,col="Blue",lty=2)或者是：plot(M
2020-08-06 23:35:31
26565
1
原创 复杂网络笔记
（1） 短 √ ×（2） 密 × √空间上网络 很容易形成高聚集性存在距离上三角不等式 两边之和大于 第三边你两个邻居跟你靠近 他们彼此之间也会靠近 （因为上述）但是并不短现实是无标度世界。攻击那些度大的点，会有特别大的攻击性。弱连接就有强关系找工作 要找那些有过一面之缘 weak tie 因为这种人恰恰可能是桥节点如果去找爸妈 亲密朋友 很难从小集团走出去网络上的动力学传染疾病模型SIRInfected 感染Sus
2020-07-03 09:38:47
6679
1
原创 R语言——导入数据
1. 数据少直接copy打开excel表格->全选里面的内容->点击复制 data <-read.table(“clipboard”, header = T, sep = ‘\t’)【header=T， 第一行设为标题】2. R把任意多个连续的空格或制表符只算作一个如果数据表中有空缺的单元格，一定要用NA来表示缺失的数据，否则将会导致读入数据错位。3. 读入的数据进行...
2020-06-30 09:40:22
1630
原创 李宏毅2020机器学习笔记2——回归：梯度下降算法、正则化
一、回归应用广泛二、引出梯度下降算法来求解minL（1）梯度下降厉害的地方在哪里？只要方程可微分，都可以拿来进行处理，来找比较好的参数和方程。梯度的方向是变化率最大的方向。（2）梯度下降法：只有一个参数时总是为了让loss减少。任取一点，求出来该点的导数为负，就增加w；反之减少w。n ： learning rate 学习率 （决定步长）可以看出来步长是变化的。越接近min，导数值越小，步长越小。梯度下降法：有两个参数时【注意】w和b一定是同步更新的梯度方向其实也是等高线的法
2020-06-29 23:37:24
8036
原创 李宏毅2020机器学习笔记1——概括
supervised learning 监督学习 ： 告诉你当围棋是这种样式时，下这一步；是另一种时，下哪一步…reinforcement learning 强化学习： 不告诉你具体样式下什么，通过一步一步最终胜利了之后，学习一些里面的步骤。...
2020-06-28 16:22:27
216
原创 吴恩达机器学习笔记6——logistic回归加入正则项
一、梯度下降算法时logistic回归加入正则化logistic回归加入正则项：【注意】看起来梯度下降的公式与线性回归的一样，但其实这里的h（x）与线性回归里的不同二、更高级的优化算法的正则化logistic回归求解用这些函数fminunc… 输出的θ 是对应的minJ(θ) 的值。...
2020-06-28 15:10:53
522
原创 吴恩达机器学习笔记5——线性回归加入正则项
一、 梯度下降法进行线性回归时加入正则项（1）之前没有加正则项时，用梯度下降法：（α后面是对假设函数J（θ）求导后得到的式子）接下来因为添加正则项的时候没有考虑θ0，所以单独把它写出来：（2）添加正则项后求解【注意】这个正则项添加本来是λ θ2 ，因为梯度下降的更新θ的式子都是求导之后的，因此得到下面的：下面将这个式子整理一下以便于理解：对于这个式子的理解：分为两部分，前面粉色框框的部分其实是对θ做了个缩小，几乎就是0.99的缩小（也不一定），后面这一项跟没有正则化之前是一样的。所以
2020-06-28 14:39:50
1225
原创 吴恩达机器学习笔记4——正则化
1.加入惩罚因子（1）多项式的例子比如加1000θ3^2…那么为了使得下面这个加入惩罚项的式子min，就会尽量使得θ3.θ4趋近于0，这就相当于由拟合的右图的式子高次幂，变成了拟合为二次式。（2）housing 例子一般来说，θ取尽量小的值，会使得假设函数更加简单，也会更易避免过拟合。上图举的例子多项式例子不同，我们并不知道θ1—θn谁是高阶项，谁是相关度较低的，也就不知道该选出哪些参数来缩小他们的值。因此我们只能修改代价函数，来缩小所有的θ，加入了θ的正则项。这一项的作用是缩小每个参数一
2020-06-28 13:17:34
216
原创 吴恩达机器学习笔记3——过拟合以及主要解决方法：正则化
（1）过拟合的例子过拟合: 丧失了泛化能力泛化能力：一个假设模型应用到新样本的能力特征过多，训练集数据过少，就容易过拟合。（2）解决过拟合方法1 ： 减少特征的数量模型选择算法可以选取特征，但是这个方法容易损失一些特征带有的信息。方法2： 正则化正则化思想：每个变量或多或少都有用，我们希望保留所有的特征变量，但是减少量级或者是θ的大小...
2020-06-28 11:17:43
208
原创 吴恩达机器学习笔记2——logistic回归5
使用logistic回归解决多类别分类问题进行三次分类那么当出现新的需要去分类的数据时，去拟合这三个h（x），选择那个计算出来最高的值的类别，就是这个数据所属的类别。
2020-06-28 10:29:05
191
原创 吴恩达机器学习笔记2——logistic回归3
整体代价函数J(θ)单个样本的代价 Cost(h(x),y)，为了使之不要分类写，可以写成上图中下面这一行式子不要忘记 logistic回归的h(x)=p(y=1|x,θ),在给定x和θ的前提下，分类为1的概率。如h（x）=0.7， 分类为1的概率是70%。梯度下降来最小化代价函数发现用梯度下降算法时，算出来的θ更新的式子貌似和线性回归时一样。但其实由于h（x）不同，所以他们并不相同！...
2020-06-28 00:23:46
168
原创 吴恩达机器学习笔记2——logistic回归2
1. 代价函数解释： 在输出的预测值是h(x)，实际标签是y的情况下，我们希望学习算法付出的代价。然而，这个代价函数在线性回归里可以，很好用。但是在logistic回归中，就并不适用，会出现一些问题。实际上，用这个代价函数的话，会变成关于θ的非凸函数。因为h(x)本身就是非线性，再去平方加和，更是非线性，就可能会使得代价函数的图形变为下图左边这种图用梯度下降算法的话，可能会找到好多局部最优，但并不一定是全局最优。我们是希望右图这种，可以保证使用梯度下降法会收敛到该函数的全局最小值。那么
2020-06-27 23:34:21
205
原创 吴恩达机器学习笔记2——logistic回归1
增加了一个点之后，使得拟合出来的线性函数变成了蓝色的直线。这个时候以0.5为界限的那个点对应的x值，并没有完全将样本值分类正确例如本来有两个应该是yes 患肿瘤。由于蓝色线，这两个样本对应的x在蓝色线上的拟合y是小于0.5的，会错误的判定为no不患肿瘤。仅仅增加了一个样本就使得判定发生了这么多错误，因此并不是所有的分类问题都可以用线性的方式来解决。另外，用线性回归算出来的预测值可能会大于1或者小于0，但是分类问题二分类的话样本的情况只有0或者1，这样就很难判断。因此我们选择logistic ...
2020-06-27 16:31:30
203
原创 吴恩达机器学习笔记——1 向量化的思想
要善于将循环转换为向量的形式，或矩阵的形式进行求解。从而提高计算效率。肯定是vectorized implementation 更有效率。自己写的：将多个式子转换成了矩阵、向量相乘，而只需要进行简单的加减运算就可以了。...
2020-06-27 11:45:08
251
原创 excel——多个excel的行连接合并
多个excel合并到一个excel中， 行合并。合并成多行。Sub all_contents()Dim MyPath, MyName, AWbNameDim Wb As Workbook, WbN As StringDim G As LongDim Num As LongDim BOX As StringApplication.ScreenUpdating = Fa...
2020-04-04 10:48:14
699
原创 时间序列——取对数做差分的经济含义——弹性
由于很多经济数据呈指数增长，对各数据取对数之后不会改变数据的性质和关系，可以把数据压扁，易缓解/消除异方差问题；对取对数以后的数据进行线性回归，其前面的参数表示的就是百分比变化率(dlnx=dx/x)，△Inx=△x/x ，即弹性， 变化率具体查看知乎：https://www.zhihu.com/question/31722222...
2020-02-22 18:47:12
17340
原创 探究因果关系的方法
一、格兰杰因果关系 （ granger）原因总是在结果之前，结果总是在原因之后。1.基于时间顺序先后，并不考虑变量间的同期因果关系。2.对滞后项敏感，选择不同的滞后项得出来的结果可能完全不同。3.只考虑经济变量的因果关系在统计上显著性, 而忽略了其在经济意义上的显著性格兰杰因果真实含义是时间上的`先于’ 关系, 而并不是通常意义的因果关系做法：用eviews里的格兰杰因果检验做。...
2020-02-15 21:57:53
5248
2
原创 excel数据处理——搭配matlab
把excel中的长长的矩阵转换成一列：用matlab：b=reshape(a,[],1)[]代表的是：所有的行
2020-02-14 12:55:17
252
原创 格兰杰因果关系检验
进行格兰杰因果关系检验的一个前提条件是时间序列必须具有平稳性，否则可能会出现虚假回归问题。因此在进行格兰杰因果关系检验之前首先应对各指标时间序列的平稳性进行单位根检验(unit root test)。常用增广的迪基—富勒检验(ADF检验)来分别对各指标序列的平稳性进行单位根检验。实证检验步骤：（1）先做单位根检验，看变量序列是否平稳序列，若平稳，可构造回归模型等经典计量经济学模型；若非...
2020-02-13 16:53:22
12275
原创 excel——处理日期格式问题
解决这个问题：是日期格式。要想让编辑栏也是显示月 日 ：解决方法：（1）之后一列用：=TEXT(A1,“yyyy年mm月dd日”)把日期格式的先强制变成这样， （显示出来是一样的）（2）然后复制这一列， 粘贴文本到另一列。另一列就可以与编辑栏一致了。...
2020-02-13 01:15:46
734
原创 spss学习笔记——1
做多元回归看系数时，系数有非标准和标准，具体看哪个：比较不同自变量对因变量的重要性时用标准化系数，做实际预测时用非标准化系数
2020-02-05 22:24:09
325
原创 netlogo学习笔记
1.对于setup和go，编写代码时都是格式为：to setupendto goend2.netlogo里的展示区其实是一个个的方格patch，可以通过右键edit进行修改patch数以及大小。对每一个patch，也就是每一个对象赋予属性用 patches-own[x,y,…] ,然后用 set x … 来对各个属性进行赋值ask patches 和 ask t...
2020-02-05 19:14:30
1840
原创 excel——常用快捷键
插入新工作表：Shift+F11切换工作表：Ctrl +PgDn、Ctrl+PhUp打开“替换”对话框： Ctrl+H求和：选中某一列底部的单元格，然后同时按住Alt键和=键
2020-01-18 15:11:27
242
原创 R——把数据框输出
write.table(data,“data.csv”,row.names=FALSE,col.names=TRUE,sep=",")行序号不导出列名称导出
2020-01-15 17:28:51
2362
2
原创 R——paste、paste0连接字符串
#要生成12个月的fitbit文件名paste("fitbit", 1:12, ".jpg", sep = "")[1] "fitbit1.jpg" "fitbit2.jpg" "fitbit3.jpg" "fitbit4.jpg" "fitbit5.jpg" "fitbit6.jpg" "fitbit7.jpg"[8] "fitbit8.jpg" "fitbit9.jpg" ...
2020-01-05 11:11:19
1164
原创 R——sample（）——随机抽样
sample()sample(x, size, replace = FALSE, prob = NULL)x：为向量，表示抽样的总体，或者是一个正整数，表示样本总体为1~n；size：为样本容量，即要抽取的样本个数，是一个非负整数；replace：表示是否为有放回的抽样，是一个逻辑值，默认为FALSE，即默认为无放回抽样；prob：为权重向量，即x中元素被抽取到的概率，是一个取值0~1的...
2020-01-04 20:22:33
1554
原创 R————do.call（）
aa <- data.frame(matrix(1:25, ncol = 5), matrix(4:28, ncol = 5), matrix(21:45, ncol=5))aa_sum <- do.call(sum,aa) aa_bind <- do.call(cbind,aa) bb <- list(matrix(1:25, ncol = 5...
2020-01-04 18:55:02
213
原创 R——factor()、gl（） 构造因子
因子——表示名义型变量或有序变量。名义变量一般表示类别，如性别，种族等等。有序变量是有一定排序顺序的变量，如职称，年级等等。使用factor()函数f <- factor(x=charactor(), levels, labels=levels, exclude = NA, ordered = is.ordered(x), namax = NA)其中：x 为创建因子的数据，是一个...
2019-12-30 21:09:39
2347
1
原创 数据标准化处理
Z-score 标准化适用范围1.数据的最大值和最小值未知2.有超出取值范围的离群数据经过处理的数据符合标准正态分布，即均值为0，标准差为1，其转化函数为：x∗=（x−μ）/σ标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。缺点估算Z-Score需要总体的平均值与方差，但是很难得到，大多数情况下是用样本的均值与标准差替代。对于数据的分布有一定的...
2019-12-28 21:51:15
3989
原创 均方误差——MSE 和标准差 的区别
均方误差——MSE参数估计值与参数真值之差平方的期望值;均方根误差——RMSE平均绝对误差——MAE绝对误差的平均值标准差 ——SDMSE 机器学习 预测时 用，是看看预测的准不准。SD 是看它与平均值之间的差距，看看你这个数据的离散程度。...
2019-12-28 12:43:55
3529
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人