- 博客(159)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 论文笔记 Cross-modal Bidirectional Translation via Reinforcement Learning
Cross-modal Bidirectional Translation via Reinforcement Learning先说说这篇文章是做什么的，做跨模态的翻译，但是这里也没有翻译的亚子，只是能给文本呢以及图片选择匹配度最高的对象打个分。先看网络架构左边是一个textCNN, CNN 丢出输出后，丢给LSTM，LSTM 处理后，将所有的隐层加起来作为表征。而右边是一个CNN， CNN处理后把特征图（按图上理解）拉成一个长条也是喂给一个LSTM,中间饥饿几个全连接层用于翻译。我觉得右边在表征过程
2020-06-05 22:38:01
341
原创 论文笔记 Hierarchical Macro Strategy Model for MOBA Game AI
Hierarchical Macro Strategy Model for MOBA Game AI自从围棋被alpha go 解决之后，强化学习领域就把自己的注意力转向了RTS游戏，比如MOBA类游戏。OPENAI 玩dota, 腾讯自然就是玩王者荣耀。首先说说这个领域的难点。问题复杂度高，状态空间或动作空间可以达到102000010^{20000}1020000多智能体优化，因为涉及队友间的合作之类的。信息不完全，因为存在战争迷雾稀疏奖励以及延迟奖励，游戏结束才知道奖励。作者还说之前的O
2020-06-01 23:46:42
653
原创 强化学习第九章总结，总结到9.3
这一章采取函数近似的方法，前面有提到过，状态太多的时候会考虑把策略（存疑求证，记忆里这里应该是策略，但这章提的是v函数）函数pi表示成状态的函数，只要函数的参数比状态数要少，就能起到节省空间的作用。简单写作 v_pi(s, w) = v_pi(s)这里的v可以是一个关于特征的线性方程，w是特征的权重，更普遍地说，v可能是一个多层神经网络而w是每一层的权重。通过调整权重...
2020-04-20 23:19:48
363
原创 强化学习第三章总结（一个简单的总结，因为没时间敲公式，先放在这里，之后慢慢收拾）
MDPs are a classical formalization of sequential decision making, where actions influence not just immediate rewards, but also subsequent situations, orstates, and through those future rewards....
2020-04-19 13:45:51
466
原创 SARSA 和 Q-learning 的区别
下面这张图截取自书上的，SARSA算法是在线算法，Q-learn是离线算法。两者的第一步选择动作都是epsilon-greedy,而第二部更新Q函数的时候，Q-learning 直接选择用最优的动作a去更新Q函数，而SARSA选择用之前的策略采样出来的A‘去更新Q函数。这就是为什么叫SARSA在线算法，因为更新策略用的A’和上一步的A都是由一个policy 产生的。而Q-learning中...
2020-04-10 23:32:26
2860
4
原创 LightGBM Exclusive Feature Bundling
互斥特征合并（Exclusive Feature Bundling）高维的数据通常是稀疏的，这种特征空间的稀疏性给我们提供了一种设计一种接近无损地降维的可能性。特别的，在稀疏特征空间中，许多特征是互斥的，换句话说，大部分特征不会同时取非0值，例如One-hot之后的类别特征他们从不同时为非0值。我们可以合并互斥的特征为单一特征（我们将这个过程称为Exclusive Feature Bundle...
2020-04-08 23:44:26
951
原创 Task09 打卡 目标检测基础；图像风格迁移；图像分类案例1（1天）
1 目标检测边界框：生成方式是左上角右下角的坐标值，显示的时候是左上角坐标和高宽（简单的就可以由右下角坐标得到）锚框：目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truth bounding box）。不同的模型使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中...
2020-02-25 21:08:41
536
原创 Task 6 打卡 批量归一化和残差网络；凸优化；梯度下降
关于BN 层，这篇文章讲的比较清楚https://zhuanlan.zhihu.com/p/34879333BN层一是为了避免神经网络层与层之间数据的分布差别太大，于是将特征的分布处理成正态分布；但同时，不同特征本身的差异也是数据的信息之一，因此又训练了两个参数，试图还原一部分特征之间的差异。关于残差网络https://zhuanlan.zhihu.com/p/80226180...
2020-02-25 20:31:11
151
原创 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
。。。。。。。。。。。。。被老师要求两天实现一篇轨迹挖掘文章，这个我是真没时间了，惭愧，先水一下，以后补上
2020-02-19 21:40:41
78
原创 Task05：卷积神经网络基础；leNet；卷积神经网络进阶
记录一道做错的题目，忘记了有左padding，和右padding 其他的题目全都做对了
2020-02-19 21:38:06
89
原创 Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
记录一下标签偏移这个概念，感觉还没有懂，之后慢慢总结标签偏移当我们认为导致偏移的是标签P（y）上的边缘分布的变化，但类条件分布是不变的P（x∣y）时，就会出现相反的问题。当我们认为y导致x时，标签偏移是一个合理的假设。例如，通常我们希望根据其表现来预测诊断结果。在这种情况下，我们认为诊断引起的表现，即疾病引起的症状。有时标签偏移和协变量移位假设可以同时成立。例如，当真正的标签函数是确定的和不...
2020-02-19 21:36:01
136
原创 知识蒸馏论文读书笔记
知识蒸馏的教育体制改革之路突然觉得，我应该做一点笔记，梳理一下学过的东西，否则年一过，整个人就跟失忆了一样。知识蒸馏这个名字非常高大上（不得不说大佬不仅想法清新脱俗，名字也起的情形脱俗啊）。如果直白地说老师学生模型，那就不酷了。是的，知识蒸馏本质上下面是论文的总结梳理，跨种族的学习-Model Compression就好像《三国演义》不会从魏蜀吴三国都建立之后开始写， 在2015年hi...
2020-02-17 06:22:27
361
原创 动手学深度学习PyTorch版_第二次打卡
全部JupyterNotebook来自https://github.com/ShusenTang/Dive-into-DL-PyTorch主要是做一些基础知识的记录第二次的内容是文本预处理，语言模型，循环神经网络基础。1.rere 即正则表达式 regular expression。从这段代码上看，python 的写法确实优雅re.sub（a, b, c）是将c中所有a的子串替...
2020-02-14 21:19:06
194
原创 动手学深度学习PyTorch版_第一次打卡
被朋友拉着报名了伯禹教育的一门免费网课，算是熟悉一下PyTorch全部课件来自https://github.com/ShusenTang/Dive-into-DL-PyTorch课上第一个任务动手学线性回归用到的Jupyter Notebook 在这个网址https://github.com/ShusenTang/Dive-into-DL-PyTorch/blob/master/c...
2020-02-13 19:25:03
300
原创 n皇后问题
描述n皇后问题：一个n×n的棋盘，在棋盘上摆n个皇后，满足任意两个皇后不能在同一行、同一列或同一斜线上的方案有多少种？输入第一行包含一个整数n。输出输出一个整数，表示方案数。# include <cstdio>int n;int dfs(int lbm, int mbm, int rbm){ if (mbm != (1<<n)-1){ int ret = 0;...
2018-07-15 02:19:10
264
原创 HDU - 2276 Kiki & Little Kiki 2
1.题面http://acm.hdu.edu.cn/showproblem.php?pid=22762.题意现在有围成圆圈的一圈灯，现在开始进行一系列的变换，变换的规则是，如果灯i的左边这盏灯是亮着的，那我们摁一下灯i的开关，也就是亮着的变成暗着的，暗着的变成亮着的。问m次变换之后的状态。3.思路如果我们用1表示灯亮着，0代表灯暗着，数组a[n]来表示所有灯的状态，那么一次变换实际上可以视为a[i...
2018-05-11 20:38:47
148
原创 POJ-3233 Matrix Power Series (矩阵快速幂 + 二分 或 构造矩阵)
1.题面http://poj.org/problem?id=32332.题意给你一个n*n的矩阵A，让你计算A^1 + A^2 + A^3 + ……+A^k，最终答案需要对k取模。3.思路这道题目有两种解题思路，都需要用到矩阵快速幂1.二分递归的方法我们首先记S = A^1 + A^2 + A^3 + ……+A^k；如果k是偶数，那么，S = （A^1 + A^2 + A^3 + ……+A^(k/...
2018-05-11 19:42:41
232
原创 POJ-2823 Sliding Window
1.题目链接Sliding Window2.题意给你一个长度为n的数列，要求求出每个连续的长度为m的字串的最大值和最小值。3.解法单调队列的简单应用4.代码# include <cstdio>int v[1111111];int deq[1111111], head, tail;int main(){ // std::ios::sync_with_stdio(false);c...
2018-04-03 16:07:13
260
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人