- 博客(44)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 通往自动机器智能的隐变量能量模型(work in progress)
在AI达到类人水平并带来新的技术革新之前，当前的自动化系统仍然有重大的局限性。最理想的情况下，会出现L5自动驾驶、家用机器人、虚拟助理，这些机器人会学习可靠的世界模型，然后进行推理，对复杂的行动序列做出计划。本文引入了基于能力的潜变量模型分层联合嵌入预测架构（H-JEPA）。
2023-07-03 09:42:00
212
原创 CVPR2023 best paper: Planning-oriented Autonomous Driving 解析
现代自动驾驶系统通常是模块化的序列任务，这种方式很容易造成累积误差和任务协调不足，因此设计一个端到端架构，从全局的视角出发为agent的交互提供互补的特征提取。
2023-06-18 17:37:39
1968
原创 大模型时代的prompt学习(持续更新)
OpenAI 的 CEO Sam Altman 认为 prompt 是个非常高杠杆的技能。学习 prompt 可以让你更好地使用 ChatGPT 等产品， 当然prompt可能 会是个短期过度形态，未来肯定会有更友好的交互形式，或者理解能力更强的 AI 产品。前特斯拉 AI 负责人 Andrej Karpathy（最近二进宫回OpenAI ） 今年 1 月底也说：最热门的新编程语言是英语。
2023-05-25 23:05:17
3937
原创 论智能出现的简约性和自恰性原理（上）
一个理解深度网络的新框架：压缩闭环转录。这个框架包含两个原理：简约性（parsimony）与自洽性/自一致性（self-consistency），分别对应 AI 模型学习过程中的“学习什么”与“如何学习”，被认为是构成人工/自然智能的两大基础。......
2022-08-14 08:08:37
745
原创 深度神经网络的不确定性（下）
目录不确定性的测量和定性估计分类任务中的不确定性测量分类任务中的数据不确定性测量分类任务中的模型不确定性测量分类任务中的分布不确定性完备数据集性能测量估计回归任务中的不确定性测量回归任务中的数据不确定性测量回归任务中的模型不确定性估计回分割任务中的不确定性校准校准方法正则化方法后处理方法不确定性估计校准方法估计校准质量数据集与baseline不确定性估计的应用总结不确定性的测量和定性顾名思义，我们有了各种建模和估计不确定性的方法，就需要不同的测量来评估他们的好坏。通常情况下这些方法的正确性和可靠性是不能
2022-02-19 09:23:56
2342
原创 深度神经网络的不确定性（中）
目录不确定度估计方法A.Single Deterministic MethodsB.Bayesian Neural NetworksC. Ensemble MethodsD. Test Time AugmentationE. Neural Network Uncertainty Quantification Approaches for Real Life Applications不确定度估计方法A.Single Deterministic MethodsB.Bayesian Neural Netwo
2021-10-22 20:28:28
4417
4
原创 深度神经网络的不确定性（上）
深度神经网络的不确定度摘要深度神经网络的不确定度A.数据获取B.深度神经网络设计与训练欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入摘要基本神经网络没有实现确定性估计，或者会遭遇过置信或欠
2021-10-01 10:12:42
4753
1
转载 神经网络不work的原因
文章目录Neural Network Check List 如何使用这个指南 数据问题 1 检查输入数据 2 试一下随机输入 3 检查数据加载单元 4 确保输入和输出是一一对应的 5 输入和输出之间的关系映射的随机性会不会太强了？ 6 数据集中的噪声 7 打乱数据集 8 控制类别不平衡现象 9 会不会是训练数据不足？ 10 尽量你的训练批次中的样本标签多样化 11 减小batch size 12 尝试经典数据集（MNI
2021-05-06 22:18:23
235
转载 微积分——外微分形式的微积分
在我们所讨论的三度空间（三维）中，能够出现的微分形式只有四种：零次微分形式——函数 f一次微分形式——线积分中出现的微分dx,dy,dz的一次式 二次微分形式——面积分中出现的微分dx,dy,dz的二次式 三次微分形式——体积分中出现的微分dx,dy,dz的三次式 ...
2020-08-01 23:46:13
3592
转载 随机采样方法
背景随机模拟也可以叫做蒙特卡罗模拟(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法,并在最早的计算机上进行编程实现。随机模拟中有一个重要...
2018-08-16 16:22:44
2225
转载 深度强化学习路在何方
一、深度强化学习的泡沫2015年，DeepMind的Volodymyr Mnih等研究员在《自然》杂志上发表论文Human-level control through deep reinforcement learning[1]，该论文提出了一个结合深度学习（DL）技术和强化学习（RL）思想的模型Deep Q-Network(DQN)，在Atari游戏平台上展示出超越人类水平的表现。自此以后，...
2018-07-19 10:55:40
7617
1
翻译 灵长类动物脑中的人脸识别编码
总结灵长类动物识别例如人脸的复杂目标有着难以置信的速度和准确度。这里，我们揭示了人脸识别的大脑编码。猕猴的实验描述了一个人脸和人脸块胞元响应之间的转换。通过将人脸在高维空间形成点，我们发现每一个人脸胞元的发射率正比于即将到来的人脸刺激在这个空间单个坐标轴上的投影，这就允许人脸胞元的集合编码空间中任意脸的位置。用这个编码，我们能精确地从神经入口响应中编码人脸以及预测神经对人脸的发射率。此外，这个编码否
2018-01-11 11:18:21
1217
原创 mxnet代码解析之nnvm
概述nnvm启发于LLVM，它利用operator的高层信息去优化计算图；nnvm是从mxnet的实现中剥离出来一个模块，该模块完成了从symbol描述的网络到graph描述的符号计算图的生成和优化工作，而这样的模块化剥离仿效了unix的哲学，使得mxnet能够在不同的设备应用和场景中自主裁剪各功能模块。nnvm中的graph包含了计算图的结构，并且包含了一个从字符串到任意类型的属性映射map< s
2017-02-12 22:36:28
8585
2
原创 deeplearning中的优化算法
英文原版：http://sebastianruder.com/optimizing-gradient-descent/index.html#batchgradientdescent 翻译：http://blog.csdn.net/heyongluoyao8/article/details/52478715http://yufeigan.github.io/2014/11/29/Deep-Learn
2016-11-29 15:04:30
1096
原创 c++模板的问题解析-问题2
问题起源class Timer {public: Timer(){}};class TimeKeeper {public: TimeKeeper(const Timer& t){} TimeKeeper(){} std::string time; std::string get_time(){ return time; } friend std:
2016-08-23 21:36:31
1313
原创 mxnet代码解析之mshadow
mshadow采用了表达式模板的技巧增强了c++矩阵库的性能。 mshadow用于数据存储结构的主要继承脉络如下： Tensor->TRValue->RValueExp->Exp 继承链的顶端是所有表达式的基类Exp：template<typename SubType, typename DType, int exp_type>struct Exp { public: /*! \ret
2016-08-02 15:36:49
7574
原创 mxnet代码解析之computation graph
mxnet的前后向计算是以图模型构建的，它有两个重要的类，一个是Symbol，另一个是StaticGraph。Symbol和StaticGraph可以相互转换，Symbol提供了灵活的方式来合成节点，StaticGraph则包含了实际的配置。Symbolsymbol类表示网络结构动态生成的符号计算图，symbol基本结构如下：class Symbol {protected: struct No
2016-07-28 15:10:58
5329
原创 mxnet代码解析之dependency engine
mxnet代码解析之engine篇mxnet的执行引擎用于序列化有依赖关系的一系列功能，目前有三种方式的引擎：NaiveEngine，ThreadedEnginePooled，ThreadedEnginePerDevice。这三种引擎都始于一个基类Engine，第一种引擎没有在mxnet中真正使用，而后两种引擎并不直接继承于Engine，而有一个中间类ThreadedEngine。在剖析engine
2016-07-22 20:58:38
3364
原创 c++模板的问题解析-问题1
问题起源template <typename T>class base {protected: int x;};template <typename T>class derived : public base<T> {public: int f() { return this->x; }};int main() { derived<int> d; d.f();
2016-06-08 15:09:10
628
原创 论文心得：BatchNorm及其变体
本文记录BatchNormalization及其四个拓展，分别是BatchRenormalization、AdaBN、WeightNormalization、NormalizationPropagation
2016-03-27 22:28:33
12403
原创 github常用技巧记录
1. 使用git pull文件时和本地文件冲突怎么办？ 1、先将本地修改存储起来 $ git stash 这样本地的所有修改就都被暂时存储起来 。是用git stash list可以看到保存的信息： git stash暂存修改 git stash暂存修改 其中stash@{0}就是刚才保存的标记。 2、pull内容 暂存了本地修改之后，就可以pul
2016-01-06 16:21:47
500
原创 ubuntu14.04更新cuda驱动
当你在ubuntu14.04下采用dkms安装了cuda驱动一段时间后想更新，经常会报一些错误，这些错误在网上可以搜到很多类似关键词，但是想要解决却很困难。下面以cuda6.5更新到cuda7.0为例。如果cuda6.5的安装方式已知，则应该以对应的方式卸载。运行cuda_7.0.28_linux.run，可能会报错 “you appear to be running on X server”，如
2015-12-15 11:25:45
2613
原创 opencv与emgucv的参数传递
inthisto_enhance(IplImage* src, IplImage* dst) { cv::Mat img = cv::cvarrToMat(src); std::vector out; cv::Mat kk; cv::cvtColor(img, kk, CV_BGR2YUV);
2015-11-20 16:18:00
2548
原创 ubuntu14.04的转移笔记
目标：转移Alienware15 sata盘中的ubuntu14.04到Alienware17 sata盘中。 1. 备份原系统：tar cvpjf backup.tar.bz2 –exclude=/proc–exclude=/lost+found –exclude=/backup.tar.bz2 –exclude=/mnt –exclude=/sys /2.
2015-11-06 13:18:25
636
原创 装机科普与引导修复方法
在启动电脑时，常见到legacy和uefi两种启动方式。一般来说，有如下两种引导+磁盘分区表组合方式：LegacyBIOS+MBR和UEFI BIOS+GPT。Legacy BIOS无法识别GPT分区表格式，所以也就没有LegacyBIOS+GPT组合方式；UEFI BIOS可同时识别MBR分区和GPT分区，所以UEFI下，MBR和GPT磁盘都可用于启动操作系统。不过由于微软限制，UEFI
2015-11-05 16:14:57
1056
转载 LASSO问题
Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到：Some current challenges … are high dimensional data, sparsity, semi-supervised learning, the relation between computat
2015-08-31 17:06:46
8568
转载 boost 1.56.0 编译及使用
boost的编译和使用，经过搜集资料和总结，记录成文。感谢文后所列参考资料的作者。1 下载地址：http://sourceforge.net/projects/boost/files/boost/1.56.0/可以选择 boost_1_56_0.7z 下载。2 编译2.1 生成boost的自用的编译工具bjam.exe解压后，使用VS2013编译。首先打开“
2015-08-20 17:23:19
550
转载 dll劫持技术
说起DLL劫持技术，相信大家都不会陌生，因为这种技术的应用比较广泛，比如木马后门的 启动、破解程序的内存补丁、外挂插件的注入以及加密狗的模拟等。之所以DLL劫持技术深受黑客们的喜爱，主要是因为该技术可以有效的躲过大部分杀软，并且实现起来技术难度不大。DLL劫持技术也不是什么新技术，记得在《Windows核心编程》中也有提及相关技术。可是对我们广大初学者来说，DLL劫持技术就显得很神秘了，本系列教程
2015-07-15 17:00:41
1147
原创 vs使用高阶技巧
本文记录了vs调试程序的一些thicks，持续更新。1. 在调试可执行程序或dll时，有时需要依赖于其他release版本的库，因此不能使用debug调试，因此使用如下步骤。a) 工程项目上右键 -> 属性b) c++ -> 常规 -〉调试信息格式 选 “程序数据库(/Zi)或(/ZI)”, 注意：如果是库的话，只能(Zi)c)
2015-07-15 16:53:40
756
转载 Cmake入门
什么是 CMakeAll problems in computer science can be solved by another level of indirection.David Wheeler你或许听过好几种 Make 工具，例如 GNU Make ，QT 的 qmake ，微软的MS nmake，BSD Make（pmake），Makepp，
2015-07-13 10:55:00
741
原创 Windows8.1(64位)下用vs2013编译cxxnet
1. 下载关于cxxnet的平台请参考http://www.csdn.net/article/2015-05-21/2824742?reload=1。在https://github.com/dmlc下载cxxnet、dmlc-core、rabit、m-shadow，另外就是parameter_server是可选择的，本教程不包括。Opencv在官网下载即可，最好是2.4.10版本
2015-06-22 16:40:58
2141
2
转载 vs2012编译caffe
一、准备 需要用到的东西我已经帮大家全部准备好了，有2015年6月5日刚刚从caffe官方master分支fork过来的源代码：https://www.github.com/happynear/caffe-windows。有我自己亲手制作的第三方库http://pan.baidu.com/s/1sjE5ER7，在源码的根目录下建立个3rdparty文件夹，把文件解压进去就可以了。
2015-06-19 18:08:12
2646
转载 caffe源码解析之cblas函数
常用 blas 函数Y=alpha * X +beta*Y template <>void caffe_cpu_axpbyfloat>(const int N, const float alpha, const float* X, const float beta, float* Y) { cbl
2015-05-07 17:45:07
3526
1
转载 c和c++运行库
在使用VC构建项目时，经常会遇到下面的链接错误： 初学者面对这些错误常常不知所错：libcmt.lib是什么东西？msvcrtd.dll又是干吗用的？在使用VC++时我们也常常对下面的运行库配置项感到疑惑，它们到底究竟是什么意思呢？甚至一些工作了很多年的程序员也对此一知半解。今天让我们来了解一下它们。 从C和C+
2015-03-26 14:56:11
551
转载 c++内存布局
——谈VC++对象模型（美）简.格雷程化 译译者前言一个C++程序员，想要进一步提升技术水平的话，应该多了解一些语言的语意细节。对于使用VC++的程序员来说，还应该了解一些VC++对于C++的诠释。 Inside the C++ Object Model虽然是一本好书，然而，书的篇幅多一些，又和具体的VC++关系小一些。因此，从篇幅和内容来看，译者认为本文是深入理解C
2015-03-26 14:51:45
466
转载 OpenCV2.0 C++接口函数一
转载自：http://blog.csdn.net/szlcw1/article/details/37662935OpenCV在2.0版本之后添加了C++接口函数，之前学习的都是C语言的接口函数，现在OpenCV已经发展到2.4.9版本了，所以决定学习C++接口函数，跟上节奏。1、创建图像?1cv::Mat im
2015-03-07 21:40:41
1311
转载 caffe源码解析之添加新的Layer(maxout)
本文分为两部分，先写一个入门的教程，然后再给出自己添加maxout与NIN的layer的方法（一）其实在Github上已经有答案了（https://github.com/BVLC/caffe/issues/684）Here's roughly the process I follow.Add a class declaration for your laye
2015-02-07 19:53:12
4946
1
转载 caffe源码解析之Layer层(1)
前言老实说，caffe中的layer层代码比较多，各种抽象看起来比较绕。官方关于Layer的教程写的很清楚，我根据这个文档，简单画了个图，再理解起来就方便了一些。layer.hpp和layer相关的头文件有：common_layers.hppdata_layers.hpplayer.hpploss_layers.hppneuron_layers.hppvision_l
2015-02-05 17:21:10
1925
转载 caffe源码解析之blob(1)
看过caffe官方文档的话，应该会知道，它可以分为三层：Blob、Layer、Net。Blob是一个四维的数组，用于存储数据，包括输入数据、输出数据、权值等等；Layer层则是神经网络中具体的各层结构，主要是计算的作用，在根据配置文件初始化结构后，前向计算结果，反向更新参数，都是它要做的，而它的输入和输出都是Blob数据；Net的话，就是多个Layer组合而成的有向无环图结构，也就是具体的网络了。
2015-02-05 17:19:25
1881
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人