3A是个坏同志-CSDN博客

原创使用UE4 HttpRequest提交多表单

大部分HTTP库都是支持直接设置多表单字段的，但UE4的HttpRequest比较惨，只能用SetContent设置整个的TArray作为请求体，所以想要传多表单就要自己拼。这里需要注意，分隔两个属性的boundary行要比Header里设置的boundary前面多两个横杠。boundary想设什么都行，但要和后面用的统一。结尾分隔行最后要有两个横杠。

2023-09-28 19:43:10 1318 1

原创回归分析扫盲：为什么非线性模型不能直接用最优子集选择法

有个学经济的同学说我说的不对，这篇文章说的这个方法其实是经济学建模常用的方法“最优子集选择法”——如果你也这么认为，那就说明你既不懂数学上的函数拟合、也不懂经济学上的回归分析。首先，“最优子集选择法”不是用来干这件事的，其次，“最优子集选择法”也不能在这种模型上用。下面我来讲讲为什么。

2023-08-25 21:44:50 391

使用有监督学习方式，基于GPT3.5微调训练一个初始模型；训练数据约为2w~3w量级根据InstructGPT的训练数据量级估算，参照P33 Table6），由标注师分别扮演用户和聊天机器人，产生人工精标的多轮对话数据；值得注意的是，在人类扮演聊天机器人时，会得到机器生成的一些建议来帮助人类撰写自己的回复，以此提高撰写标注效率。以上精标的训练数据虽然数据量不大，但质量和多样性非常高，且来自真实世界数据，这是很关键的一点。

2022-12-14 19:25:54 13048 5

原创针对结构映射的SVM算法：核心思路解读

最近在准备做一个NER和指代消解相关的课题，在和同学们读相关文章。今天有个同学找到了个挺有意思的文章，用SVM做NER的。我感觉这想法挺奇特的，SVM怎么处理文本和序列？于是我去看了一下，他找的那篇文章是个套壳文章，核心算法引用了一篇很多年之前发表的，讲如何将SVM用于结构化数据映射的文章............

2022-08-13 19:58:51 640

原创神经网络可以解决一切问题吗：一场知乎辩论的整理

前言：2014年，Deepmind提出了神经图灵机。其后，各种传统软件系统的可微版本被提出，基于自动微分框架的反向计算能力，神经网络被应用于大量新颖的场景。基于这些事实，一些机器学习外围的理论研究人员认为，由于神经网络与图灵机的计算模型（可以被认为）等价，因此可以解决一切有价值的问题；或者认为，一切人脑有可能解决的问题，都可以通过深度学习解决。昨天在刷知乎的时，针对这一观点，我与一个同学展开了讨论，由于里面有一些有价值的信息，因此把讨论记录整理到这里。本文所述的内容可以看作是之前《Policy Evalua

2022-07-31 18:20:37 1415 1

原创 Policy Evaluation的收敛性是怎么一回事

完美的学习算法昨天和同学在群里讨论DRL里bad case的问题。突然有同学提出观点：“bad case其实并不存在，因为一些算法已经理论证明了具有唯一极值点，再加上一些平滑技巧指导优化器，就必然可以收敛。”当听到这个观点时，我是一时语塞。因为当前深度学习研究的最大问题就是，花了很大资源训练的千万参数神经网络根本不work，一切都白白浪费。因此才有NAS之类方法尝试根据一些训练初期的动力学性质调整结构，找出合适的超参数，但也是效果平平。如果真有一个这么完美的学习算法，那岂不是任何问题都能解决了？但根

2022-03-31 21:30:39 1332

原创针对多轮推理分类问题的软标签构造方法

Motivation在非对称博弈中，我们常常要对对手的状态（如持有的手牌类型）进行推理。此类推理问题有两个特点：(1) 虽然存在正确结果，但正确结果往往无法经过一次推理得到。因为随着游戏的进行，才能获得足够的信息 (2) 虽然无法一次性获得正确的结果，但可以基于现有信息推理获得更正确的分布。更正确的分布会有益于我们在接下来的游戏中做出正确决策。基于这两个特点，我们考虑一个简化的问题：我们想要知道对手持有的（唯一）一张手牌的类型。该问题可以被理解为多分类问题。考虑使用神经网络的情况，由于需要进行多轮推

2022-02-19 02:15:54 3398

翻译使用预训练语言模型进行文本生成的常用微调策略

译自Pretrained Language Models for Text Generation: A Survey 第六节数据角度小样本学习：在许多任务中，获取足够标记数据既困难又昂贵。预训练模型可以编码大量的语言和现实知识，这为数据稀缺提供了有效的解决方案。通常采用的方法是使用预训练参数插入现有模块。然后用几个、一个甚至没有研究任务的case对它进行微调。比如将小样本学习应用于数据到文本的任务，如表到文本的生成[1,2]和KG到文本的生成[3]。Chen[1]直接向 GPT-2 提供少量序列化的

2021-12-08 22:29:09 1090

原创基于GPT的隐变量表征解码结构

有时候我们想要用GPT（的一部分）作为预训练的隐变量解码器，应该怎么办呢？最近看论文，总结了三种隐变量注入(code injection)的方式。1.Cheng X , Xu W , Wang T , et al. Variational Semi-Supervised Aspect-Term Sentiment Analysis via Transformer[C]// Proceedings of the 23rd Conference on Computational Natural Lan...

2021-12-08 02:05:58 891

转载 GPT2计算流程详解

GPT-2 就像传统的语言模型一样，一次只输出一个单词（token）。这种模型之所以效果好是因为在每个新单词产生后，该单词就被添加在之前生成的单词序列后面，这个序列会成为模型下一步的新输入。这种机制叫做自回归（auto-regression）。GPT-2，以及一些诸如 TransformerXL 和 XLNet 等后续出现的模型，本质上都是自回归模型，而 BERT 则不然。这就是一个权衡的问题了。虽然没有使用自回归机制，但 BERT 获得了结合单词前后的上下文信息的能力，从而取得了更好的效果。XLNet

2021-11-27 20:27:04 3410

翻译 STL容器自定义内存分配器

STL 和 STL 扩展类现在接受额外的模板分配器参数。分配器参数的默认值来自C++标准库std::allocator<T>。您也可以提供自己的分配器，以便在应用程序中自定义内存管理。为了提供您自己的模板类作为分配器，模板必须符合特定接口，包括成员函数和类型定义以及其句法和语义要求。下面是一个简单的分配器的部分代码片段： template <class T> class my_allocator { typedef size_t ..

2021-08-28 22:39:06 830

原创针对垂直问题的高性能机器学习算法设计

这是我前几天在CCF青年大会学生论坛的报告内容。因为台上每个人就给十分钟，所以算法细节和一些我自己的想法都没讲，这是15分钟的完整讲稿。现在深度学习非常火，像计算机视觉、自然语言处理这些面向很多问题的泛领域都有很强大的预训练模型。这些预训练模型能解决很多问题，所以现在面对一个特定问题，很多人的基本操作就是基于预训练模型套上数据调一下，看看效果怎么样。这么做能解决很多问题，但因为预训练模型体量一般都很大，这么搞不管是训练还是推断都有很大的计算开销。而且本身调这个过程也充满了不确定性，所以大家说深度学.

2021-05-17 16:33:47 285

原创没学好统计学的下场

刚才看了一篇文章：Huimin,Zhang,Lingfei,etal.TheCinderellaComplex:Wordembeddingsrevealgenderstereotypesinmoviesandbooks.[J].PloSone,2019,14(11):e0225385.这篇文章是说神魔的呢？我们来看看摘要：我们对数千部电影和书籍的分析揭示了这些文化产品是如何将陈规定型的性别偏见编织成道德故事，并通过讲故事使这种性别偏见流传下去。通过运用词语嵌...

2021-03-01 22:28:07 461

转载流，向量场，和微分方程

什么是“流”？在我接触过的各种数学体系中，对于运动和变化的描述，我感觉最为适合的有两种不同的perspective：流和变换群。前者以被作用的对象为中心，运动就是这个东西随时间变化的函数；后者以变换本身为中心，研究的是各种变换所组成的空间的代数和拓扑结构。我想，相对来说，前者对于多数人而言似乎更为直观。在这篇文章里，就以“流”(Flow)的角度展开了。其实，这两种思路有着根本的联系——这种联系体现在李群论的一个基础概念——李群作用(Lie Group Action)，以及由它所延伸出来的丰富的理论。

2021-02-19 04:08:03 2860 1

翻译策略梯度算法简明教程

为什么需要策略梯度基于值的强化学习方法一般是确定性的，给定一个状态就能计算出每种可能动作的奖励（确定值），但这种确定性的方法无法处理一些现实的问题，比如玩100把石头剪刀布的游戏，最好的解法是随机的使用石头、剪刀和布并尽量保证这三种手势出现的概率一样，因为任何一种手势的概率高于其他手势都会被对手注意到并使用相应的手势赢得游戏。再比如，假设我们需要探索上图中的迷宫拿到钱袋。如果采用基于值的方法，在确定的状态下将得到确定的反馈，因此在使用这种方法决定灰色（状态）方格的下一步动作（左或右）是确定的，即

2021-01-13 23:21:02 2886 1

原创投资组合理论的简单介绍

现代投资组合理论有很多分支，如：投资组合理论、资本资产定价模型、套利定价模型、行为金融理论以及有效市场理论等。这些理论改变了人们对资产管理的传统认知，促使现代的资产管理更系统化和更科学化的发展。1952年，经济学家Markowitz发表了《证券组合选择》，其中建立了均值–方差模型，并且对收益和风险进行了量化，从而确定了最优的资产组合基本模型。这项研究成果使现代金融理论的研究进入了一个崭新的阶段。不过它也存在一些缺陷：首先，大部分证券收益率都不满足正态分布；其次，用方差来度量风险，违背了投资者的风险心理；此外

2021-01-01 17:39:38 1176

原创还是别看学位论文

最近我实验室的一个组在做疫情预测的工作。效果还行，论文也写的差不多了。不过上面的老师说引的文章都太老了，让再加点新的。于是今天下午我就和大家一起看文献。之所以之前引的都比较老，主要是因为传染病预测这块分两派，一派是理论建模派，主要工具就是微分动力模型，一般医院等非数理统计背景的机构（包括新冠疫情这段时间网上那些“数学模型告诉你为什么呆在家里”）喜欢用这个，因为直接对接传染病理论，列几个微分方程就能求出函数来，十分清晰。缺点就是可能没什么用，因为现实里的很多复杂情况不是你加几个方程就能cover的了的。这

2020-07-01 12:54:05 665 1

原创 “自主可控”的正确姿势

Matlab被禁这件事可以算是引起轩然大波了。许多同学感觉这是被人卡了脖子，十分屈辱，认为手头在用的很多软件和库——比如Tensorflow、pytorch、Windows、编译器甚至程序语言本身也都岌岌可危，需要我们赶紧“自主研发”一个“可控”的替代品。事实真的如此吗？其实“Matlab被禁”和“Tensorflow被禁”是完全不同的问题。以后不能使用Matlab，指的是限时的商业授权，类似office365，即每年需要单独订阅，可以一直使用最新版。当限制使用之后就没办法继续订阅了，因此无法再合法使用

2020-06-21 02:53:56 1057

原创数据偏见的背后是什么

有人看了我之前写的那篇《让深度学习歇一会》，过来跟我说，我可以再写一篇《大数据带来的歧视》：基于大数据的业务越来越多，我们所遭受的歧视也越来越多，比如今天发现某银行对大专生的贷款利率是大学生的利率的1.5倍…………数据偏见其实是早就被谈烂的话题了，有一本书叫《算法霸权》，很多人应该都看过。这本书讲的就是数据偏见。我觉得这本书的观点有可取的地方，但是很少。一方面它只有几个立论，只是在用不同的论据、换不同的章节名翻来覆去来回说。另外就是它对“偏见”的归因有着一些问题，也我是今天想说的。为什么会有偏见？举

2020-06-19 22:26:51 1328 2

原创让深度学习歇一会吧

本来想写长文，但是这几天休息不好，就简单写了。几个月前我看到一篇“用深度学习解微分方程”的文章，号称“AI攻破高数，吊打Mathematica”，各大“AI媒体”大概都推送了，很多人应该也都知道。其实速度上吊打没什么稀奇的，毕竟神经网络的推断相当于是O(1)的，如果愿意，可以吊打任何算法（当然准确度就……）。关键是解微分方程的过程其实是一种形式推理，神经网络作为一个通过数据来拟合函数的方法，是如何能保证推理步骤的准确性的呢？于是下载看了一下那个文章，惊奇的发现它居然有一个表在拿自己和Mathematic

2020-05-25 03:01:03 1291 3

转载对疫情期间量化策略表现的看法

疫情期间，许多大型量化对冲基金就经历了史无前例的巨额亏损，比2007年8月的那次quant meltdown还要严重。许多久负盛名的基金甚至因为这次疫情引发的金融危机而破产了，比如oxford asset management, qt fund等等。这些大额亏损、甚至倒闭的量化基金，其策略都理应是“市场中性”的，也就是说，无论市场涨跌，其持仓都不受影响，即所谓beta为0。然而，为什么这次市场暴跌30%，这些市场中性的量化策略也随之亏损呢？举个例子，经济学上常见的单向lead-lag依赖关系，比如吉野家

2020-05-22 18:02:20 1683

原创什么是外生变量和内生变量

python的计量经济学包statsmodels中使用endog和exog作为数据参数的变量名，即在估计问题中使用的观测变量。在不同的统计软件包或教科书中经常使用的其他名称，例如endog/exog被叫做因变量(dependent variable)/自变量(independent variable)、y/x、left hand side(LHS)/right hand side (RHS)、回归变数(regressand)/回归量(regressors)、outcome/design、响应变量/解释变量。

2020-05-19 21:03:50 21195

原创 “非图灵完备”到底意味着什么

设计一个图灵非完备的编程语言。这件事情在外行人看来一点也不酷。就好比如果有人声称自己要做个“解决宇宙间一切计算问题的终极语言”，不管做得出来做不出来，总会有人把他奉若神明；也许很少有人意识到，只要有纸和笔，人人都是一台能解决任何计算问题的通用图灵机。自然，程序语言的可编程能力是纸带所无所比拟的：对于计算的规范化表述，高阶的数据抽象能力，丰富的类型系统，高度模块化及可重用性，等等。但，如果你不知道...

2020-04-30 02:34:43 3203

原创关系代数、SQL与逻辑式语言

“SQL其实是一种功能被极限阉割的逻辑式语言”我说这个话有很多人不懂，单纯会SQL的其实还好，但是上了数据库课程，学了“关系代数”之后，再面对这个问题就直接迷惑了。甚至一些原先还很懂逻辑和函数式语言的人，上完了数据库就像被洗了脑一样。最近在一些事情的逼迫下，我好好思考了一下这个问题，终于明白了“关系代数”能把那么多人洗脑的原因。首先我们要明确一点，“关系”也就是一阶逻辑中的“谓词”（如果你...

2020-04-30 02:15:15 898

原创 3D重建中的可视外壳(visual hull)

目前，人们主要通过三种方式来获取三维模型：利用传统几何造型技术直接构造模型利用三维扫描设备对真实物体进行扫描，进而重建出模型利用从各个视角拍摄的真实物体的多幅图像重建模型由图像重建三维模型技术又可分为两类：一类是通过多幅深度图像重建模型，另一类是通过多幅照片生成物体的可视外壳。Visualhull（可视外壳）是由Laurentini引入的有形状到轮廓的3D重建技术构建的几何实体...

2019-06-06 01:06:17 2623 1

原创浅谈华为EROFS文件系统的两个主要技术

EROFS(Extendable Read-Only File System)是华为最近发布的一个新的Linux文件系统，它是一个基于ROM的只读文件系统。目前已经并入内核主线4.19分支。该文件系统因为其所宣传的“可提升随机读写速度数倍”引起了业内外广泛关注。下面将从两个方向对该文件系统取得如此成效的原因进行解读。通过fixed output压缩缓解读放大问题一般存储器以4K为最小...

2019-06-05 13:52:11 10097

原创文件系统索引的数据结构——B-/+Tree

在使用文件时，操作系统需要通过文件名查找到文件的实际地址。建立索引数据结构可以有效加快这个查找过程。目前的文件系统及数据库系统普遍采用B-/+Tree作为索引结构。对于索引查找行为本身来说，如果全部数据都加载进了速度很快的内存，使用传统的二叉树作为索引也未尝不可。但因为索引数据太大，一般不能全部加载到内存。相对于内存存取，I/O存取的消耗要高几个数量级,索引的结构组织要尽量减少查找过程中磁盘I/O...

2019-06-05 00:37:16 2489 2

转载关系模型的实质

关系模型的实质每当我批评 SQL，就有人说我其实不理解关系模型，说关系模型本身并没有问题，所以现在我就来分析一下什么是关系模型的实质。其实关系模型比起逻辑式语言，基本就是个衍生产物，算不上什么发明。关系代数其实对应逻辑式语言里面的一个很小的部分——它的数据结构及其基本操作，只不过关系模型有更大的局限性而已。所以学会了逻辑式语言的设计之后，你直接就可以把关系模型这种东西想出来。每当谈到关系模型，...

2019-05-25 15:34:04 977

原创 Linux的实时任务调度

通用Linux系统支持实时和非实时两种进程，实时进程相对于普通进程具有绝对的优先级。对应地，实时进程采用SCHED_FIFO或者SCHED_RR调度策略，普通的进程采用SCHED_OTHER调度策略。在调度算法的实现上，Linux中的每个任务有四个与调度相关的参数，它们是rt_priority、policy、priority（nice）、counter。调度程序根据这四个参数进行进程调度...

2019-05-24 23:59:11 1182

转载浅谈流形学习

有时候经常会在 paper 里看到“嵌入在高维空间中的低维流形”，不过高维的数据对于我们这些可怜的低维生物来说总是很难以想像，所以最直观的例子通常都会是嵌入在三维空间中的二维或者一维流形。比如说一块布，可以把它看成一个二维平面，这是一个二维的欧氏空间，现在我们（在三维）中把它扭一扭，它就变成了一个流形（当然，不扭的时候，它也是一个流形，欧氏空间是流形的一种特殊情况）。所以，直观上来讲，一个流形好比...

2019-03-07 23:41:40 508

原创使用sympy进行表达式化简

符号运算系统最有用的一项特性就是数学表达式的化简。SymPy中有许多能够进行不同类型表达式化简的函数。其中，有一个通用的函数名为simplify，它能够试图以一种智能的方式应用这些化简函数，并最终得到表达式的最简形式。下面给出一个simplify的例子：>>> simplify(sin(x)**2 + cos(x)**2)1>>> simplify...

2019-01-23 17:30:23 21530 1

转载关于神经网络预训练的讨论

简单来说，预训练模型(pre-trained model)是前人为了解决类似问题所创造出来的模型。你在解决问题的时候，不用从零开始训练一个新模型，可以从在类似问题中训练过的模型入手。比如说，如果你想做一辆自动驾驶汽车，可以花数年时间从零开始构建一个性能优良的图像识别算法，也可以从Google在ImageNet数据集上训练得到的inception model(一个预训练模型)起步，来识别图像。一个预...

2018-10-14 13:47:31 2463 1

原创 constexpr：确定性的常量优化

从C++11开始，规定允许将变量声明为constexpr类型以便由编译器来验证变量的值是否是一个常量表达式。声明为constexpr的变量一定是一个常量，而且必须用常量表达式初始化。constexpr int a = 3; //3是常量表达式constexpr int b = a+1; //b是常量表达式constexpr int c = get_size(); //只有当get_siz...

2018-09-16 07:53:40 787

转载数据流分析初探

什么是数据流分析数据流分析是一种通过静态代码来“推断”程序动态执行的相关信息的技术，数据流分析并不真正执行程序。虽然数据流分析和符号执行在某些方面比较相似，但还是两种完全不同的概念，更确切的说数据流分析是符号执行的基础。数据流分析和符号执行从某些方面都很相似，例如符号执行有程序点（ProgramPoint）的概念，并且在当前程序点存储着程序运行到此刻的所有状态和值信息（一般情况下不会维护历史...

2018-09-15 16:50:46 4822

原创从莱斯定理出发看程序分析中的sound与complete

莱斯定理是计算理论中非常重要的结论，从它出发也可以明了的分析出针对图灵完备语言进行静态分析的理论上限。莱斯定理的定义是这样的：Let S be a set of languages that is nontrivial, meaningthere exists a Turing machine that recognizes a language in Sthere exists a T...

2018-09-15 16:03:02 2260

原创关于SMT问题的讨论

SAT问题作为世界上第一个被证明的NP完全问题，在先前的博文中已经介绍过。虽然许多形式验证问题都可以归结为SAT问题，但由于SAT问题只以命题逻辑公式为处理对象而没有量词，制约了其描述能力和抽象层次，同时也限制了SAT问题的应用。例如在RTL电路中，由于SAT求解器的抽象层次较低，用位级信息描述问题将丢失大量的逻辑，同时增加问题的规模和复杂性，导致结果不准确并且增加求解的空间与时间开销。而SMT问...

2018-09-07 21:08:22 2050

转载虚函数表长什么样

对C++了解的人都应该知道虚函数（Virtual Function）是通过一张虚函数表（Virtual Table）来实现的。简称为V-Table。在这个表中，主是要一个类的虚函数的地址表，这张表解决了继承、覆盖的问题，保证其容真实反应实际的函数。这样，在有虚函数的类的实例中这个表被分配在了这个实例的内存中，所以，当我们用父类的指针来操作一个子类的时候，这张虚函数表就显得由为重要了，它就像一个地图

2017-03-12 17:44:52 659

原创究竟什么是副作用

对于副作用的定义，各个语言的标准文档各有不同。如 C++定义一条语句有无可能产生副作用的条件是“是否修改对象，使用库 IO 操作，调用函数”。然而无论哪个语言的副作用定义，“对外部环境的修改”都是其中必不可少的一条。然而许多人并没有理解这条定义，私自扩展“外部环境”的外延，甚至认为“向屏幕输出”都会必然地产生副作用。下面对于“副作用”的概念，我将从两方面进行说明。“输出到屏幕”的归

2017-03-12 15:46:55 2283

原创 Rust的“并发安全”设计

昨天发了一篇说异步IO和轻量级线程的文章，有人问我为什么不在后面补充一下rust的并发模型。其实rust并不存在一个独特的并发模型，但它从语言层面上提供了一整套机制来保证并发的安全，借助这套机制，你可以安全的实现很多并发模型，如消息传递式、共享状态式、无锁式和纯函数式。昨天晚上我在群里和人讨论有关设计的话题，我觉得一个好的设计应当有两方面表现，一方面是符合直觉，也就是各个方面保证一致性以便使用者可

2016-08-26 16:03:41 5981

转载指针的资源管理之罪

在许多人眼里，指针的好处是对相同指针类型的指针值的不同的数值表示总可以找到不同的地址对应，这样就可以在整数算术和关系操作的基础上毫无额外代价地定义指针算术和关系操作；而指针上的操作符“*”抽象的正是间接寻址操作。这就是一些用户口中的所谓“接近底层”。这种简单直接实现的最大好处就是容易以非常小的代价生成针对特定体系结构的代码。不过因为意图不明的关系，使用指针的代码比使用其它更清晰的替代的

2016-08-25 21:08:39 746 1