- 博客(215)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 概率图模型(总结篇)
今天我们对概率图模型（Probabilistic Graphical Model，PGM）做一个总结。模型表示 概率图模型，是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型...
2021-01-21 07:30:00
12502
7
原创 统计机器学习（总结篇）
2020.08.01~2020.11.18，历经110天，我们把频率学派发展起来的统计机器学习章节全部介绍完毕。本文我们做一个总结。频率学派最基础、最核心的模型是线性回归，这也是为什么绝...
2020-11-18 22:00:00
768
原创 大规模优化方法（一）
迄今为止，我们介绍的优化算法都是从整体性出发，搜索全局最优点。而且大多数都是从一个初始可行解出发进行的（分支定界搜索从某种意义上可以说不是）。换句话，这些算法都是直接求解。但一些问题过于复杂，要优化的变量实在过多，规模庞大，以至于没办法从整体考虑入手。今天我们介绍间接求解的算法，将原问题分解成多个足够简单、可以单独迭代直接求解的子问题（subproblem），伴随的主问题（master probl...
2023-04-08 22:30:18
945
原创 离散优化的启发式迭代算法
本章介绍一些重要的、严格意义上真正的启发式算法。话不多说，进入正题。1构造型启发式算法第一类启发式算法是构造型搜索（constructive search）算法。它通常从每一个自由决策变量的离散分量开始，在每次迭代中，在当前决策解固定情况下，一个先前自由的变量固定为一个可行值。在最简单的情况下，当没有自由变量存在时，搜索过程停止。构造型搜索的主要难点在于如何选择下一个待固定的自由变量并且确定它的值...
2023-04-01 23:50:21
905
原创 离散优化的精确求解方法
在上一篇我们列举了各式各样的整数与组合规划模型。一些是含离散约束的线性规划，一些是含整数变量的线性规划，还有一些是连续与整数组合的非线性规划。这些模型的求解方法也极为丰富，今天我们介绍精确优化（exact optimal）方法。传送门：离散优化模型1全枚举法求解如果一个模型只有少数离散变量，最有效的求解方法往往也是最直接的：列举出所有可能。这个称为全枚举法（total enumeration），它...
2023-03-19 20:34:17
1822
1
原创 离散优化模型
最短路及动态规划、网络流模型的决策变量被建模为离散变量，我们仍可以优雅解决这些问题。但现实中还有很多场景无法建模为这种特殊的离散模型。绝大多数的整数及组合优化模型实际上更有挑战性。今天这一篇我们对离散模型做个整体介绍，一共七种场景。1块状/批量线性规划及固定成本一大类离散优化问题是在线性规划基础上加上非此即彼的边际约束或目标函数。我们把这类问题叫做块状/批量线性规划（lumpy linear pr...
2023-03-12 18:00:35
1091
原创 网络流与图（四）
针对网络流模型的应用我们继续延申更多的变种，学习更多现实案例的应用。传送门：网络流与图（一）网络流与图（二）网络流与图（三）1最大流与最小割运输与分配问题是只有源集与汇集的特殊网络流模型，与之延申的还有一类特殊情景——最大流与最小割问题。我们先给定义，一个给定有向图G(V,A)上的最大流(max flow)问题即找到一个特定源节点s和一个特定汇节点t之间的最大可行流,要求满足其他所有弧上的流守恒条...
2023-03-04 23:40:52
1547
原创 网络流与图（三）
经过两篇文章的篇幅，我们介绍了最小费用网络流模型以及解决的算法。今天我们介绍网络流模型的现实应用案例，并针对一些特殊的情景提出更高效的解决算法。传送门：网络流与图（一）网络流与图（二）1运输与分配问题运输问题是特殊的最小费用网络流模型，其中每个节点都是一个纯供给节点（所有弧都指出）或一个纯需求节点（所有弧都指入）.它的标准形式可以表示为：举个贴近现实的例子——海军调动运输问题。美国海军兵团的军官调...
2023-02-25 21:00:55
492
原创 网络流与图（二）
上一节我们讲到了退化圈方向搜索算法，它能得到全局最优解。然而算法运行过程中需要选择一个可行改进圈方向，对于一个大型网络流来说，这并非容易的。我们需要找到在每次循环中确认可行改进圈方向或者证明不存在的方法。我们现在就来探讨这个问题传送门：网络流与图（一）1最优流消圈算法首先，我们需要定义残留有向图（residual digraph）：举个例子，对于下面弧上数字表示费用、容量和流量的网络图，构建的残留...
2023-02-18 16:00:54
484
原创 网络流与图（一）
线性规划问题是运筹学最基本的问题，我们已经学过不少的解决方法，今天继续学习针对线性规划问题的另一种高效算法——网络流问题（network flow problem）1网络流模型为了更好介绍该算法来龙去脉，与以往一样，从案例切入——最优炉（OOI）最优炉股份有限公司（OOI）在位于威斯康星州和阿拉巴马州的工厂制造家用烤面包炉。制成的炉子会由火车运输到OOI位于孟菲斯和匹兹堡的两个仓库之一，而后被分销...
2023-02-10 23:30:42
1872
原创 定积分的概念及可积条件
微积分是高等数学的核心，包含微分和积分。前面几篇我们介绍了微分及其逆运算——不定积分（严格来说，不定积分属于微分模块）。传送门：微分与导数不定积分今天开始，我们进入积分模块。还是老样子，先从例子开始。1利用初等数学可以求出一般规则图形的面积，比如圆，正多边形等。如果要求曲线围成的面积，就需要用到高等数学的思想。比如下面一个例子：要求抛物线与x轴围成的面积(0<x<1)，用初等数学显...
2022-12-04 20:30:06
2513
原创 单纯形法的补充与代码实现
线性规划中，我们介绍了三种求解算法——单纯形法、对偶理论和内点法。传送门：线性规划之单纯形法线性规划的对偶理论线性规划之内点法其中单纯形法要建立在标准型上，并且开始迭代要求有一个基本可行解。如果系数矩阵A规模较大，有时候比较难找到初始可行解。这时候需要用人工手段增加变量，来找到初始可行解。具体方法为：通过从每个约束行中选取系数在对应列向量中唯一非零，而且系数符号与右边项一致的变量作为基变量，可...
2022-12-03 17:00:40
1050
原创 最短路与动态规划（三）
1.动态规划可用项目管理上，形成项目网络图2.序贯决策需要注意准确定义阶段（stage）与状态（state）3.整数规划问题也用动态规划思想解决前两篇我们介绍了最短路问题的模型以及求解的算法，今天我们对最短路问题进一步扩展，讨论一下这种思想还可以应用到什么场景中。传送门：最短路与动态规划（一）最短路与动态规划（二）1CPM项目网络项目管理是现实中常见的企业工作，为了对项目进行有效的计划和控制，我们...
2022-11-12 15:30:41
466
原创 最短路与动态规划（二）
1.一对多的无负权环路最短路问题可使用贝尔曼-福特算法求解2.多对多的无负权环路最短路问题可使用弗洛伊德-瓦尔肖算法求解3.迪杰斯特拉算法适用于一对多且路为非负的最短路问题4.一对多的无环有向图也有最高效的算法继上一篇最短路问题，我们介绍几种利用动态规划思想开发的算法。传送门:最短路与动态规划（一）1一对多最短路算法先介绍第一个无负权环路的最短路算法，由贝尔曼（R.E.Bellman）和福特（L....
2022-11-06 16:30:56
313
原创 最短路与动态规划（一）
运筹学有时候面临的一种场景是求最短路（shortest path）问题：比如城市交通的网络设计，芯片的表面设计等。解决这类问题常用离散动态规划（discrete dynamic）方法。今天我们就来学习这种场景以及解决的算法。1抽象为模型我们用三个与现实场景十分相似的例子来介绍模型以及相关术语。利特尔维尔交通规划假设你是利特尔维尔城市的交通工程师，下图是该城市的市区街道规划图，图中标注了道路是单行道...
2022-11-05 21:30:34
679
原创 有理函数的不定积分
1.初等函数的不定积分不一定是初等函数2.有理函数的不定积分一定是初等函数,可以被积出来3.部分无理函数通过变量代换可以转化为有理函数至此，我们可以利用线性性质、换元积分和分部积分方法求解不定积分，但并非所有的不定积分都能被求解。比如下面的不定积分就无法求解：自然而然的，我们想要研究什么形式的不定积分是可以求解的。我们知道，不定积分和求导是互为逆运算，因为基本初等函数导数都是可求的，而初等函数是基...
2022-10-03 12:00:44
4037
原创 线性规划之内点法
1.内点法是在可行域内部进行搜索，最后收敛到最优解边界2.常用的内点法有仿射尺度法、对数障碍法和原始对偶法线性规划（LP）问题除了用单纯形法和对偶理论来求解，还有一种搜索的解法——内点法（interior point method），它是在可行域内部移动。今天我们来学习三种内点法，包括：仿射尺度法（affine-scaling），对数障碍法（log-barrier）和原始对偶法（primal-du...
2022-10-01 20:30:05
6447
原创 线性规划的对偶理论
1.理解LP问题的对偶变量含义2.熟悉LP规划模型的定性和定量灵敏度分析3.原问题与对偶问题是看同一个问题的不同视角4.强对偶性是KKT条件成立是充分必要条件5.掌握对偶单纯形法的详细流程，并体会与单纯形法的差异线性规划（LP）是最基础的运筹优化模型，我们已经对它有了初步的认识，并学会了第一种求解方法——单纯形法。今天，我们进一步分析它，考虑模型结果对输入参数或常量变动的灵敏度。我们要用到一个新的...
2022-09-10 22:30:22
2720
原创 线性规划之单纯形法
1.单纯形法建立在标准型线性规划上2.标准型线性规划其最优解必定在可行域顶点上3.单纯形法是在顶点上搜索最优解4.掌握修正单纯形法的迭代步骤上一篇我们把搜索算法的逻辑做了详细介绍，并且得到了一个结论：具有线性目标和凸可行集的优化模型，局部最优解就是全局最优解。而约束条件决定了可行域的性质，自然而然的我们想研究一下可行域是凸集的最简单条件，有下面的原理：如果优化模型的所有约...
2022-07-30 22:30:06
6239
原创 搜索理论基础
1.搜索算法是一种邻域算法，通常是局部最优点2.最佳步长沿着可行改进方向最大程度改进目标值，并保持可行的距离3.梯度信息提供了一个改进方向的代数检验方法4.凸可行集与线性目标保证了全局最优点5.3A算法是最基础的搜索算法上一篇我们介绍了“如何搭建运筹学模型”的核心思想，并介绍了运筹学模型的分类。但没有提及求解模型的方法，今天我们就针对“如何求解运筹学模型”做个综述，以后会...
2022-07-16 21:00:24
734
原创 分部积分
1.分部积分是不定积分运算的第三种常用方法2.熟悉分布积分法的常用情形3.线性性质、换元积分和分布积分是三种计算不定积分的常用方法前两篇我们介绍了不定积分的线性性质和换元积分法，包括第一类换元积分和第二类换元积分，今天我们继续介绍另外一种积分运算方法——分部积分法分部积分法的原理很简单，利用微分的运算得到：这就是分部积分法的公式。该公式表明，若被积函数v关于积分变量u的不...
2022-07-04 00:00:36
19016
2
原创 换元积分
1.换元积分法包括第一类换元积分和第二类换元积分2.深入理解换元积分法推导的前因后果以及公式应用上一篇我们介绍了基本的不定积分公式，以及利用不定积分的线性性质求解稍微复杂的式子。今天我们继续介绍别的方法——换元积分法。1第一类换元积分法换元积分法有两类，先介绍第一类换元积分法：这里的证明是严格的，但是我们也有另外一种证明，它在逻辑上是不通的，但是在应用上是可以的，为什么这...
2022-07-03 14:30:32
1056
原创 不定积分
1.不定积分与导数是互逆概念2.不定积分表示的是一系列函数族，不是特指某一个函数3.不定积分具备线性性质1微分与积分互为逆运算。微分我们已经介绍过， 从这一篇开始，我们就进入积分的内容介绍。首先是不定积分，我们先定义原函数概念：可见,一个函数的原函数若存在,则它原函数有无穷多个,这些原函数是一个簇，它们任意之间相差一个常数.我们引进不定积分概念:这里需要强调的有三点，第一...
2022-07-02 12:00:24
1685
1
原创 方程近似解问题
1.能得到精确解的方法成为解析方法,比如典型的抛物线的根2.伽罗瓦理论表明,一般的一元5次以上方程没有根式解3.得到方程的近似解方法称为数值方法,最简单的是二分法4.牛顿迭代法是数值方法的一种，它利用切线进行快速收敛于零点从初中开始，我们就开始接触解方程，最简单的方程是一元二次函数，根据求根公式即可：这种求解出来的根是精确的，我们又称这种能得到精确解的方法为解析方法。这个...
2022-06-19 07:30:38
867
原创 微分应用问题
1.利用一阶和二阶导数与函数性质可以判定函数极值问题2.利用微分一阶形式不变性可以解常微分方程3.函数作图要准确反应其拐点、单调性、极值点和凹凸性1极值问题与最值问题在微分中值定理第二篇我们提到了极值的概念，今天我们进一步归纳其极值问题——极值点的判定定理。第一点无需证明，结论显然，我们只证明(2)：注意：根据上面的证明逻辑,若二阶不可判定,可以展开到更高阶进行判定。我们...
2022-06-18 18:00:55
253
原创 泰勒公式（二）
上一篇我们介绍了泰勒公式以及它的证明过程，今天我们来看看一些常用函数的泰勒公式。首先回顾一下：1 对于零点处的泰勒公式，我们又称为麦克劳林公式：通常情况下，我们只研究函数的麦克劳林公式，因...
2022-03-19 15:30:00
3728
原创 泰勒公式（一）
1.掌握带皮亚诺余项与带拉格朗日余项的泰勒公式的区别2.掌握插值多项式的余项定理的推导方法对于比较复杂的函数，直接研究是非常困难的，因此我们希望通过一些等价的方式来研究它。截至目前，我们学...
2022-03-12 14:00:00
1906
原创 L'Hospital法则
1.L'Hospital法则利用柯西中值定理证明2.该法则适用f与g同时为无穷小量或g为无穷大量的情况3.注意该法则只给出了充分不必要条件今天我们介绍一种函数求极限的方法——L'Hospi...
2022-03-06 15:00:00
6618
原创 运筹学开篇
1.运筹学最重要的三个维度是决策、约束和目标2.约束条件分为主约束与变量类型约束3.理解可行域、可行解和最优解4.掌握大型优化模型的搭建方法——标引符号5.优化模型从方程和决策变量角度可分...
2022-03-05 19:30:00
1453
原创 微分中值定理（三）
1.Jensen不等式是下凸函数性质的推广2.柯西中值定理是拉格朗日中值定理的推广上一篇我们介绍了利用拉格朗日中值定理证明导数与单调性、导数与凹凸性的关系。今天我们继续介绍下凸函数的推广和...
2022-02-28 00:00:00
403
原创 微分中值定理（二）
1.可导函数单调增加的充要条件是其导函数大于等于0，单调减少的充要条件是其导函数小于等于02.下凸函数是弦在曲线的上方，上凸函数是弦在曲线下方3.下凸函数的充要条件是二阶导函数大于等于0，...
2022-02-27 16:30:00
1086
原创 微分中值定理（一）
1.极值是局部概念，表达了函数在局部区域的最值2.费马引理表达了若函数在极值点可导，则导数为03.而导数为0的点不一定是极值点，极值点也可能为导数不存在的点4.拉格朗日中值定理表达了函数至...
2022-02-26 19:00:00
4957
原创 导数的运算（二）
1.一阶微分具有形式不变性,高阶微分不具备该性质2.隐函数求导可利用微分法和复合函数求导法求解导数3.利用Leibniz公式可以求解高阶导数的乘积问题1一阶微分的形式不变性对于一元可微函数...
2022-02-20 20:00:00
1857
原创 导数的运算（一）
我们花两篇文章来介绍函数的导数运算，包括导数四则运算，复合函数求导法则，反函数和隐函数求导，以及高阶导数。1导数也是一种函数极限，因此满足极限的四则运算。进一步，我们想探讨原函数的四则运算...
2022-02-19 14:30:00
387
原创 微分与导数
1.微分表达自变量增量与因变量增量的线性关系2.可微必连续，连续不一定可微3.可微必可导，对一元函数，可导必可微4.导数不存在的点不代表切线不存在有了数列极限、连续函数的基础，我们可以进去...
2022-01-27 22:00:00
1120
原创 无穷小量与无穷大量的阶
1.无穷量可分为高阶无穷，同阶无穷和等价无穷2.等价无穷小是同阶无穷小的特殊情况,等价无穷大是同阶无穷大的特殊情况3.任何x阶数都是一个无穷小量的高阶无穷小，则这个无穷小记为o(1)4.两...
2022-01-23 16:00:00
14660
4
原创 连续函数（五）
1.一致连续是比连续要求更严格的概念，核心是ε-δ语言中的δ适用函数所定义的区间上所有x,即δ与x无关2.这样的δ是取每个x最大的(或上确界)δ集合的下确界3.一致连续是连续的充分非必要条...
2022-01-21 23:00:00
2598
原创 连续函数（四）
1.闭区间上的连续函数必定有界,必存在最大最小值,且值域为最小最大值构成的区间2.若闭区间连续函数两端点异号，则必存在使函数值为零的点3.不动点是一点经过映射后仍为自身的点今天介绍关于连续...
2022-01-19 22:30:00
2365
1
原创 连续函数（三）
1.严格单调函数必存在反函数2.连续函数的反函数若存在，则反函数在定义域内必连续3.连续函数的复合函数在定义域内也是连续的4.一切初等函数在其定义域上连续1我们在映射中介绍过逆映射：传送门...
2022-01-07 22:30:00
1521
原创 连续函数（二）
1.间断点是函数不连续的点，包括：左右极限存在且相等，左右极限存在但不等，左右极限至少有一个不存在2.左右极限相等但不等于该点函数取值或函数在该点无定义为可去间断点3.左右极限存在但不相等...
2022-01-04 21:30:00
1518
协同过滤ItemCF相似度矩阵归一化的一个问题
2021-07-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人