- 博客(51)
- 收藏
- 关注
RSS订阅
原创 近来学习感悟（不定期更新）
首先总结一下最近学习的东西： STL较为常用的数据结构如Map、Set、Stack、String、List、Queue、Priority_queue的一些基础例子和用法（了解了部分的实现及底层） Coursera 上 Andrew Ng 教授的机器学习课程学到了第六周末尾，评测机器学习算法和解决常见问题如高偏差/高方差问题。 学到了一些排序算法的实现如简单桶排序、快速排序、冒泡排序等。...
2018-05-08 10:01:25
732
原创 《动手学深度学习》Task08：文本分类；数据增强；模型微调
Task08：文本分类；数据增强；模型微调1.文本分类文本情感分类文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络，来判...
2020-02-25 17:45:56
427
原创 《动手学深度学习》Task07：优化算法进阶；word2vec；词嵌入进阶
Task07：优化算法进阶；word2vec；词嵌入进阶1.优化算法进阶Momentum在 Section 11.4 中，我们提到，目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这...
2020-02-25 14:04:30
426
原创 《动手学深度学习》Task06 ：批量归一化和残差网络；凸优化；梯度下降
Task06 ：批量归一化和残差网络；凸优化；梯度下降1.批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）的作用利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接...
2020-02-25 10:23:28
462
原创 《动手学深度学习》Task04 ：卷积神经网络基础；leNet；卷积神经网络进阶
Task04 ：卷积神经网络基础；leNet；卷积神经网络进阶1.卷积神经网络基础下面是一些卷积神经网络的基本概念：二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该...
2020-02-18 17:03:58
274
原创 《动手学深度学习》Task04 ：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
Task04 ：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer1.机器翻译及相关技术机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。步骤：1.读取数据2.数据预处理3.分词：将字符串变成单词...
2020-02-18 15:14:09
332
原创 《动手学深度学习》Task03 ：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
Task03 ：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶1. 过拟合、欠拟合及其解决方案训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来...
2020-02-17 23:03:22
389
原创 《动手学深度学习》Task02 文本预处理；语言模型；循环神经网络基础
Task02：文本预处理；语言模型；循环神经网络基础1.文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：（1）读入文本例：我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。import collectionsimport redef read...
2020-02-13 22:14:20
284
原创 《动手学深度学习》Task01线性回归；Softmax与分类模型、多层感知机
首先感谢伯禹教育、Datawhale、和鲸科技和各位志愿者给我们的这个机会来组织大家一起学习，本次学习的内容是《动手学深度学习PyTorch版》。Task01：线性回归；Softmax与分类模型、多层感知机1.线性回归： ** **线性回归的基本要素：**模型：对于线性回归，我们需要确定其模型，我们初设为输出与各个输入之间是线性关系，确定了模型之后再来确定模型的参数。数据集：我...
2020-02-13 17:16:09
411
原创 决策树优化及回归树
学习打卡内容： 阅读《李航统计学习方法》的65-74页 学习Gini指数 学习回归树 剪枝 前面任务八里面我们已经了解到策树以及决策树的几种算法如 ID3算法 C4.5算法 我们已经了解，在生成了决策树之后，可能发生过拟合现象，我们需要对已经生成的树自下而上进行剪枝，将树变得更简单，从而使它具有更好的泛化能力。具体来说，就是去掉过...
2019-06-20 18:53:03
883
原创 决策树算法
学习打卡内容：理解决策树以及决策树的几种算法 总结决策树模型结构 理解决策树递归思想 学习信息增益 学习信息增益率 学习ID3算法优缺点 学习C4.5算法优缺点 理解C4.5算法在ID3算法上有什么提升 学习C4.5算法在连续值上的处理 学习决策树如何生成 代码实现决策树 划分数据集代码 选择最好的数据集划分方式代码 创建树的函数代码 ...
2019-06-08 17:18:45
492
转载 Jupyter Notebook 快捷键（转）
Jupyter Notebook 快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter: 转入编辑模式 Shift-Enter: 运行本单元，选中下个单元 Ctrl-Enter: 运行本单元 Alt-Ente...
2019-06-06 15:41:49
170
原创 决策树熵公式推导
学习打卡内容：学习Datawhale对《李宏毅机器学习》决策树章节补充的内容：Additional References(熵的理解) 个人需得推导其中的公式，对熵的概念理解透彻 计算负责人提供的数据集的shangnonEnt 2 熵考虑另一个问题，对于某个事件，有nn种可...
2019-06-05 12:25:23
1358
原创 逻辑回归基础
学习打卡内容：观看李宏毅机器学习P9 推导LR损失函数(1) 学习LR梯度下降(2) 利用代码描述梯度下降(3) Softmax原理(4)softmax损失函数(5)softmax梯度下降(6)视频部分核心知识点：LR（LogisticRegression）损失函数与梯度下降公式推导：梯度下降公式推导：Soft...
2019-06-03 17:46:49
240
原创 贝叶斯公式、逻辑回归与线性回归
学习打卡内容： 从基础概率推导贝叶斯公式，朴素贝叶斯公式 先验概率与后验概率 学习LR和linear regreeesion之间的区别 推导sigmoid function公式 李宏毅机器学习P8部分截图一、贝叶斯以及朴素贝叶斯公式推导二、先验概率与后验概率先验概率是指根据以往经验和分析得到的概...
2019-05-25 19:04:13
842
原创 机器学习基础概念
任务目录：理解偏差和方差学习误差为什么是偏差和方差而产生的，并且推导数学公式过拟合，欠拟合，分别对应bias和variance什么情况学习鞍点，复习上次任务学习的全局最优和局部最优解决办法有哪些梯度下降学习Mini-Batch与SGD学习Batch与Mini-Batch，SGD梯度下降的区别如何根据样本大小选择哪个梯度下降(批量梯度下降，Mini-Batch）写出SGD和Mi...
2019-05-17 15:31:54
300
原创 机器学习入门之基础概念及线性回归
任务目录什么是Machine learning学习中心极限定理，学习正态分布，学习最大似然估计推导回归Loss function学习损失函数与凸函数之间的关系了解全局最优和局部最优学习导数，泰勒展开推导梯度下降公式写出梯度下降的代码学习L2-Norm，L1-Norm，L0-Norm推导正则化公式说明为什么用L1-Norm代替L0-Norm学习为什么只对w/Θ做限制，不对b...
2019-05-13 09:47:14
328
原创 python基础任务六 打卡
任务六 时长：2天啥是佩奇代码复现参考链接：https://mp.weixin.qq.com/s/whtJOrlegpWzgisYJabxOg https://www.cnblogs.com/nowgood/p/turtle.htmlpython2.6版本中后引入的一个简单的绘图工具，叫做海龟绘图(Turtle Graphics),tur...
2019-04-11 12:46:36
279
原创 python基础任务五 打卡
任务五 时长：2天1.filea.打开文件方式（读写两种方式）open() 方法Python open() 方法用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。open() 函数常用形式是接收两个参数：文件名(f...
2019-04-09 15:58:14
234
原创 python基础任务四 打卡
任务四 时长：1天1. 函数关键字函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。函数代码块以def关键词开头，后接函数标识符名称和圆括号()。 任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。 函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。 函数内容以冒号起始，并且缩...
2019-04-06 09:52:22
209
原创 python基础任务三 打卡
任务三 时长：2天1. dict字典a. 定义字典是另一种可变容器模型，且可存储任意类型对象。字典的每个键值key=>value对用冒号:分割，每个键值对之间用逗号,分割，整个字典包括在花括号{}中 ,格式如下所示：b. 创建访问字典元素就是字典名加方括号里面写要访问的键（key）键一般是唯一的，如果重复最后的一个键值对会替换前面的，...
2019-04-05 19:49:16
228
原创 python基础 任务二 打卡
任务二 时长：2天1.Python列表(List)序列是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。Python有6个序列的内置类型，但最常见的是列表和元组。序列都可以进行的操作包括索引，切片，加，乘，检查成员。此外，Python已经内置确定序列的长度以及确定最大和最小的元素的方法。...
2019-04-02 23:16:44
251
原创 python基础任务1打卡
任务一 时长：2天1. 环境搭建a) anaconda环境配置我是在Mac 环境下直接下载安装的Anaconda，（因为是很久之前装好的，所以这里给出一些截图） b) 解释器这里用的是Pycharm，两种Python解释器：Python3.6与python2.72. python初体验 a)print and input3. python...
2019-03-31 11:44:07
297
原创 更改jupyter 代码字体大小及自动补全
以前总觉得jupyter的界面不美观，也没有自动补全，找了很久终于解决了这个问题。 首先说自动补全： 操作步骤： 1.通过anconda navigator界面，选择environments，选择对应环境名，选择open terminal。 2.安装nbextensionspip install jupyter_contrib_nbexten...
2019-01-19 10:17:19
10187
2
原创 机器学习实战——KNN学习笔记
K近邻算法概述：K最近邻(k-Nearest Neighbor，以下简称KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。(来自百度词条）利弊分析：KNN 是分类数据最简单最有效的算法，他的核心思想是基于实例的学习，使用时我们必...
2018-11-17 12:19:22
448
原创 2018AI开发者大会参会感悟
2018AI开发者大会参会感悟 首先是八点多就到了会场，然后感受了一下诺金九点的豪华之后就进入了主会场。大会刚开始以后主持人的声音非常好听，第一位亚马逊首席科学家Nikko Storm 介绍的是深度学习在亚马逊Alexa中的应用，然后通过一些视频的介绍让我们很好的感受到了Alexa的智能，当然全程是英文，还是听懂了的。接...
2018-11-11 14:07:18
913
1
原创 POJ 1581 优先队列题解
POJ1581竞赛决定 问题描述：判断编程竞赛是一项艰苦的工作，要求参赛者、单调乏味的决定和单调乏味的工作。更不用说12小时内只吃甜甜圈、比萨饼和苏打水作为食物的营养问题了。不过，这也会带来很多乐趣。自动化评判过程的软件是一个很大的帮助，但是众所周知的一些竞赛软件的不可靠性使人们希望有更好的东西可用。您是试图基于模块化设计原理开发更好、开源、竞赛管理软件的团队中的一员。你的组件...
2018-09-20 12:28:54
367
原创 改革春风吹满地
“ 改革春风吹满地, 不会AC没关系; 实在不行回老家， 还有一亩三分地。 谢谢!（乐队奏乐）” 话说部分学生心态极好，每天就知道游戏，这次考试如此简单的题目，也是云里雾里，而且，还竟然来这么几句打油诗。 好呀，老师的责任就是帮你解决问题，既然想种田，那就分你一块。 这块田位于浙江省温州市苍南县灵溪镇林家铺子村，多边形形状的一块地，原本是linle 的，现在就准备送给你了。不过，任何...
2018-07-18 15:49:23
1007
原创 汇编语言debug参数使用
最近在学习汇编语言，debug指令经常用到，所以有必要对各个指令做一个总结加深理解和记忆。（针对8086） Debug调试程序是以DOS外部命令程序形式提供的，它的文件名为Debug.com 。如果你使用的是windows系统，那么如果是32位的电脑，一般都自带有debug调试工具，而64位的一般没有自带这个工具，需要自己进行安装。XP系统暂时不作介绍，读者可以参照我介绍的方法...
2018-06-13 10:18:39
727
转载 凸优化和非凸优化
数学中最优化问题的一般表述是求取，使，其中是n维向量，是的可行域，是上的实值函数。 凸优化问题是指：是闭合的凸集且是上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。 其中，是 凸集是指对集合中的任意两点，有，即任意两点的连线段都在集合内，直观上就是集合不会像下图那样有“凹下去”的部分。至于闭合的凸集，则涉及到闭集的定义，而闭集的定义...
2018-05-21 20:45:10
12616
转载 STL基本使用方法总结及一些补充
（Hint：如果在main函数中定义STL的话会比较费时间，对于某些题目来说会超时，所以一般将STL定义为全局变量，这样的话快很多~）一、vector向量容器头文件#include <vector>1.创建vector对象（1）不指定容器大小vector<int> V;（2）指定容器大小vector<int> V(10);（3）指定容器大小和初始值vector&...
2018-05-05 09:50:31
391
转载 监督学习和无监督学习
机器学习定义 机器学习是人工智能的一个分支，目标是赋予机器一种新的能力。（专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。）机器学习的应用很广泛，例如大规模的数据挖掘（网页点击数据，医疗记录等），无人驾驶飞机、汽车，手写手别，大多数的自然语言处理任务，计算机视觉，推荐系统等。 机器学习有很多定义，广为人知的...
2018-05-04 17:33:33
488
原创 随机数生成并写入文件（C实现）
#include <stdlib.h> #include <stdio.h> #include <time.h> //生成随机数列 int write() { int i,j; FILE *pf = NULL; int a1[50],a2[50]; srand((unsigned)time...
2018-04-14 14:56:18
4835
原创 第九届蓝桥杯省赛C/C++A组竞赛实战感受
本来是抱着试一试的心态去的，今年是大二下，之前放了寒假，在家里也有一些学习，参加了哈尔滨理工大学的网络算法培训，讲了非常多的东西，比如基本的广搜深搜动规贪心回溯当然还有最简单的暴力，以及一些图论基础知识和算法比如普利姆特鲁斯卡尔算法，以及一些定理（在这里还是要感谢各位讲课的小哥哥们和老师）。 回归正题，带着一颗平静的心去参加的比赛，我本来想着是做三道小题就算完成自己的目标了，然后花...
2018-04-02 15:42:11
1056
转载 树的三种存储结构（转）
出处为： http://blog.csdn.net/smile_from_2015/article/details/636876966.2树的定义之前我们一直在谈的是一对一的线性结构，可现实中，还有很多一对多的情况需要处理，所以我们需要研究这种一对多的数据结构----"树"，考虑它的各种特性，来解决我们在编程中碰到的相关问题。树(Tree)是n(n>=0)个结点的有限集。n=0时称为空树。在...
2018-03-15 15:10:58
449
原创 回溯法求八皇后问题
本算法将第第x行皇后的列编号记为C[x]，回溯求符合条件的tot，递归边界为从0到7（八皇后），皇后为逐行放置，cur-C[cur] == j-C[j] || cur+C[cur] == j+C[j]判断皇后是否在同一对角线上话不多说，直接上代码：#includeint tot=0,n=8,C[10];void search(int cur){ int i,j; if(cur ==
2018-01-08 09:28:46
271
转载 Linux常用命令（转载）
常用指令ls 显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录，包括隐藏的a(all)mkdir 创建目录 -p 创建目录，若无父目录，则创建p(parent)cd 切换目录touch
2017-11-13 15:36:19
255
原创 一步步深入Java底层原理（四）
Java对象的创建：在创建对象时通常只是一个new关键字，但是Java虚拟机首先会检查参数是否能在常量池中定位到一个类的符号引用，并检查这个类是否已经被加载，解析和初始化过，如果没有，那么必须先执行类的加载。类的加载、连接、初始化三个步骤：1.类的加载将类的Class文件读入内存中，并为之创建一个java.lang.Class对象。2.类的连接：连接阶段负责将类
2017-08-22 10:23:29
782
转载 一步步深入Java底层原理（三）
ArrayList的实现原理：1. ArrayList概述： ArrayList是List接口的可变数组的实现。实现了所有可选列表操作，并允许包括 null 在内的所有元素。除了实现 List 接口外，此类还提供一些方法来操作内部用来存储列表的数组的大小。 每个ArrayList实例都有一个容量，该容量是指用来存储列表元
2017-08-21 09:05:12
1310
转载 JSP转译成Servlet详细过程
JSP转译成Servlet详细过程： JSP是Servlet的扩展，在没有JSP之前，就已经出现了Servlet技术。Servlet是利用输出流动态生成HTML页面，包括每一个HTML标签和每个在HTML页面中出现的内容。 由于包括大量的HTML标签、大量的静态文本及格式等，导致Servlet的开发效率极为低下。所有的表
2017-08-17 20:26:47
604
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人