第二剑~的博客

原创 损失函数与准确率的关系

损失函数值变小的变化趋势反应了相应准确率变大的趋势，但是当损失函数值变大时，相应的准确率不一定变大。为什么？

原创 Faster R-CNN手绘流程

转载 深度学习中L2 norm的使用

L2 norm其实是一个比较朴素的应用比较广泛的正则化算法，从过去的传统算法到现在的深度学习，从数据预处理到模型优化，都或多或少的会用到这个思想。其算法的过程也比较简单：1.求出当前层数据的平方2.求出当前层数据的平方和3.将第一步得到的数据除以第二步得到的数据这样一个简单的过程，会有什么作用呢？首先，经过L2 norm的数据都处于0到1之间。其次，经过L2 norm的数据之间的差异...

原创 HIERARCHICAL MULTISCALE RECURRENT NEURAL NETWORKS 论文简介

学习层次和时间表示一直是RNN的长期挑战之一。多尺度RNN一直被认为是能够解决这个问题的一种有效方式，但是缺乏经验证据表明这种方式可以通过发现序列中的潜在层次结构准确地解决时序依赖问题。而这篇论文提出了一种新颖的结构，可以通过使用新颖的更新机制和不同的时间尺度来编码时序依赖解决潜在的层次结构问题，并且没有使用明确的边界信息。已知深度CNN可以获得空间数据的层次表示，RNN可以获得时序数据时间表...

原创 SVM支持向量机(硬间隔最大化)对偶问题求解全过程（数学推理过程）

原创 在SVM中为什么成比例改变w和b，分离超平面并没有发生改变

分离超平面是存在于特征空间里面的，假设特征空间是n维的。当我们成比例改变w和b的时候，wx+b的值确实也会成比例增加，但是这个值的改变发生在第n+1维，对存在于第n维特征空间的分离超平面没有被改变。这也解释 了为什么在优化的时候可以将函数间隔设置为1的问题。...

原创 从哲学角度分析过拟合现象

我们制定策略就是在制定评价准则，那么什么样的评价准则才能很好的表现模型的好坏呢？当进行图片分类任务时，已知的是图片X和图片所属的类别Y，选择模型f进行预测f(X),我们期望的是Y和f(X)的差别很小，这个差别称为损失，学习的目标就是选择期望损失最小的模型。期望损失是定义在X,Y的联合分布上的，而联合分布是未知的，所以期望损失无法求得。根据大数定律，我们知道当训练样本足够多时，经验损失是趋于...

原创 统计机器学习综述

#记录学习心得一、什么是机器学习（统计学习） 统计学习就是根据数据来构建概率统计模型并用该模型对数据进行预测与分析。那么其中可以看出，数据是基础，目的是对数据进行预测与分析。 根据定义可以提出几个问题：需要什么样的数据？构建什么样的模型？以什么方法构建？如何评价构建出来的模型的好坏？ 1、需要什么样的数据 需要的数据必须是同类的，统计学习的...

原创 减少过拟合的方法—正则化及其原理

  成本函数J（w，b）=(（1/m）L（y_hati,yi）)+(/2m)||w||,其中是正则化参数，||w||是w平方的范数即欧几里得范数的平方，其中||w||等于wj（j值从1到n）平方的和。此方法称为L2正则化。对于b也可以这样操作，但是w通常是高维向量，已经可以表达高偏差问题，而b只是单个参数，w中包含了很多参数，如果加了b，也没有什么太大影响。   使用验证集来配置正则化参数...

原创 神经网络模型地评估

当训练好一个神经网络模型时，首先看准确率如何，如果准确率很低即偏差很高，甚至无法拟合数据，则先检查训练集的性能，如果没问题，则需要选择一个新的网络模型（更大的网络或者训练更长的时间）重新训练。然后不断重复以上步骤，直到解决问题，起码直到可以拟合或者过拟合训练集。当偏差处在可接受的范围内时，就需要验证方差有没有问题。为了评估方差，就需要看验证集的性能。如果方差高，则采用更多数据的训练集来训练。若...

原创 tensorflow中的交互式session

    tensorflow的后端计算是基于C++的，运行效率非常高，而session则是连接此后端的连接。    通过tf.Session()获得的session是没有交互式功能的，只能先构建好计算图，再一次性来运行。但是有一个更加方便的session，需要使用InteractiveSession类，通过tf.InteractiveSession()来获得的session具有交互式功能，即可...

原创 使用mnist数据集实现手写数字识别

    mnist数据集中数字是0到9，要求实现多分类，需要使用softmax函数。此次实现单隐层神经网络即只有一个输入层和一个输出层的神经网络来训练并实现手写数字识别。    softmax只作用在输出层，要求输出层输出一个1*10维的向量，向量中每一个元素的位置代表相应的0到9数字，而元素值代表是该数字的概率。    实现手写数字识别分为两步，第一步是建立神经网络模型，第二步是运行该模型。  ...

原创 tensorflow正常加载mnist数据集

一、加载mnist数据集    使用from tensorflow.examples.tutorials.mnist import input_data来将tensorflow自带的input_data.py导入到项目中，该文件中导入了一些模块和tensorflow自带的处理mnist数据集的方法。    使用import osprint(os.getcwd()) 来查看当前的工作目录，并且从这...

原创 tensorflow的基本用法

一、使用tensorflow自动找到使得成本函数最小的参数值    import numpy as npimport tensorflow as tfcoefficient=np.array([[1.],[-10.],[25.]])w=tf.Variable(0,dtype=tf.float32)x=tf.placeholder(tf.float32,[3,1])#cost=tf.a...

原创 深度学习笔记day02

一、在代码中实现梯度下降的反向传播    Z=w^TX+b=np.dot(w.T,X)+b得到线性回归模型。    A=sigmoid(Z)得到预测值。    dZ=A-Y得到成本函数关于Z的导数。    dw=(1/m)*X*dZ^T得到成本函数对于w的导数。    db=(1/m)*np.sum(dZ)得到成本函数对于b的导数。二、更新参数    w:=w-a*dw    b:=b-a*db ...

原创 深度学习笔记day01

课程是看的吴恩达老师的视频，在此将一些知识点与学习心得记录下来。个人觉得，如果想要很好地看懂，建议先了解一些高等数学、线性代数和概率论的一些术语，因为我最近忙于毕业，时间太少了，就不一一解释详细了。一、问题集中    1.假如有m个训练样本，m值可以非常大，那么如何将这些样本数据输入神经网络呢？传统的for循环等的遍历此时在面对大样本数据时显得太过于乏力。    2.神经网络的计算过程，通常有一个...

原创 Python学习笔记day11

一、Python使用Web API来获取数据并进行可视化    1.首先需要安装requests包，使用命令：pip install --user requests    2.处理API响应：import requestsurl='https://api.github.com/search/repositories?q=language:python&sort=stars'r=req...

原创 Python学习笔记day10

一、处理Json数据    Python提供了json模块来处理Json数据。Json是一种数据格式，使用很广泛。    现在有一个json文件population_data.json，信息如下：[ { "Country Name": "Arab World", "Country Code": "ARB", "Year": "1960", "Value&a

原创 Python学习笔记day09

这两天事情太多，耽误了学习。一、分析数据    1.CSV文件格式        CSV文件格式就是将数据作为一系列以逗号分隔的值的形式来存储到文件中，这样的文件，就叫做CSV文件。    2.Python的标准库中有一个模块叫做csv，用来分析CSV文件数据行。假设现在有一个CSV文件叫做test.csv，现在例如：import csvwith open('test.csv') as f:...

原创 Python学习笔记_day08

一、数据可视化    数据可视化指的是通过可视化表示来探索数据。    数据挖掘指的是使用代码来探索数据集的规律和关联。二、安装matplotlib    具体的安装方法参照百度。三、绘制简单的折线图import matplotlib.pyplot as pltsquares=[1,4,9,16,25]plt.plot(squares)plt.show()    首先将matplotlib...

原创 Python学习笔记_day07

一、编写函数的测试用例    为函数编写测试用例，需要使用到unittest模块和需要测试的函数，再创建一个继承自unittest.TestCase的类。例如我们现在有一个方法fun(p1,p2)返回p1和p2组成的字符串，现在编写一个测试用例，来检查函数fun(p1,p2)能否正确地工作：            import unittest            import fun     ...

原创 Python学习笔记_day06

一、读取文件全部数据    想要访问文件里的数据，首先需要打开文件，Python提供了open(p)函数来打开文件，其中p是需要打开的文件的路径和名称。函数open(p)返回一个表示文件的对象，例如:        with open(p) as file_object:            contents=file_object.read()    其中关键字with的作用是在不再需要访问文...

原创 Python学习笔记_day05

一、类    定义类需要使用关键字class，例如:        class Classname():               def _init_(self,p1,p2... ...):                self.p1=p1                self.p2=p2            def fun1(self):            def fun2(sel...

原创 Python学习笔记_day04

一、用户输入函数    message=input(info)    当解释器遇到以上语句时，程序就会暂停运行，等待用户输入一些文本信息，其中info是用来显示提示用户需要输入什么信息的说明，当用户输入信息后，按下回车键，程序就会继续运行，并将用户输入的信息关联到message变量上。Python会将用户输入的信息解读为字符串。二、数字的字符串转为数值    int(number)方法可以将数字的...

原创 Python学习笔记_day03

一、if语句的理解    这里我只对Python比较特殊的操作进行笔记的整理。    说明：if语句中的代码是否执行，需要根据if关键字之后的表达式的值，这种表达式称为条件测试，条件测试的值为True或False。条件测试的别名又叫布尔表达式。二、检查多个条件    可以使用关键字 and 来连接两个条件测试，就像C、Java等语言中的 && 逻辑运算符。同样的情况，Python中...

原创 Python学习笔记_day02

一、组织列表    1.xxxs.sort()方法可以将列表中的元素按照从小到大的顺序排序，而且是永久的改变了xxxs的元素顺序。如果想要倒序排序，则使用xxxs.sort(reverse=true)即可。    2.sorted(xxxs)方法可以将列表xxxs按照从小到大的顺序显示出来，但只是临时性地让xxxs可以按照从小到大的顺序显示，并没有改变xxxs元素的顺序。如果想要临时性地倒序显示，...

原创 Python学习笔记_day01

一、运行程序1.根据网上教程，自己在windows8.1上安装了python3.5。2.打开cmd.exe，输入python，进入交互式编程界面，如果想运行.py文件，在交互式界面进入.py文件所在目录，并执行python xxx.py即可。二、Python变量的理解1.例如：message=‘hello’            print(message)            message=...