jikuibu

原创 davidsandberg/facenet项目研究-验证模型性能（validate_on_lfw）

一、运行validate_on_lfw.py在LFW数据集上，对预训练的模型进行验证，观察模型性能。在IDE中先配置运行参数：运行该代码后，下面是运行输出。在笔记本上使用CPU运行会花掉近10分钟时间。以上输出了精度，验证率，误识率（@ FAR = 0.00133），曲线下面积（AUC）和等误差率（EER）四种性能指标，据此可以衡量模型性能。二、源码解读该验证程序使...

原创 tensorflow的tfdbg指令

因为tensorflow的图计算方式，传统的调试方式是无法进行变量值动态查看的。google提供了tensorflow的官方调试其tfdbg来进行调试工作。现将基本使用方式概述如下：1、在源码中用tfdbf的专属Session来封装普通Session，这个很简单，如下：from tensorflow.python import debug as tf_debugsess2 = tf...

原创 endernewton/tf-faster-rcnn项目研究之四：项目的代码分析（损失函数）

文接上篇。7、损失函数这是通过_add_losses()函数来实现的。如原论文所说，faster rcnn包括两个损失：rpn网络损失、rcnn网络的损失，每个损失又包括分类损失和回归损失，所以需要定义一个多任务损失函数(Multi-task Loss Function)，包括Softmax Classification Loss和Bounding Box Regression Los...

原创 endernewton/tf-faster-rcnn项目研究附录知识二：零碎补漏

1、roidb数据，存放每张图的GT及其分类信息。格式：list[​ dict 1(for image 1):​ {'boxes': (np.array，(N, 4)，ground truth框左上角顶点和右下角顶点坐标，从0开始；一图可有多个box)，​ 'gt_classes':(np.array, (N,)，每个框类别号，21类)，​ 'gt_overlaps':(n...

原创 NMS算法原理及代码验证

NMS算法常常在图像目标检测的各种算法中使用。原始图像中，单个检测目标往往被识别出多个位置、大小都不相同的目标检测框，这些检测框可以是类似于这样的名字，bbox（bounding box）, region proposal，anchors等等。可以在诸如faster rcnn或YOLO算法中看到。举例来讲，原始图中包含两个检测物体，每个检测物体会存在许多检测框。因为是同一个物体，因此这些框的...

原创 endernewton/tf-faster-rcnn项目研究附录知识一：基本概念

在研究该项目的过程中，碰到许多基本知识或概念，记录于此以备查看。1、weight decay（权值衰减）使用的目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。2、m...

原创 endernewton/tf-faster-rcnn项目研究之三：项目的代码结构及网络原理

从本节开始，将正式对项目代码进行解读。因代码众多，在一篇文章中说完是不现实的，故打算分成若干篇幅来陆续解读。本文部分内容参考自以下帖子，致谢！https://www.cnblogs.com/wangyong/p/8513563.htmlhttps://blog.csdn.net/Mr_KkTian/article/details/78158785一、项目代码结构├── dat...

原创 endernewton/tf-faster-rcnn项目研究之二：认识VOC2007数据集

一、概述 PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，从2005年到2012年每年都会举行一场图像识别challenge。该challenge主要包括三类任务：分类（classification），检测（detection），和分割（segmentation） 这是一个监督学习的问题，训练集以带标签的图片的形式给出。这些物体包括20类：...

原创 endernewton/tf-faster-rcnn项目研究之一：项目部署（GPU版）

本文是对github上endernewton/tf-faster-rcnn项目的学习分析，以记录学习过程。其原项目地址：https://github.com/endernewton/tf-faster-rcnn先进行项目部署，前提是已经安装好整套GPU版深度学习环境。温馨提醒，在此前或此后的所有过程中，保持戒骄戒躁，耐心非常重要。一、运行环境在之前的尝试中，遇到许多挫折，诸如u...

原创 ubuntu18.04环境下构建深度学习开发环境

----------------------------------git安装、初始化、配置、从github拉代码------------------------------------------------------1、安装gitsudo apt-get install git2、进入空白代码目录，并初始化git3、配置本地仓库的账号邮箱gitgit config --g...

原创 ubuntu18.04环境下安装深度学习环境tensorflow-gpu版

本博客不描述安装的整体情况及关联关系，只记录其中关键点。仅供备查。---------------ubuntu vi 方向键不对------------------------------------sudo apt-get remove vim-commonsudo apt-get install vim--刷新dnssudo /etc/init.d/dns-clean s...

原创 隐马尔科夫模型(HMM)

今天来看看这两种模型。一、马尔科夫模型有以下三个要素：定义每一种状态；每种状态转换到其它状态的概率，即状态转换概率；每种状态的初始概率；这样，通过初始状态，便能计算下一个阶段某状态发生的概率值。二、隐马尔科夫模型1、概述跟上面不同的是，隐马尔科夫模型引入了一种中间变量，这种中间变量是我们能直接观察或直接获取到的。这些中间变量，跟我们真正需要关注的状态之间存...

原创 EM算法（期望最大值算法）

一、问题提出：身高问题假如我们现在手头上有200个学生的身高合集，其中有男生和女生，而且男生、女生分别服从不同的高斯分布。如果把这个数据集的概率密度画出来，大致可能像这样：提出问题：求解这两种身高的概率分布参数。这个图形所对应的便是混合高斯模型（GMM）概率分布函数，表示其由两个高斯模型混合而成。即：其中，是第k个分高斯模型的概率密度函数，其可以定义如下：...

原创 概率、似然与极大似然估计

今天来学习极大似然估计这个颇为抽象的内容。1、似然与概率的概念二者看似相近，实则不同。在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个重要内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应...

原创 支持向量机（SVM）算法（四）

（书接上文）对偶问题的求解-SMO算法前文已经推导出了原问题的对偶问题，那么如何求解它呢？比较好的方法就是利用SMO算法。SMO 的基本思路是先固定向之外的所有参数，然后求上的极值。由于存在约束条件，若固定以外的其它变量，则可由其它变量导出。于是，SMO每次选择两个变量和，并固定其它参数。这样，在参数初始化后，SMO不断执行以下两个步骤直到收敛：1）选取一对需要更新的变量和；2...

原创 支持向量机（SVM）算法（三）

(书接上文）原目标函数的对偶问题前面我们已经知道，只要求解了（公式4）便能获得我们想要的最佳的分隔超平面。考虑到（公式4）不易直接求解，我们想采用拉格朗日乘子法来对其进行变换，进而获得原问题的对偶问题。只要对偶问题求解了，原问题也会得到最优解。根据拉格朗日对偶性，原始问题的对偶问题是个极大极小问题，即： 为了求得对偶问题的解，需要先求对的极小值，再求对的极大值。1)...

原创 支持向量机（SVM）算法（二）

（书接上文）寻找最大间隔：经过了第一部分的概述，接下来要寻找数据集的最佳分隔超平面。我们已经知道，高维样本空间中的超平面方程为：其中为法向量，决定了超平面的方向；b 为位移项，决定了超平面与原点之间的距离。显然，分隔超平面可被法向量 w和位移 b 确定，记为。样本空间中任意点x到超平面的距离为：如果超平面能正确的对样本点分类，即：若，则有；若，则有。假设： ...

原创 支持向量机（SVM）算法（一）

序言： 有人说，支持向量机是整个机器学习中最复杂的算法； 还有人说，如果支持向量机没学好，机器学习就白学了。 从今天开始，我将开始该算法的学习，看看需要花多久才能掌握它。童话故事：关于SVM，流传着一个关于天使与魔鬼的故事。传说魔鬼和天使玩了一个游戏，魔鬼在桌上放了两种颜色的球，如图3.1所示。魔鬼让天使用一根木棍将它们分开。这对天使来...

原创 贝叶斯算法

1、英国数学家贝叶斯，为了解决“逆向概率“问题而提出。2、正向概率：  已知袋子中黑白球的比率，求解随便摸一把摸出黑、白球的概率。      逆向概率：  事先不知道袋子中黑白球的比率。通过先摸球来观察摸到黑白球的数据（先验概率），进而推测袋子中黑白球的比率。3、为什么要这么做？     因为人的观察能力总是受限的，往往只能根据有限的观察，获得对客观世界的总体认识。4、问题举例...

原创 TP, FP, TN, FN

转载 sklearn库的使用方法

转载来自网络上的一张sklean的使用指南，具体来源未知。 如果作者不愿意转载，请告知我。sklearn使用指南 

原创 Spark的累加器（Accumulator）的使用要点

1、累加器的创建     在驱动器节点中，调用 SparkContext.accumulator(initialValue) 方法，创建出存有初始值的累加器。返回值为 org.apache.spark.Accumulator[T] 对象，其中 T 是初始值initialValue 的类型。2、累加器值的累加     对于工作节点来说，只能对累加器进行累加值操作，比如python或者sc...

原创 mongodb的操作备忘录

cd D:\programs\MongoDB\Server\3.4\bin--启动mongodb服务mongod --dbpath "D:\programs\MongoDB\Server\3.4\data\db"--启动mongodb客户端mongo--连接远程数据库mongo --host 10.128.137.21 --port 27017--导出数据mongoexpor...

转载 机器学习基本常识--标准化与归一化

1. 归一化常用的方法是通过对原始数据进行线性变换把数据映射到[0,1]之间，变换函数为：    其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。2. 标准化常用的方法是z-score标准化，经过处...

原创 数学知识朝花夕拾

声明：本文范数的部分内容来自火贪三刀的博文，感谢分享，地址如下原文：https://blog.csdn.net/shijing_0214/article/details/51757564 1、 平均值，也叫算数平均值。 比如1,2,3,4这几个样本的平均值就是1+2+3+4再除以4。2、  方差，每个样本值与全体样本值的平均值之差的平方值的平均数，以公式表示为：           ...

原创 centos7解决ssh登录速度慢的问题

先备份/etc/ssh/sshd_config,备份命令为cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak1.su                                    (以root用户登录)2.vi /etc/ssh/sshd_config      (编辑配置文件)3.输入 / ,查找GSSAPIAuthentic...

原创 centos7安装java8

1、进入或新建到一个目录，用于存放下载的java包# cd /usr/local/lib# mkdir java# cd java2、解压后的jdk1.8放至该目录下，全路径：/usr/local/lib/java/jdk1.8.0_1813、设置jdk环境变量这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量# vi  /etc/prof...

原创 centos7升级

一、升级内核1、查看当前的内核版本 # uname -sr2、查看可用最新内核版本1）登陆http://elrepo.org/tiki/tiki-index.php查看跟自己系统匹配的repo，根据其提示，执行命令安装：# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm2） ...

原创 win7下使用myeclipse连接hadoop2.6.0集群并运行wordCount例程

1： 设置eclipse选择"Window"菜单下的"Preference"，"Hadoop Map/Reduce"选项，选择Hadoop的安装目录（即hadoop在win7下的安装或者叫解压目录），如：D:\programes\hadoop-2.6.02：切换"Map/Reduce"工作视图，java开发者都会的。3：建立与Hadoop集群的连接，在Eclipse软件下面的"Map/Reduce...

原创 zookeeper集群配置

在集群环境下配置zookeeper， 先准备三台linux服务器，记住ip地址。1： 官网下载zookeeper，可百度。2： 解压，放至其中一台linux服务器某个目录下。如图：注意： 是以root用户放进来的，现在想将权限赋给hadoop用户，注意一下操作。3：将此目录赋权限给hadoop用户。4：建立配置文件，进入conf目录，新建立一个zoo.cfg文件，文件内容如下：tickTime=2...

原创 kettle工具使用一二三

1: 关于ID生成器。如果一个转化流程里的两个分支分别使用了Generate ID组件， 请注意“计数器名称”，这个很重要。1） 如果改名字不同，则最总汇总结果中的id是会分别生成的，也就是说会出现重复的id。2） 如果名字相同，最终结果中id是不会重复的。2：关于序列生成器首先抱歉，上面所说的“Generate ID“组件，其实指的就是序列生成器。kettle5.3中包含两个序列生成器组件，一个...

原创 Hadoop2.6.0 64位集群搭建

一、虚拟机配置：nat方式配置宿主机以及客户机1：宿主机vmware nat service服务必须启动。2：这个如果经过网络配置的折磨，应该能找到着两个网卡：vmnet1和vmnet8，这里讲的是vmnet8。查看vmnet8的ip地址。 （我这里是：192.168.58.1， 机器不同可能都不相同）打开vmware的菜单：编辑--> 虚拟机网络编辑器,查看VMnet8的nat设置，发现网...

原创 vmware10下启动centos7报错：end_request I/O fd0 error 以及 piix4_smbus

在vmware下安装centos7,安装成功后，启动虚拟机时报错：1、end_request I/O fd0 error 处理方式如下：在虚拟机的biso中关闭floppy选项，然后重启虚拟机。2、piix4_smbus error的相关报错先检查一下是否有加载piix4，# lsmod | grep i2c_piix4如有把i2c_piix4加入黑名单，启动时不加载此模块# vi /...

原创 报个到

工作，生活，吐槽，乱七八糟，都在这里。