- 博客(84)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hive的基本操作
title: hive的基本操作date: 2019-09-17 21:57:11tags: [Hive, 基本操作]categories:大数据hive编程以后博客主要在**https://geroge-gao.github.io/**上更新，欢迎访问。表的增删改查操作创建表使用if not exists 如果存在则跳过，comment为注释。create table...
2019-09-18 22:31:41
458
原创 基于深度学习的目标检测框架总结
目前比较主流的基于深度学习的目标检测框架主要分为两类，一类是基于two-stage的方法，比如RCNN，Fast RCNN，Faster RCNN，将检测任务分为回归(location)和分类任务。还有基于one-stage的目标检测框架，例如YOLO/YOLOv2，SSD等，同时完成检测和回归任务。two-stage任务准确率较高，但是速度比较慢。one-stage能够达到实时性但是牺牲了精度。...
2018-08-01 15:56:23
10330
原创 爱奇艺2018算法工程师笔试
平方和如果一个字符串S是由两个字符串T连接而成,即S = T + T, 我们就称S叫做平方串,例如”“,”aabaab”,”xxxx”都是平方串. 牛牛现在有一个字符串s,请你帮助牛牛从s中移除尽量少的字符,让剩下的字符串是一个平方串。换句话说,就是找出s的最长子序列并且这个子序列构成一个平方串。 输入描述:输入一个字符串s,字符串长度length(1 ≤ length ≤ 50),...
2018-07-26 11:50:52
2331
原创 排序算法总结
这是对个人对于排序算法回顾和复习，所以可能写的很省略。如果之前没有学过可以看看参考列的博客。冒泡排序最坏的情况时间复杂度为O(n^2),最好时间复杂度O(n)，最后时间复杂度发生在有序情况下。简单选择排序初始时在序列中找到最小（大）元素，放到序列的起始位置作为已排序序列；然后，再从剩余未排序元素中继续寻找最小（大）元素，放到已排序序列的末尾。以此类推，直到所有元素均排序完毕...
2018-06-08 15:59:26
339
原创 C++继承
基类与派生类继承是指当创建一个类时，您不需要重新编写新的数据成员和成员函数，只需指定新建的类继承了一个已有的类的成员即可。这个已有的类称为基类，新建的类称为派生类。#include <iostream>using namespace std;class Shape{public: void setWidth(int w) { widt...
2018-06-05 17:34:07
211
原创 拷贝构造函数和赋值函数
本文主要是对拷贝构造函数和赋值函数已经深拷贝、浅拷贝的总结归纳。拷贝构造函数如果构造函数第一个参数为自身类类型的引用，且任何额外参数都具有默认值，则此构造函数为拷贝构造函数。class Foo{public: Foo(); //默认构造函数 Foo(const Foo&) //拷贝构造函数};拷贝构造函数的第一个...
2018-05-31 11:26:37
9290
1
原创 构造函数和析构函数
通过C++ Primer重新回顾构造函数和析构函数，发现真的好多都忘了…构造函数类的构造函数是类的一种特殊的成员函数，它会在每次创建类的新对象时执行。构造函数的名称与类的名称是完全相同的，并且不会返回任何类型，也不会返回 void。构造函数可用于为某些成员变量设置初始值。对于构造函数有以下几点需要注意：构造函数与类同名，并且没有返回值。构造函数和其他成员函数一样，都能够...
2018-05-30 11:24:57
12118
1
原创 BP算法
神经元模型仿照生物的神经元模型，神经元接收到来自n个其他神经元的输入信号，这些输入信号带有犬只连接，神经元接收到的总输入值与神经元的阈值进行比较，然后通过激活函数产生神经元的输出。 如下图所示：输入为[x_1,x_2,x_3,…,x_n]输出为y=f(∑Ni=1wixi−θ)y=f(∑i=1Nwixi−θ)y=f(\sum_{i=1}^Nw_ix_i-\theta)其中典型...
2018-05-28 21:34:47
677
原创 激活函数的选择
深度学习神经网络有四种常用激活函数，分别为sigmod,tanh,softmax,relu.下面总结了他们的优缺点以及如何选择。sigmod函数函数形式 函数图像如下 对其求导有 tanh函数形式： 图形为其导函数为： 在隐藏层使用的效果优于sigmod 相同的缺点在x特别大或者特别小的时候，函数梯度会接近0，使得梯度下降的速度变慢。一般用在二...
2018-05-28 20:23:03
3239
原创 tensorflow saver和checkpoint总结
最近在做深度学习相关实验，经常要用到别人的预训练模型，有时候常常不知道怎么使用，因此这篇博客将专门做一个总结。1 Tensorflow 模型文件checkpointmodel.ckpt-200.data-00000-of-00001model.ckpt-200.indexmodel.ckpt-200.meta1.1 meta文件model.ckpt-200.meta...
2018-05-13 15:25:50
28281
2
原创 C++ 之sizeof对齐问题
sizeof的对齐问题是C/C++里面一个比较经典的问题，在了解这些问题之前我们首先需要有一些先验知识。C/C++ 不同数据占用内存大小 数据类型 32位 64位 char 1 1 int 4 大多数时候为4，少数为8和编译器有关 short 2 2 long 4 8 float 4 4...
2018-05-10 11:56:21
1063
原创 C++ const限定符总结
一直很想把C++相关知识点做一个总结，结果拖到现在，看了博客的记录，上一篇还是两年前写的，真是惭愧。趁着秋招找工作，一次性来个系统总结吧。const限定符const关键字用于对变量加以限制，防止修改变量的值。const int bufSize=512;此时bufSize是一个常量，此时再对bufSize进行复制会导致错误。因为const对象一旦创建后其值就不能发生改变，因此c...
2018-05-07 16:20:16
367
1
原创 关于CTC模型的理解
预备知识摘要标签错误率CTC从输出到标签构建分类器参考资料最近在看手势识别相关论文，在看到一篇论文的时候发现了LSTM+CTC能够解决数据预分割的问题。于是抱着学习的心态这篇论文《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Ne...
2018-05-01 06:28:39
12277
6
原创 隐马尔可夫模型二(公式推导)
概率问题直接计算法前向后向算法前向算法后向算法一些期望学习问题Baum-Welch算法Baum-Welch参数估计公式预测算法近似算法维比特算法参考文献前面一篇介绍了隐马尔科夫模型的基本的一些概念，篇主要介绍三个问题的具体解决方法。如果对于概念不太理解的可以参考前一篇博客HMM模型基本概念，本篇博客主要介绍对于三个问题的主要推倒，内...
2018-04-21 16:58:23
3607
5
原创 隐马尔科夫模型一(概念理解)
前言由于前一段时间在看CTC论文，里面用到了HMM中的前向后向算法，推公式的时候·一脸懵逼，所以又来学习HMM的思想，所以写篇博客做个笔记。本部分博客分为两篇，第一篇主要介绍一些基本的概念和思想，第二篇介绍理论的推导。博客的内容主要是基于<<统计学习方法>>以及其他的一些博客模型概念隐马尔可夫模型：隐马尔科夫模型是关于时序的概念模型，描述了由一个隐藏的马尔科...
2018-04-16 00:07:10
8938
14
原创 EM算法(Expectation maximization algorithm)
极大似然估计极大似然估计定义求解过程EM算法EM算法和极大似然估计的区别鸡生蛋，蛋生鸡问题EM算法思想三硬币模型jensen不等式Q函数EM算法的推导K-means中EM思想参考资料纠结了好几天，总算搞清楚了EM算法的大概。因此写下这篇博客做个笔记，由于这方面懂得不是很多，可能存在理解错误的地方，欢迎大家指正，好了闲话不多说。极大似然估...
2018-04-13 10:25:23
1949
1
原创 《空间金字塔池化》论文笔记
1.研究背景2.算法优点3.算法原理论文原文：《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》本篇论文是由何恺明大神于2015年发表在TPAMI上的。1.研究背景卷积神经网络的输入需要一个固定的尺寸，对于一些图像来说缩放或者裁剪会改变长宽比以及识别的准...
2018-04-02 21:35:35
3395
1
原创 Python多线程编程(二)之多线程同步
在多线程环境下，如果多个线程同时对于某个数据进行修改，则可能出现不可预料的后果，为了保证数据被正确修改。就需要对多个线程进行同步。最经典的就是生产者消费者模型。生产者消费者问题生产者消费者问题，是一个多线程同步问题的经典案例。该问题描述了共享固定大小缓冲区的两个线程——即所谓的“生产者”和“消费者”——在实际运行时会发生的问题。生产者的主要作用是生成一定量的数据放到缓冲区中，然后重复此...
2018-03-29 12:20:45
792
原创 python多线程编程(一)之创建多线程
随着计算机硬件水平的发展，CPU也从单核单任务变成可以支持多核多任务。例如intel的四核四线程，四核八线程。可以同时支持多个任务。最常见的就是你可以一边听着歌与此同时还能使用电脑进行其他的操作。进程与线程的区别进程是操作系统中应用程序的执行实例，而线程是进程内部的一个执行单元。这句话怎么理解呢？比如说你打开网易云音乐，此时就创建了一个进程来执行网易云音乐软件的相关操作。而你在听歌的同...
2018-03-28 10:19:05
404
原创 tensorflow学习笔记（二）
tensorflow学习笔记(2)由于是在边看别人的开源代码，边学习tensorflow，可能写得没什么条理。tf.argmax(array,axis=None,out=None)返回axis列最大值的引索。 axis=0，表示返回每一列最大值的列引索 axis=1表示返回每一行最大值的行引索 tf.cast(x, dtype, name=None)函数作用：将x...
2018-03-21 15:55:11
340
原创 对于ConvLSTM的理解
ConvLSTM最早是在《Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting》论文里提出，目的是为了解决降水临近预报。这个问题可以看做是一个时序问题，于是有学者尝试使用LSTM解决这个问题。但是其使用的事全连接长短期记忆网络(FC-LSTM)，没有考虑到空间上的相关性\quad...
2018-03-16 20:39:46
46893
7
原创 《Two-Stream Convolutional Networks for Action Recognition in Videos》论文笔记
这篇论文是2015年发表在NIPS上的一篇文章，利用双流卷积神经网为视频中的行为识别提供类一种新的思路。 下面是个人做的总结和部分翻译。论文贡献提出了一个结合时间和空间网络的双流卷及网络构架。证明了利用多帧密集的光流场的卷及网络即使在数据较少时也能表现优异的性能。展示了应用于两个不同的行为分类的数据集的多任务学习能够用来增加训练数据量并且能够提高在两个数据集上的性能。...
2018-03-14 10:42:29
1030
翻译 《Multimodal Gesture Recognition Using 3-D Convolution and Convolutional LSTM》译文
基于三维卷积神经网络和卷积LSTM的多模式手势识别摘要手势识别旨在识别有意义的人体运动，并且在智能人机/机器人交互中是至关重要的。 在本文中，我们提出了一种基于三维卷积和卷积长短期记忆（LSTM）网络的多模式手势识别方法。 该方法首先通过三维卷积神经网络学习手势的短时空特征，然后基于提取的短时空特征，通过卷积LSTM网络学习长时空特征。 此外，多模式数据之间的微调进行了评估，我们发现当...
2018-03-13 16:46:26
8672
原创 算法工程师面试常见问题
八九月份就要开始找工作了，一直期待能够成为一名算法工程师，所以在这里总结一下算法工程师常见问题。期待9月秋招时能有一个好的结果。本篇博客会一直更新下去。编程语言基本算法传统机器学习常见机器学习问题面试常见问题深度学习常见问题编程语言C++、python基本算法剑指offer+Leetcode基本就能解决 剑指offer算法实现...
2018-03-11 11:45:53
22742
4
原创 《3D Convolutional Neural Networks for Human Action Recognition》论文阅读笔记
前言行为识别是目前非常火的一个方向，3D CNN算是基于视频的行为识别的一分奠基性的工作。目前行为识别的应用相当的广泛。但由于背景混乱、闭塞和视觉变化等原因（cluttered backgrounds，occlusions &viewpoing variations），对行动的准确识别是一项非常具有挑战性的任务。目前的大多数方法对视频采取了想当然的假设，例如，小规模和观点变化；但这样的...
2018-03-08 15:06:46
1607
2
原创 opencv实现对图片的二值化
图像阈值分割二值化是图像分割的一种方法。在二值化图象的时候把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值，从而实现二值化。 根据阈值选取的不同，二值化的算法分为固定阈值和自适应阈值。 比较常用的二值化方法则有：双峰法、P参数法、迭代法和OTSU法等。代码实现#encoding:utf-8import cv2import matplotlib...
2018-03-01 22:01:43
2352
原创 循环神经网络RNN
前言我们在思考和判断问题的时候，并不是总是以一个空白的状态进行思考的。我们的思考都是基于我们以前的知识或者经验，比如我们读到这篇博客的时候，考虑到这些词语或者语句表达的是什么意思，都是基于我们以前所学到的知识。也就是说我们的思想具有持续性。传统的神经网络对于这种情况显得有点无能为力。比如你想要识别出一个电影片段里面的每一个画面，由于要考虑到前后画面的连续性，传统的神经网络很处理这种问题。R
2018-01-28 20:40:23
5099
原创 tensorflow学习笔记（一）
Tensorflow学习笔记(一)tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)shape:一维的张量，也就是输出的张量mean:正态分布的均值stddev:正态分布的标准差seed:一个整数，设置之后每次生成的随机数一样dtype:表示的是输出类型输...
2018-01-28 14:55:28
842
翻译 《Long-term Recurrent Convolutional Networks for Visual Recognition and Description》论文翻译
《Long-term Recurrent Convolutional Networks for Visual Recognition and Description》论文翻译原文链接：https://www.cv-foundation.org/openaccess/content_cvpr_2015/html/Donahue_Long-Term_Recurrent_Convolutiona...
2018-01-12 14:53:50
5301
原创 Ubuntu16.04配置安装darknet
darknet是一个开源的深度学习框架，非常小巧，不用其他库的支持就能直接运行。但是作者还是支持了cuda和opencv更加方便加速训练以及显示。下面我们开始进行darknet+cuda+opencv的安装。安装顺序opencvCUDAdarknet安装顺序一定要注意，不然出现错误非常麻烦。darknet安装顺序可以随意，但是opencv一定要cuda前面安装。不然报错很难解决只能重装系统。
2017-11-28 11:35:23
15577
8
原创 windows下使用hexo和github配置个人博客
前提准备gitnode.jshexo由于电脑之前已经安装了git，所以这里关于git的安装预配置就不在赘述。默认大家都已经安装并且配置好了git。安装node.js进入node.js官网下载对应版本的安装包。按照操作安装node.js。这里我下载的是稳定版创建仓库在自己的github上面创建一个username.github.io新仓库，一定要注意这个use
2017-11-26 21:26:52
529
转载 手势估计- Hand Pose Estimation
原作者地址：http://blog.csdn.net/myarrow/article/details/519336511. 目前进展1.1 相关资料 1）HANDS CVPR 2016 2）HANDS 2015 Dataset 3）CVPR 2016 4）Hand 3D Pose Estimation (Compute
2017-11-21 16:12:45
3675
原创 Python父目录、子目录相互调用
最近在使用Python的过程中经常遇到找不到该模块的问题。其中一个就是父目录子目录之间相互调用的情况。下面简单总结下。 我们在F:\Code文件夹下面创建一个test文件夹 而test文件夹里面如下 包含两个子目录 a.pydef showdata(): print("this is a")def plus(): a=1 b=2 print(a+b
2017-11-16 21:01:39
15667
1
原创 深度学习资料记录
最近在学习深度学习，由于没有时间系统的学习，会遇到很多专业盲区，所以在这篇博客上面记录下来评价性能的各种指标：http://blog.csdn.net/marising/article/details/6543943 batch_size详解：http://blog.csdn.net/ycheng_sjtu/article/details/49804041 epoch，iterat...
2017-11-02 11:20:42
630
原创 无监督学习之K-means算法
前面讲到的都是监督学习的分类与回归，今天我们来看看无监督学习以及里面常见的聚类算法。无监督学习相对于监督学习，无监督学习的训练样本没有标签信息，无监督学习的目标是通过无标签训练样本的学习来揭示数据内在的性质以及规律，为进一步的数据分析提供基础。其中研究最多和最广泛的便是聚类任务。 聚类试图将数据集中的样本划分成不同的簇。将相似的对象归到同一个簇中，簇内对象越相似，聚类的效果越好。...
2017-10-31 10:35:24
724
原创 CART算法的原理以及实现
CART算法思想CART树的特点回归树的生成最小二乘法回归树生成算法分类树的生成基尼指数分类树生成算法剪枝处理CART分类回归树(classification and regression tree，CART)模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法。CART同样由特征选择、树的生成以及剪枝组成，既可以用于分类也...
2017-10-26 16:16:31
32461
9
原创 AdaBoost算法的原理与实现
前面讲到了增强学习的基本原理以及两种方法Boosting，现在就介绍我们的主角AdaBoost。集成学习的两个关注点在每一轮如何改变训练数据的权值或者概率分布如何将弱分类器组合成一个强分类器AdaBoost思想对于第一个问题：每一个训练样本都被赋予一个权重，表明它被某个分类器选入训练集的概率。然后提高被前一轮若分类器错误分类的样本的权值，降低那些被错误分类的样本的权值。这样一来没有被正确分类的
2017-10-22 18:49:35
646
原创 集成学习的原理
当做重要决定的时候，大家可能都会考虑吸取多个专家而不是一个人的意见。机器学习在解决问题的时候又不是如此。这就是集成学习的思想。集成学习 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能，颇有“三个臭皮匠顶个诸葛亮”的意味。集成学习于弱学习器(weaker learner)的效果更佳明显，因此集成学
2017-10-19 19:26:22
1021
原创 支持向量机之SMO算法
前面我们讲到SVM的基本理论，现在就涉及到SVM的实现，这里就不得不提到SMO算法SMO算法1996年，John Platt 发布了一个称为SMO的强大算法，用于训练SVM，SMO表示表示序列最小优化(Sequential Minimal Optimization)。Platt的SMO算法是将大优化问题分解成为许多个小优化问题来求解。这些小优化问题往往很容易求解，并且对他们进行顺序求解的结果与将他们
2017-10-16 19:24:32
794
vs 的qt插件
2017-05-07
利用腾讯提供的sdk进行第三方登录是报错，是利用的tencent官方提供的例子
2015-01-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人