- 博客(67)
- 收藏
- 关注
RSS订阅
原创 tensorflow（六）训练分类自己的图片（CNN超详细入门版）
之前一直用caffe做图像方面的东西，由于tensorflow环境配置简单，综合表现较为出色，因此打算转战tensorflow。学习这个框架，最开始还是要跑一跑文档中的mnist小程序（具体请参照tensorflow官方文档）。但是mnist中都是处理好的数据，具体的数据处理过程又没有讲，如果想要处理自己的图片数据，便有些无从下手，直接看源码的话又比较枯燥晦涩。这里是一份从图片的预处理到最终测试一...
2018-01-21 13:47:09
86158
183
转载 计算广告CTR预估
原文地址：https://zhuanlan.zhihu.com/p/23499698点击率预估是广告技术的核心算法之一，它是很多广告算法工程师喜爱的战场。一直想介绍一下点击率预估，但是涉及公式和模型理论太多，怕说不清楚，读者也不明白。所以，这段时间花了一些时间整理点击率预估的知识，希望在尽量不使用数据公式的情况下，把大道理讲清楚，给一些不愿意看公式的同学一个Cook Book。点击率预测是什么...
2018-10-24 11:18:37
1419
转载 pandas数据清洗，排序，索引设置，数据选取
此教程适合有pandas基础的童鞋来看，很多知识点会一笔带过，不做详细解释Pandas数据格式SeriesDataFrame：每个column就是一个Series基础属性shape,index,columns,values，dtypes，describe(),he...
2018-10-18 15:30:21
484
1
转载 机器学习中常用损失函数
1. 损失函数损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x)值。2. 常用损失函数常见的损失误差有五种： 1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中； 2. 互熵损失 （Cross Entrop...
2018-10-18 14:56:50
1329
原创 Python 常用操作
整理一些Python数据类型相关的方法，备忘。1、list to ndarray方法： b = np.array(a)a是list类型,b为ndarray类型。2、查看元素类型type（Object）3、查看列表的维度（要先转化为ndarray类型，再查看维度）np.array(a).shape #a为列表4、直接获取csv文件中的某一列df = pd.read_csv(...
2018-10-15 18:01:13
752
转载 Hive基本操作
https://blog.csdn.net/scgaliguodong123_/article/details/46868525 数据库操作查看所有的数据库 hive> show databases ;使用数据库default hive> use...
2018-10-15 17:55:36
261
原创 Python sklearn.cross_validation.train_test_split及混淆矩阵实现
sklearn.cross_validation.train_test_split随机划分训练集和测试集一般形式：train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为：X_train,X_test, y_train, y_test =cross_validation.train_test_split(trai...
2018-10-15 11:32:51
2539
转载 Numpy函数
https://blog.csdn.net/u011995719/article/details/71080987 前言：最近学习Python，才发现原来python里的各种库才是大头！ 于是乎找了学习资料对Numpy库常用的函数进行总结，并带了注释。在这里分享给大家，对于库的学...
2018-10-12 11:24:53
1097
转载 Pandas 基本操作
python数据分析工具pandas中DataFrame和Series作为主要的数据结构.本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。1）查看DataFrame数据及属性df_obj = DataFrame() #创建DataFrame对象df_obj.dtypes #查看各行的数据格式df_obj['列名'].astype(int)#转换某列的数据类型...
2018-10-12 11:18:38
308
原创 Docker概念及操作命令细节(带详细实际操作截图）
由于在公司最近要用服务器上的GPU装caffe进行开发，但是没有管理员权限，又怕自己装环境把整体的环境弄乱了，因此便打算使用docker来进行开发工作。概念Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化...
2018-08-09 17:56:36
744
转载 caffe源码理解之inner_product_layer
原文地址：https://www.cnblogs.com/dupuleng/articles/4312149.html 在caffe中所谓的Inner_Product（IP) 层即fully_connected (fc)layer，为什么叫ip呢，可能是为了看起来比较优雅吧。。 从CAFFE_ROOT/examples/mnist/lenet.prototxt中截取一段假设conv2的输入是2...
2018-08-02 15:52:08
486
转载 caffe中各个层——解析
原文地址：http://www.cnblogs.com/denny402/p/5071126.html 所有的层都具有的参数，如name, type, bottom, top和transform_param请参看我的前一篇文章：Caffe学习系列(2)：数据层及参数本文只讲解视觉层（Vision Layers)的参数，视觉层包括Convolution, Pooling, Local Res...
2018-08-02 15:15:00
1482
1
转载 Google机器学习术语表
https://developers.google.cn/machine-learning/glossary/?hl=zh-CN
2018-08-01 12:12:17
244
转载 Faster RCNN
贴上两篇非常好的博客： https://blog.csdn.net/lanran2/article/details/54376126 https://blog.csdn.net/hunterlew/article/details/71075925 https://blog.csdn.net/g11d111/article/details/78823663...
2018-07-27 16:48:19
268
原创 自然场景文本处理论文整理 （5）Detecting Curve Text in the Wild: New Dataset and New Solution
paper：https://arxiv.org/abs/1712.02170 github:https://github.com/Yuliang-Liu/Curve-Text-Detector一、摘要 为了提出在野外阅读曲线文本的问题，在本文中，我们构建了一个名为CTW1500的曲线文本数据集，其中包括1,500个图像中的超过10k文本注释（1000个用于训练，500个用于测试）。基于该数...
2018-07-26 14:37:15
4872
转载 Fast R-CNN
这里贴上两篇讲解比较详细的文章，作为记录 https://blog.csdn.net/WoPawn/article/details/52463853?locationNum=5 https://blog.csdn.net/wonder233/article/details/53671018
2018-07-24 14:59:47
213
原创 自然场景文本处理论文整理 （4）PixelLink
摘要大多数最先进的场景文本检测算法是基于深度学习的方法，其依赖于边界框回归并且执行至少两种预测：文本/非文本分类和位置回归。回归在这些方法中获取边界框中起着关键作用，但它不是必不可少的，因为文本/非文本预测也可以被视为一种包含完整位置信息的语义分割。然而，场景图像中的文本实例通常彼此非常接近，使得它们很难通过语义分割来分离。因此，需要实例分割来解决此问题。本文提出了一种基于实例分割的新型场景文...
2018-07-23 17:23:34
3550
1
原创 自然场景文本处理论文整理（3）Mask TextSpotter
这篇论文是2018年7月6号出来的，对于任意形状的自然文本检测识别效果非常好。 paper:https://arxiv.org/abs/1807.02242 目前无相关源码1.摘要简介在本文中，我们提出了一个名为Mask TextSpotter的文本监视器，它可以检测和识别任意形状的文本实例。 这里，任意形状意味着现实世界中可能呈现的各种形式的文本实例。 受Mask R-CNN [9]...
2018-07-23 16:51:45
3123
1
原创 自然场景文本处理论文整理（1）Spatial Transformer Networks
paper：Spatial Transformer Networks 在Theano框架中，STN算法已经被封装成API，可以直接调用。tensorflow实现见文章最后。 1、空间变换器的结构： 这是一个可微分的模块，它在单个前向传递期间将空间变换应用于要素图，其中变换以特定输入为条件，从而生成单个输出要素图。对于多通道输入，对每个通道应用相同的扭曲。为简单起见，在本节中我们考虑每个变...
2018-07-20 11:03:10
809
原创 自然场景文本处理论文整理（2）STN-OCR
今天是进入公司实习的第三周了，在小组内负责的工作主要是和自然场景文本检测相关的内容。这里把看过的论文做一下翻译和整理，也方便自己日后查看。 Paper：STN-OCR: A single Neural Network for Text Detection and Text Recognition Github地址：https://github.com/Bartzi/stn-ocr摘要检...
2018-07-19 17:52:19
6229
1
原创 tensorflow（十三）seq2seq.py文件源码解析（上）
一、前言自从接触并学习tensorflow框架之后，总是会遇到很多莫名奇妙的报错信息。而网上又很少有相似的问题的解决方案。因此很久之前就想学一下tendorflow的源码，能够深层次的理解tensorflow这个框架。但是由于一些原因耽搁了。现在正式开始研究tensorflow源码，由于要参加之后的京东对话系统挑战赛，因此就从nlp部分的seq2seq开始。这里使用的tensorflow版本为...
2018-05-28 14:16:35
716
原创 tensorflow(十二）利用seq2seq的Decoder-Encoder机制实现序列生成模型（下）
本文为利用seq2seq实现单词序列转换的代码，开发环境为jupyter，tensorflow版本为1.2.1 实验数据和程序文件见链接：https://pan.baidu.com/s/1YDkaQFvWuKN8KAT1aQ4Z0A一、预处理1、引入必要的包 打开source和target两个txt文件，并打印前十个数据 2、数据预处理这个阶段主要对每个字母映...
2018-05-28 14:15:07
3298
原创 tensorflow(十一)--利用seq2seq的Decoder-Encoder机制实现序列生成模型（上）
前言：由于本社群打算组队参加京东的多轮对话系统挑战赛，比赛内容主要是做一款功能强大的聊天机器人，由于之前一直都是在做视觉，而seq2seq又是聊天机器人不可或缺的，因此打算学一下nlp的东西。（PS：大佬们如果对比赛感兴趣的，可以联系群主。）一、初识seq2seq 即“Sequence to Sequence”，是一个 Encoder–Decoder 结构的网络，它的输入是一个序列...
2018-05-28 14:13:53
3404
原创 tensorflow（十）生成式对抗网络（GAN）下篇----tensorflow实现
本文接上一篇博文：一、程序代码程序主要实现上篇文章中所提到的随机噪声拟合高斯分布的过程，话不多说，直接上代码： #引入必要的包 import argparse import numpy as np from scipy.stats import norm import tensorflow as tf import matplotlib...
2018-05-09 12:30:05
830
原创 tensorflow（九）生成式对抗网络（GAN）上篇----简介与算法原理
一、简介生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。 模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需...
2018-05-09 12:25:53
1417
原创 tensorflow（八）tensorflow加载VGG19模型数据并可视化每一层的输出
一、简介VGG网络在2014年的 ILSVRC localization and classification 两个问题上分别取得了第一名和第二名。VGG网络非常深，通常有16－19层，如果自己训练网络模型的话很浪费时间和计算资源。因此这里采用一种方法获取VGG19模型的模型数据，从而能够更快速的应用到自己的任务中来，本文在加载模型数据的同时，还可视化图片在网络传播过程中，每一层的输出特征...
2018-05-09 12:20:09
11763
7
原创 tensorflow（七）实现mnist数据集上图片的训练和测试
本文使用tensorflow实现在mnist数据集上的图片训练和测试过程，使用了简单的两层神经网络，代码中涉及到的内容，均以备注的形式标出。 关于文中的数据集，大家如果没有下载下来，可以到我的网盘去下载，链接如下： https://pan.baidu.com/s/1KU_YZhouwk0h9MK0xVZ_QQ 下载下来后解压到F盘mnist文件夹下，或者自己选择文件存储位置，然后在下面代码的...
2018-04-28 16:55:45
2335
原创 tensorflow（五）神经网络实现mnist分类
只有两层的神经网络，直接上代码#引入包import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt#引入input_data文件from tensorflow.examples.tutorials.mnist import input_data#读取文件mnist = input_data.r...
2018-04-24 15:28:39
1020
原创 tensorflow（四）实现逻辑回归模型
逻辑回归模型 逻辑回归是应用非常广泛的一个分类机器学习算法，它将数据拟合到一个logit函数(或者叫做logistic函数)中，从而能够完成对事件发生的概率进行预测。import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.m...
2018-04-24 13:44:34
1112
1
原创 tensorflow（三）加载mnist数据集
mnist作为最基础的图片数据集，在以后的cnn，rnn任务中都会用到import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_data#数据集存放地址，采用0-1编码mnist = i...
2018-04-23 20:47:26
2134
1
原创 tensorflow（二）利用tensorflow实现线性回归
一、随机生成1000个点，分布在y=0.1x+0.3直线周围，并画出来import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltnum_points = 1000vectors_set = []for i in range(num_points): x1 = np.random.nor...
2018-04-23 17:02:16
1115
原创 tensorflow (一) 介绍及基本操作
一、tensorflow介绍TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。 TensorFlow可被用于语...
2018-04-23 16:20:17
2755
原创 DL（六）利用神经网络实现线性不可分数据分类
Softmax分类见上一篇博文：https://blog.csdn.net/missayaaa/article/details/80050313 神经网络代码如下所示：import numpy as npimport matplotlib.pyplot as pltnp.random.seed(0)N = 100 # number of points per classD = ...
2018-04-23 14:47:33
1335
原创 DL（五）利用softmax线性分类器对线性不可分数据进行分类
下面为代码：#Train a Linear Classifierimport numpy as npimport matplotlib.pyplot as pltnp.random.seed(0)N = 100 # number of points per classD = 2 # dimensionalityK = 3 # number of classesX = np...
2018-04-23 14:43:18
1718
原创 DL（四）用python实现简单的神经网络
实现只有三层的神经网络import numpy as np#定义sigmoid函数def sigmoid(x,deriv = False): if (deriv == True): return x*(1-x) return 1/(1+np.exp(-x))#输入x = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1...
2018-04-23 13:58:31
622
原创 Python（五）生成器、迭代器
一、生成器 求平方//传统方法 浪费时间square_table = []for i in range（10000）： square_table.append(i*i)for i in range(10): print (square_table[i])生成器(到使用的时候才做真正的计算，节省时间和空间）square_generator = (x*x f...
2018-04-22 20:35:05
270
原创 Python（四）切片、列表推导
一、将给定的字符串反转 //将每个单词反转，然后将所有字符反转，最后再合成新的单词def reverse(str_list,start,end): while start<end: str_list[start],str_list[end] = str_list[end],str_list[start] start += 1 ...
2018-04-22 18:56:22
301
原创 Python（三）容器（list、tuple、dict、set)
一、列表list list可以有任意类型元素li = [1,2,3,'456',[1,2,3],{1:'one'}]list访问print(li[0])print(li[-1])查找元素位置print(li.index('456'))print(li.index([1,2,3]))添加元素l_a = [1,2,3]l_a.append(4) ...
2018-04-21 23:33:48
353
原创 Python（二）关键词和循环控制
一、if判断a = 100b = 200c = 300if c == a: print(a)elif c == b: print(b)else: print(c)二、None的判断x = Noneif x is None: print('None')else: print('not None')三、for循环fo...
2018-04-21 17:41:50
663
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人