- 博客(39)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【每日学习】深度学习相关知识
1、【2019年11月8日】过拟合与欠拟合过拟合和欠拟合是常见的机器学习概念，这里写一下，为后面的BN层学习奠定基础。我们可以用下面的图来表示：最左边为欠拟合，可以看出拟合程度不是很好，经常会造成训练中精度不高。最右边为过拟合，曲线很好拟合了样本，以至于噪声数据也被拟合，经常会造成实际测试精度不高。中间的就拟合的非常好，即保证了正常样本的拟合，又确保了噪声数据不会被拟合。（1）欠拟...
2019-11-09 14:30:29
485
原创 【每日学习】图像处理相关知识
鉴于基础知识掌握的太差，特此开贴，以分类为题目，每天更新一条学习记录。监督自己，好好学习相关理论知识。1、【2019年11月6日】霍夫变换常见的有霍夫直线检测与霍夫圆检测。霍夫变换运用两个坐标空间（直角坐标系与参数空间）之间的变换，将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题。Hough直线检测的基本原理在于利...
2019-11-06 20:50:06
697
原创 如何生成大批量的可以训练的数据
深度学习中，让一个模型能够有更好的泛化能力，最重要的根本就是数据的多样性。但是现实中场景数据复杂多样。以OCR文档识别为例，一方面收集会耗费大量精力（文档图像拍照等等），另一方面，标注过程费时费力，不仅需要标注文本位置，还需要标注其对应的label信息。以下仅为思路参考：1、有可以大量使用的电子版数据（数据库、文本文档等）2、利用word模板生成对应的word文档3、docx...
2019-10-23 10:46:19
1236
原创 上采样、上池化、双线性插值、反卷积梳理
在深度学习的网络模型中，不但有通过卷积获得图像特征，而且也有一些放大操作，例如FCN、U-Net等等。这些操作有上采样（Upsampling）、上池化（Unpooling）、双线性插值、反卷积。下面对这四个进行梳理。一、上采样（Upsampling）上采样概念：上采样指的是任何可以让图像变成更高分辨率的技术。最简单的方式是重采样和插值：将输入图片进行缩放到一个想要的尺寸，而且计算每个...
2019-09-04 16:38:21
4925
原创 RuntimeError: CUDA error: an illegal memory access was encountered
CRNN训练出现了RuntimeError: CUDA error: an illegal memory access was encountered错误。使用的PyTorch 1.1，自带CTCLoss函数。查阅资料，发现既不是字典少字，也不是空格以及换行符的原因。发现最后的错误来源是因为CTC函数，于是更换成了https://github.com/SeanNaren/warp-ct...
2019-07-20 12:51:34
17717
1
原创 Python-OpenCV之图像与位置标注的仿射变换
不管是在目标检测还是在OCR文本检测的时候，都会有数据预处理这一步。那我们在对图像进行缩放、旋转的过程中，标注的位置信息肯定也是会变化的。1 缩放图像利用OpenCV进行缩放，我们可以使用resize方法进行。但是标注信息呢？以按照原点进行缩放为例，原图大小的宽度和高度分别为w和h，我们可以先求出在高度和宽度上缩放的比例。这样在resize的时候可以指定fx和fy的缩放比例了。然后针...
2019-07-08 18:07:05
1324
1
原创 OCR目前的发展现状综述
本文目的是为了总结OCR各类技术的发展，从搜集资料到整理，可以看出OCR技术目前的一个大致发展趋势。目前还处于随时添加状态，敬请期待！【更新时间】2019年9月26日【很好的参考资料】这个GitHub收集了文本检测、文本识别、端到端的论文以及部分开源代码，很好的学习资料！1 OCR的应用场景目前OCR的应用场景主要分为以下三个方面：1、自然场景下多形态文本检测与识别...
2019-06-14 10:32:15
18182
1
转载 【转载】从编程实现角度学习Faster R-CNN（附极简实现）
【原文地址】https://zhuanlan.zhihu.com/p/32404424【GitHub极简实现】https://github.com/chenyuntc/simple-faster-rcnn-pytorch陈云大神的文章，从编程的角度帮助理解Faster R-CNN，我学习PyTorch就是跟着他的书开始的。1 概述在目标检测领域, Faster R-CNN表...
2019-04-13 20:13:51
479
1
原创 【论文笔记】端到端文本检测与识别——FOTS
常见的深度学习OCR过程中，会把文本检测与文本识别拆分成两个部分，通过先检测后识别的方法对图片中的文本进行OCR识别。在商汤的paper中，一种新的端到端快速检测识别模型给了我们一个很大的惊喜。【论文题目】FOTS: Fast Oriented Text Spotting with a Unified Network【摘要】偶然的场景文本定位被认为是文档分析社区中最困难和最有价值的挑...
2019-04-12 15:27:54
5567
原创 遇见你，是我幸福的开始
2016年9月，在完成了本科四年的学习之后，我又一次坐上了前往北京的列车，踏上了硕士学习深造之旅。在这里，第一次遇到了你，在我心里，你是一个阳光开朗、积极向上、可爱漂亮的女生。研一的生活，是学习与活动一起进行的一年。在这一年，我们共同完成了拔河、跑步打卡、趣味运动会的项目。上课的时候，给你玩了纪念碑谷的游戏，一步一步帮助艾达公主完成任务，与此同时，我们也逐渐走向了爱情~后来，我们在秋天的时候爬...
2019-04-03 16:13:47
1040
2
原创 【论文笔记】使用深度学习去除摩尔纹干扰
针对之前数据采集过程中摩尔纹的严重干扰，导致OCR对这种图片检测与识别精度不高的问题，搜索了大量有关如何消除摩尔纹的资料，包括传统的图像处理方法以及深度学习方法，发现这篇论文无论从方法上还是效果上都挺不错的。【论文题目】Moiré Photo Restoration Using Multiresolution Convolutional Neural Networks【摘要】数码相机...
2019-03-21 16:53:39
23709
10
转载 【转载】【论文笔记】文本检测之EAST
【原文地址】https://zhuanlan.zhihu.com/p/37504120简介论文题目：EAST: An Efficient and Accurate Scene Text Detector论文地址：https://arxiv.org/pdf/1704.03155.pdf代码复现：https://github.com/argman/EAST传统的文本检测方法和一些基...
2019-03-21 09:00:16
1745
转载 【转载】【论文笔记】文本识别之CRNN
原文地址：https://blog.csdn.net/dcrmg/article/details/80189819【论文下载】An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text RecognitionCRNN是一种卷...
2018-09-27 10:43:38
6270
3
原创 OpenCV-Python的文本透视矫正与水平矫正
已经感觉一个月没有更博了，最近也是在找工作找实习。最近在看的就是如何使用神经网络去做一个OCR识别，网上的资料多种多样，包括分割单字进行识别的，也有不定长文字识别。网络模型目前看到比较多的是CRNN，检测的模型包括CTPN、YOLO等等。今天整理的是数据预处理上的文本透视矫正与水平矫正。一、透视矫正透视矫正是什么？比如发现了一页纸，写的挺好，你想拍下来，但是拍摄时角度的问题，你拍成了下...
2018-08-22 09:58:19
21732
12
转载 【转载】一篇搞定机器学习面试
序言本文尽可能的不涉及到繁杂的数学公式，把面试中常问的模型核心点，用比较通俗易懂但又不是专业性的语言进行描述。希望可以帮助大家在找工作时提纲挈领的复习最核心的内容，或是在准备的过程中抓住每个模型的重点。实战环境说明：Python 2.7 Sklearn 0.19.0 graphviz 0.8.1 决策树可视化一、决策树1.1 原理顾名思义，决策树就是用一棵树来表示我们的整...
2018-07-09 15:47:23
10374
1
原创 准确率、精确率、召回率、F1值、ROC/AUC整理笔记
对于二分类问题，机器预测的和实际的还是会有所偏差，所以我们引入以下几个概念来评价分类器的优良。一、TP、TN、FP、FN概念首先有关TP、TN、FP、FN的概念。大体来看，TP与TN都是分对了情况，TP是正类，TN是负类。则推断出，FP是把错的分成了对的，而FN则是把对的分成了错的。（我的记忆方法：首先看第一个字母是T则代表分类正确，反之分类错误；然后看P，在T中则是正类，若在F中则实际为...
2018-07-09 10:11:38
133499
7
转载 【转载】目标检测算法总结
原文地址：https://www.cnblogs.com/guoyaohua/p/8994246.html目标检测是很多计算机视觉任务的基础，不论我们需要实现图像与文字的交互还是需要识别精细类别，它都提供了可靠的信息。本文对目标检测进行了整体回顾，第一部分从RCNN开始介绍基于候选区域的目标检测器，包括Fast R-CNN、Faster R-CNN 和 FPN等。第二部分则重点讨论了包括YO...
2018-06-27 16:14:05
2556
原创 2018百度西交大大数据竞赛-商家招牌的分类与检测
【比赛官网】http://dianshi.baidu.com/gemstone/competitions/detail?raceId=17【赛题简介】现实生活中的招牌各种各样，千变万化。针对初赛，在现实世界中，选取100类常见的招牌信息，如肯德基、麦当劳、耐克等。每类招牌挑选出10～30张图像作为训练数据，5～10张图像作为测试数据。参赛者需要根据训练集，构建算法模型，然后针对测试集进行分类，...
2018-06-01 10:00:44
4236
7
转载 【转载】常用数据增强方法总结及实现
【参考资料】博客园-data augmentation 总结，CSDN博客-数据增强方法总结，海康威视研究院ImageNet2016竞赛经验分享【常用方法】1、Color Jittering：对颜色的数据增强：图像亮度、饱和度、对比度变化（此处对色彩抖动的理解不知是否得当）；2、PCA Jittering：首先按照RGB三个颜色通道计算均值和标准差，再在整个训练集上计算协方差矩阵，进行特征分解，得...
2018-05-17 19:55:42
8524
2
原创 基于U-Net的眼底图像血管分割实例
【英文说明】https://github.com/orobix/retina-unet#retina-blood-vessel-segmentation-with-a-convolution-neural-network-u-net【更新】针对Python3版本对此部分代码做了优化，已上传到我的GitHub：点击打开链接【注意事项】1.运行run_training.py或run_tes...
2018-04-17 22:01:06
59596
327
原创 Python-OpenCV中的Gamma变换（校正）
【参考资料】https://blog.csdn.net/lichengyu/article/details/8457425 http://www.jb51.net/article/137566.htm一、什么是Gamma变换Gamma变换是对输入图像灰度值进行的非线性操作，使输出图像灰度值与输入图像灰度值呈指数关系：这个指数即为Ga...
2018-04-16 21:47:07
37926
8
转载 【转载】使用U-Net分割方法进行癌症诊断（教程翻译）
【原文地址】https://blog.csdn.net/qq_30911665/article/details/74356112【原 作 者】 Jonathan Mulholland and Aaron Sander, Booz Allen Hamilton【英文地址】https://www.kaggle.com/c/data-science-bowl-2017#tutorial...
2018-03-27 10:37:19
6779
19
转载 【转载】常见医疗扫描图像处理步骤
【文章来源】http://blog.csdn.net/u013635029/article/details/72957944一、下载必要包skimage需要更新到最新0.13版本，否则会报错，ImportError: cannot import name label。sudo pip install scikit-image -U -i https://pypi.tuna....
2018-03-21 15:02:06
3680
1
原创 PyTorch使用并行GPU处理数据
【参考资料】http://blog.csdn.net/zzlyw/article/details/78769012 http://blog.csdn.net/daniaokuye/article/details/79133351 http://pytorch.org/docs/master/nn.html#dataparallel-lay...
2018-03-16 11:39:13
34382
5
原创 各类比赛数据集
本篇整理了几个比赛用的数据集，方便大家使用，提供百度云链接不定期更新，如果链接出现问题，请在评论区告知我，我会及时补链接【注意】所有数据仅限于科研所用，请勿用于商业用途！【2019.07.04更新】增加ICDAR 2015、天池全球数据智能大赛数据【Kaggle比赛】1.Kaggle-猫狗大战链接：https://pan.baidu.com/s/1cnnZXytaaC...
2018-03-07 10:34:51
16365
90
原创 华硕超算服务器Ubuntu+CUDA+cuDNN+Anaconda+Tensorflow/PyTorch环境搭建
【2018年8月3日更新】对于一些步骤进行了说明与调整，增加了一些可能遇到的问题。目录一、Ubuntu16.04 Server安装（有坑注意）二、安装Nvidia 显卡驱动（重点大坑，严加防范）三、安装CUDA9/CUDA8四、安装cuDNN7/cuDNN6五、安装Anaconda（Python3.6）六、安装Tensorflow（GPU版）/PyTorch七...
2017-09-13 10:52:26
2858
3
原创 【实验楼】基于BP神经网络的手写体识别——python3版
用自己的机器跑BP神经网络手写体识别，刚开始因为Python2与3之间存在不兼容，所以需要对代码本身做一定的修改。（实验地址：https://www.shiyanlou.com/courses/593）更新：Python3代码已上传到我的GitHub中：点击打开链接实验楼参考文档：https://www.shiyanlou.com/courses/593/labs/1966/docu...
2017-08-22 10:29:23
3348
原创 Python3爬虫小程序——爬取各类天气信息（4）
【爬取动态页面的数据】更新：已上传到我的GitHub上，点击打开链接上一次讲到用工具对动态页面进行数据爬取，但是感觉难度不小，而且运行效率简直低下。。。于是乎从网上查资料，有好多说可以通过获取网站的json数据来进行动态页面爬取，然后我就找到气象数据权威——中央气象台的官网（http://www.nmc.cn/），开始数据的爬取。然后怎么去找这个json数据呢？在后台开着抓包软件F...
2017-06-19 15:18:20
8206
原创 Python3爬虫小程序——爬取各类天气信息（3）
经过前面静态页面的爬取已经收集到很多信息了。最近在看怎么从动态页面上爬取信息，主要用到的还是selenium+phantomJS工具（如何安装？点击这里查看），虽然存在一些缺点（效率不是很高），但是还算不错。于是乎，前面从天气网（http://www.tianqi.com/）上爬信息的我，转到了中国天气网（http://www.weather.com.cn/）。但是目前爬取数据存在一定问题...
2017-06-15 15:09:53
5633
3
原创 Python3爬虫小程序——爬取各类天气信息（2）
【静态页面信息的爬取】更新：有关代码已上传到我的GitHub上，点击打开链接根据前面做的那个爬虫，进行了一些修改，例如对headers信息的伪装。通过利用Fiddler抓包软件，抓到headers信息，然后构造我们的头信息进行爬虫设计。抓包抓到的数据如下图所示：Client中就是我们需要构造的信息，部分构造代码如下所示：#模拟成浏览器headers={"Accept"...
2017-06-14 11:19:12
2214
3
原创 Python3爬虫小程序——爬取各类天气信息
本来是想从网上找找有没有现成的爬取空气质量状况和天气情况的爬虫程序，结果找了一会儿感觉还是自己写一个吧。主要是爬取北京包括北京周边省会城市的空气质量数据和天气数据。过程中出现了一个错误：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 250。原来发现是页面的编码是gbk，把语句改成data=url...
2017-06-02 16:01:19
10541
3
原创 Java Web开发中使用Mysql数据库
开发模式使用的是JSP+Servlet+JavaBean开发模式第一步 装好数据库。并在数据库中建好需要使用的数据库以及表。第二步 将数据库连接jar包导入到工程文件中。Eclipse是导入到WebContent/WEB-INF/lib下，MyEclipse是导入到Webroot/WEB-INF/lib下。我用的是mysql-connector-java-5.1.6-bin.jar
2017-03-14 15:47:42
7518
原创 ASP.NET读取Excel中的数据转存到数据库（二）
上回说到读取excel表格的时候，读取到的第一个表在实际运行中并不是Sheet1这个表，可能是一个中文表名，也可能是Sheet1。所以首先可以改进这个地方，代码如下：DataTable sheetsName = conn.GetOleDbSchemaTable(OleDbSchemaGuid.Tables,new object[]{null,null,null,"Table"}); /...
2017-03-07 14:24:04
740
原创 ASP.NET读取Excel中的数据转存到数据库（一）
【问题描述】近日需要做一些数据仓库的内容，发现数据库搭好了以后，所有的数据文件都是Excel存储的。然而数据又是及其繁杂，所以在创建好了事实表和维度表以后，准备自己写一个代码将Excel中多维的数据导入到数据库中。Excel表的部分数据如下图所示所以需要对数据进行处理，处理之后添加到数据库中。【准备工作】首先需要找到从Excel读取数据的代码。参考网址：http://www.j...
2017-03-03 08:37:10
2299
原创 ASP.NET无法使用sa用户登录数据库原因及解决方案
【问题描述】工程中web.config中写了用sa用户登录数据库。但是无法使用sa用户中的数据库。出现如下提示错误信息：【错误原因】（1）可能因为数据库中sa用户尚未启用。（2）未知原因不能使用sa用户来操作数据库。（3）web.config文件中连接信息中的Integrated Security值设置为了true。【解决办法】（1）sa用户未启用，可以使用W...
2017-02-28 15:01:32
2558
原创 Python实现K-Means聚类算法
一、算法简介1、K-Means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。2、K-Means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。3、算法采用误差平方和准则函数作为聚类准则函数。二、算法过程（1）从n个向量对象任意...
2017-02-27 16:43:29
8374
原创 使用VS2013与内置数据库进行连接
一、页面的布置1、首先需要将页面做好（本例的工程名为demo，框架用的是.NET Framework 4.5）。示例页面代码如下：<%@ Page Language="C#" AutoEventWireup="true" CodeBehind="Default.aspx.cs" Inherits="demo.Default" %><!DOCTYPE html&...
2017-02-27 14:15:32
10612
原创 Windows Server 2012 R2配置Tomcat服务器以及文件部署
一、配置Tomcat服务器1、需要安装的软件：（注意安装顺序）（1）jdk-8u121-windows-x64（2）apache-tomcat-7.0.75（3）mysql-5.5.54-winx64（4）（可选）Navicat for mysql 10.12、由于Tomcat默认的访问端口为8080，初始访问地址为http://192.168.1.232:8080/。（个人IP...
2017-02-27 10:58:44
35424
原创 Miktex 2.9+Texmaker 4.4.1安装及中英PDF生成过程
一、安装Miktex 2.9与Texmaker 4.41.下载： ①Miktex 2.9： http://mirrors.ctan.org/systems/win32/miktex/setup/basic-miktex-2.9.5105.exe。 MD5鉴别码：AEC100C7920A001679B8217A3D862B19 SHA1鉴别码：8...
2016-07-16 19:51:17
26633
4
空空如也
ArcGIS Engine 10.0 开发中MapControl不显示mxd内容
2016-07-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人