- 博客(33)
- 收藏
- 关注
RSS订阅原创 远程连接服务器训练时使用screen
之前只是单纯的使用终端来连接服务器进行训练，但是这样的话自己本地的电脑不能关机，一旦关机那么服务器上的训练也就停止了，所以尝试使用了screen命令来解决这个问题简单来说，Screen是一个可以在多个进程之间多路复用一个物理终端的窗口管理器。Screen中有会话的概念，用户可以在一个screen会话中创建多个screen窗口，在每一个screen窗口中就像操作一个真实的telnet/SSH连接窗...
2019-03-12 10:29:44
2925
原创 Darknet概述
优点Darknet是一个比较小众的深度学习框架，没有社区，主要靠作者团队维护，所以推广较弱，用的人不多。而且由于维护人员有限，功能也不如tensorflow等框架那么强大，但是该框架还是有一些独有的优点：1.易于安装：在makefile里面选择自己需要的附加项（cuda，cudnn，opencv等）直接make即可，几分钟完成安装；2.没有任何依赖项：整个框架都用C语言进行编写，可以不依赖...
2019-02-27 14:35:10
90563
17
原创 tensorflow查看ckpt各节点名称
运行下列脚本，可以打印出模型各个节点变量的名称：from tensorflow.python import pywrap_tensorflowimport oscheckpoint_path=os.path.join('model.ckpt-131805')reader=pywrap_tensorflow.NewCheckpointReader(checkpoint_path)var_...
2019-01-07 10:38:13
17229
7
原创 keras多显卡训练
使用keras进行训练，默认使用单显卡，即使设置了os.environ['CUDA_VISIBLE_DEVICES']为两张显卡，也只是占满了显存，再设置tf.GPUOptions(allow_growth=True)之后可以清楚看到，只占用了第一张显卡，第二张显卡完全没用。要使用多张显卡，需要按如下步骤：（1）import multi_gpu_model函数：from keras.utils ...
2018-12-04 10:25:34
3800
6
原创 VS code调试python
1.VS code在虚拟环境下调试为了更好的环境管理，用anaconda给不同的项目构造了对应的虚拟环境，以防止项目间的环境冲突。但在VS code的调试过程中，断电设置无效，无法调试。 在文件->首选项->设置里面，搜索python.venvPath，此时为空，将虚拟环境的路径付给该变量，如"python.venvPath": "/home/seven/anaconda2/en...
2018-09-04 11:50:51
1167
原创 anaconda增加channels
在自己电脑上用anaconda安装tensorflow（conda install tensorflow-gpu）直接安装最新的1.9版本，在服务器上用相同命令只能安装1.3版本，强行安装1.9（conda install tensorflow-gpu==1.9）结果显示PackageNotFoundError: Package missing in current linux-64 ch...
2018-08-23 17:54:47
31705
原创 linux 相关操作
1.-bash: /bin/cp: 参数列表过长当要拷贝的文件过多或过大时，会出现这样的提示，改用命令：find /folder1 -name "*.jpg" -exec cp {} /folder2 \;表示将folder1文件夹下所有的jpg后缀文件拷贝到folder2（folder2后又一个空格，\;不能省略）2.查看文件夹下文件个数ls -l |grep "^-...
2018-03-15 14:51:31
262
原创 搜狗新闻语料库解析
搜集语料，考虑使用搜狗新闻语料库。但其采用了gbk编码，在ubuntu下打开为乱码，需要将编码格式转换为utf。 直接采用shell命令进行转码：cat news_tensite_xml.dat | iconv -f gbk -t utf-8 -c | grep "<content>" > a.txt但得到的txt文件中会有些许乱码想尝试在windows下打开（w...
2018-03-13 17:06:51
6619
11
原创 keras（tensorflow后端）给模型建立单独的graph
因为要在一个项目中同时导入多个模型，需要给keras模型新建个graph，但是按照tensorflow新建graph的方式一直类似的报错：ValueError: Tensor Tensor("Sigmoid_2:0", shape=(?, 17), dtype=float32) is not an element of this graph.原因大概是多线程、分布式环境下，恢复Model时的Tens
2018-01-18 11:06:56
4509
5
原创 在一个项目中导入多个不同tensorflow模型
刚开始直接采用调用一个模型的方法： （1）定义网络 （2）新建sess：sess = tf.Session(config=config) （3）定义saver：saver = tf.train.Saver() （4）导入权重：saver.restore(sess, xxx) 但是，如果在一个项目中同时导入多个模型，会报错，应该是graph冲突，所以需要给每个模型单独新建graph：g1 =
2018-01-18 10:58:23
8582
7
原创 python-opencv 旋转文本校正
试了下OpenCV实现基于傅里叶变换的旋转文本校正的方法，对于场景单一的纯文本效果还行，用python-opencv进行了重写，代码如下import cv2import numpy as npfrom math import *def rotate_lh(img,degree): height_ori,width_ori=img.shape[:2] height_1=int(wi
2017-11-03 16:21:12
2861
1
原创 ubuntu14.04安装matlab2016b
首先，默认已经下载了破解版安装文件，其中应该包含一下三个文件： 1. 挂载终端输入sudo mkdir /media/matlabsudo mount -o loop ~/安装包/matlab2016b/R2016b_glnxa64_dvd1.iso /media/matlab/~/安装包/matlab2016b/R2016b_glnxa64_dvd1.iso是我的安装文件存放路径，自己根据自己
2017-11-03 16:02:46
1609
原创 opencv旋转图像
一直知道怎么用，最近需要旋转图像，并保证图像不能被剪切，并实现来回的坐标转换，就把原理好好捋了捋。1.改变坐标系首先，opencv的坐标系是图像左上角为原点，垂直方向往下为y轴正方向，水平方向往右为x轴正方向，而在图像旋转过程中，需要改变坐标系，将图像原点移到图像中心点，并将y轴反向。 因此，如图（x0，y0）表示图像的中心点坐标（坐标原点为图像左上角） 2.旋转之后，对图片进行旋转，如下图，阿
2017-10-25 19:31:58
2269
1
原创 ubuntu 14.04 编译caffe报错及解决
1.opencv函数未定义的引用如图， 因为我电脑有多个版本opencv，一直以为是opencv配置错误，结果后来发现是makefile里面opencv的lib文件未添加完全。。。解决办法：打开caffe文件夹下的Makefile文件，直接搜索opencv，在opencv_imgproc 后面加上opencv_imgcodecs，如图： 修改之后需要清楚之前编译的结果，终端在caffe文件夹下输
2017-10-23 18:39:59
456
原创 ubuntu14.04的python2和python3手动切换
本来一直使用系统默认的2.7，但是经常有代码需要python3，所以研究了下python2和python3之间的手动切换终端输入即可sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100sudo update-alternatives --install /usr/bin/python pytho
2017-10-18 10:45:46
553
原创 远程连接服务器的基本操作
1.连接服务器在本地终端输入ssh 服务器用户名@服务器IP地址然后根据提示输入用户密码，即可连接2.上传文件在本地终端输入scp 文件名 服务器用户名@服务器IP地址:需要存储文件的服务器路径如将终端所在路径下的a.txt文件上传到用户名为ubuntu，ip地址为1.1.1.1的服务器上，并存储在服务器上的~/seven文件夹下：scp a.tx
2017-10-12 16:42:21
3646
原创 CMakeList的基本写法
最近需要自己写CMakaList，所以简要写一下一些基本的操作。为图实用，只写了常用的简单操作。1.确定cmake最低版本需求cmake_minimum_required(VERSION 3.0.0)2.确定工程名project(XXX)这个不是必须，但是最好写一下，这一行会引入两个变量XXX_BINARY_DIR (二进制文件保存路径)和 XXX_SOURCE_DIR(源代码保存路径)3.添加需要
2017-10-12 16:03:30
29603
7
原创 使用valgrind来检查内存泄漏
之前写代码，有少量的内存泄露，平时没发现，长时间运行才发现问题。为以后更方便的检测内存泄漏问题，于是学习使用了valgrind来对内存泄漏进行检测。valgrind不止可以检测内存泄露，但目前只使用这一功能。1.安装去以下链接下载安装文件下载链接 下载完成后解压，终端进入解压后的文件夹，依次输入./configuremakemake install如遇提示权限不够，make前加sudo 如果
2017-10-12 14:03:48
14977
原创 车牌识别系统
将车牌识别系统细分为三个部分： 1.车牌检测 2.字符分割 3.字符识别1.车牌检测为实现更稳定的检测性能，使用yolo来对车牌进行识别。具体的训练方法见darknet用自己的数据进行训练。数据由EasyPR提供的200多张和自己从网上爬的几百张组成，爬虫脚本和数据标注方法见自行准备深度学习训练数据。最终得到的效果不错，下面是一些测试结果： 2.字符分割利用EasyPR开源的代码来实现字符分
2017-08-21 18:18:34
6747
12
原创 EasyPR安装编译出错
最近搞个车牌识别，所以把EasyPR搞下来试了试，直接安装失败，所以做个小笔记，以免以后再用又要根据错误提示去自行调错。 下载并解压后，进入EasyPR根目录，终端输入 ./build.sh提示错误 根据错误找到EasrPR-master/include/easypr中的config.h，找到末尾这段代码// Load model. compatitable withe 3.0, 3.1 and
2017-08-21 14:08:10
3089
原创 ubuntu /boot 空间不足
最近更新一直显示失败，说/boot剩余空间不足，之前装系统，按照网上所说留了100M，结果发生这种情况以为是自己设小了，以为要重新设定。百度了一下，不需要重新分区，删除了不需要的文件，成功实现清理：1.查看已安装的linux-image各版本终端输入dpkg --get-selections |grep linux-image查看安装的版本如图是我已经清理完后的情况，清理前应该会有linux-ima
2017-08-21 12:36:47
436
原创 利用tensorflow object detection训练ssd_mobilenets
已经安装好了object detection这个api，先利用该api对ssd_mobilenets进行训练1.文件夹构造为不影响tensorflow的源码，我在我的主文件夹下新建了名为ssd_mobilenets的文件夹，里面放置了名为QRCodeData的文件夹，QRCodeData中有image和xml两个文件夹，其中image包含这图片数据，xml包含着xml数据。在根目录新建models文
2017-08-18 20:42:36
7605
原创 tensorflow object detection API安装
object_detection 能够对ssd_mobilenets进行训练，为了体验效果，对object_detection 进行了安装1.安装依赖项我的是ubuntu 14.04，故在终端中输入如下命令sudo pip install pillowsudo pip install lxmlsudo pip install jupytersudo pip install matplotlib
2017-08-18 19:17:02
955
原创 yolo模型移植到android手机端
之前写了android demo在手机上的运用，但是模型都是官方给的，想要替换成自己的模型，所以尝试了下将自己训练的yolo模型来替换demo给的模型。 首先，darknet的训练和.weight文件到.pb文件的转化，以及android demo的实现见之前的博客。在此不再叙述sdk，nkd等配置问题，且直接使用.pb文件。其次，默认已安装android studio。(1)终端进入（andro
2017-08-18 18:48:31
18520
3
原创 将darknet生成的.weight转化为.pb文件
由于想把yolo生成的模型移植到android手机上，所以需要将生成的权重文件转化为.pb格式，以下为步骤：1.安装darkflow去该网址https://github.com/thtrieu/darkflow.git下载darkflow源码。官方介绍说只适合python3，不过我的python2.7正常使用。 打开darkflow根目录下darkflow/utils中的loader...
2017-08-18 17:36:03
10868
27
原创 darknet用自己的数据进行训练
根据之前博客的内容自行收集训练数据集已经成功收集了一波标注好的数据，现在尝试利用自己的数据对yolo v2模型进行训练。1.处理数据由于自己的数据是pascal格式的，需要转换为darknet需要的格式，不必惊慌，官方给出了脚本，自己只需稍作修改（因为pascal格式运用较广，一般的模型框架及时不能使用pascal，也会给出pascal的转换脚本） 利用以下脚本生成train.txt（由于我的数据
2017-08-16 17:41:32
11803
1
原创 自行准备深度学习训练数据
深度学习的模型训练中，数据的收集十分重要，取得足够的数据集对于最终模型的表现有十分重要的意义。但是开源的数据集都指定了特定的目标进行标注，如行人，车辆。当要训练自己所需要的特定检测模型，却又没有开源数据集的时候，就需要自己去收集和标注图像数据用于训练了。1.数据收集目前主要通过从百度图片上爬图片来进行数据收集，爬虫脚本如下：#-*- coding:utf-8 -*- import re im
2017-08-11 15:52:31
3754
1
原创 tensorflow移植到手机端（TensorFlow Android Camera Demo）的实现
谷歌官方发布的android demo包含了三个应用，检测，识别和风格转换。尝试了下，步骤如下：（默认已经源码安装tensorflow）1.安装SDK下载sdk并解压到tensorflow根目录$ wget https://dl.google.com/android/android-sdk_r24.4.1-linux.tgz$ tar xvzf android-sdk_r24.4.1-linux.
2017-08-10 19:38:45
3904
2
原创 ubuntu14.04源码安装tensorflow
前言：之前尝试过用anaconda安装，简单轻松一切正常使用。但由于我想要使用android demo，而官网教程只给了利用源码安装tensorflow的使用教程，所以就用源码重装了一遍tensorflow。想要把tensorflow用在手机端的同学最好还是用源码安装吧。首先，已提前安装好cuda8.0和cudnn。如pip等如果未安装可以根据错误提示安装1.下载tensorflow$ git cl
2017-08-10 19:20:16
951
原创 ubuntu16.04安装anaconda（python2.7 版本）
1.下载anaconda安装文件，官网速度较慢，建议清华开源软件镜像站下载： https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/ 2.用终端进入anaconda安装文件所在文件夹路径（cd xxx） 3. 在终端输入bash xxx(xxx为anaconda安装文件名 4. 不断按enter键是命令窗口显示的内容来到协议末尾，输入yes，然后
2017-07-08 11:11:05
3190
1
原创 ubuntu下opencv 3.2配置
下载opencv3.2源码压缩包到电脑下载opencv相关的库文件sudo apt-get install build-essentialsudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-devsudo apt-get install python-d
2017-07-08 11:03:27
722
原创 ubuntu16.04系统安装cuda 8.0
## ubuntu16.04系统安装cuda 8.0##下载CUDA 8.0 官网去下载，选择如图安装CUDAsudo dpkg -i xxx(xxx为文件名)sudo apt-get updatesudo apt-get install cuda3.添加环境变量sudo gedit /etc/profileexport PATH=/usr/local/cuda-8.0/bin:$P
2017-07-08 10:33:14
588
原创 win10下安装ubuntu16.04
## win10下安装ubuntu16.04 ## win10下安装Ubuntu成为双系统，做启动盘的步骤此处忽略。由于显卡是Nvidia最新的10系显卡（1070），ubuntu系统和显卡兼容性不够，装好系统后桌面一直闪屏，未解决此问题将整个装机过程进行梳理。Ubuntu分区 win+x进入磁盘管理器，腾出足够的空间给Ubuntu系统。然后U盘启动进行分区操作，具体分区情况如下：主分区（
2017-07-08 10:18:21
574
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人