Javis486-CSDN博客

原创 python-cv2:求直线和轮廓的交点

目录1.读取图片,阈值处理2.获取轮廓和BoudingBox3.一条直线3.测试枚举线段点4.完整测试代码实例图片镇楼1.读取图片,阈值处理# 读取图片并灰度值化img = cv2.imread('d:1.jpg', 0)# 二值化,过滤掉噪音img = np.where(img < 100, 0, 255).astype(np.uint8)cv2.imshow('0', img)cv2.waitKey(0)2.获取轮廓和BoudingBoxconts, _ = cv2.fi

2020-11-07 11:56:49 7871 12

原创 ncnn笔记：03)在Andriod上从零开始搭建人脸检测模型retinaface

准备预训练模型文件ncnn官方提供的retinaface的权重及参数文件为mnet.25-opt.bin mnet.25-opt.param下载地址：https://github.com/nihui/ncnn-assets/tree/master/models，但笔者使用该权重在ubuntu上测试ncnn/build/examples会出现如下错误javis@javis-HP-280-Pro-G2-MT:~/soft/ncnn/build/examples$ ./retinaface /tmp

2020-10-16 09:32:45 2876 3

原创 ncnn笔记：02)ncnn之JNI入门初窥

上篇快速介绍了在andriod上搭建深度学习模型，本篇粗略介绍下JNIJNI是Java Native Interface的缩写，它提供了若干的API实现了Java和其他语言的通信（主要是C&C++）.这是百度百科上说的.通俗来说,就是JAVA调用C/C++函数的接口.如果你要想调用C系列的函数,你就必须遵守这样的约定.比如在C:\Users\Javis\Desktop\jni\下有个java文件需调用一个返回值为字符串的C++函数public class NativeDemo { //

2020-10-12 14:33:03 1055

原创 ncnn笔记：01)windows+AndriodStudio在安卓机上快速构建一个深度学习分类模型

1.安装AndriodStudioAndriodStudio-3.5.2下载地址: http://www.android-studio.org若遇到 unable to access android sdk add-on list 点击cancel默认安装即可下载sdk，ndk等组件：File->Settings，sdk的路径默认路径为C:\Users\Javis\AppData\Local\Android\Sdk，勾选如下的组件：...

2020-09-23 21:23:12 2232 7

原创健康湖北大培训_学习辅助工具

目录核心功能题库学习答题提示BlueStacks蓝叠 + autojs4.1.1.apk核心功能自动学习题库答题信息提示题库学习答题提示

2020-09-21 08:30:02 541 2

原创人脸识别：01)快速搭建一个人脸门禁打卡系统，支持戴口罩识别

前言本系统基于SSD模型和dlib库，SSD模型用于人脸检测，dlib用户人脸识别人脸检测人脸检测：找到图片中人脸的位置，并用方框标出dlib已经提供了完整的人脸识别API，但dlib提供的2个人脸检测模型存在如下2个问题get_frontal_face_detectorget_frontal_face_detector基于机器学习，速度快但是准确度不高，有时离摄像头较远或戴口罩，会检测不到人脸detector = dlib.get_frontal_face_detector()cnn_f

2020-08-17 11:16:13 3659 19

原创 YOLOV4:从零开始安装&训练自己的数据集

CUDA安装具体可以参考博文Centos7离线安装nvidia驱动的两种方法，推荐使用方法2，编译时需要ncvv,因此最后添加下面环境变量到~/.bashrcCUDA_HOME=/usr/local/cudaexport PATH=$CUDA_HOME/bin:$PATHopencv安装

2020-05-20 16:40:43 7776 25

原创 YOLOV4：opencv4编译问题

系统环境： Centos7 opencv-2.4.5(yum installed)问题1：LIBTIFF_4.0错误undefined reference to TIFFRGBAImageOK@LIBTIFF_4.0' /usr/lib/x86_64-linux-gnu/libopencv_highgui.so: undefined reference to TIFFReadRGBAStrip@LIBTIFF_4.0'这个问题是因为我安装了ancoda，其安装的opencv和系统安装的lib

2020-05-18 11:04:51 2427

原创 pytorch笔记：14)从零开始玩转目标检测模型CenterNet

目录前言模型搭建数据集构建1.数据初始化2.生成高斯HeatMap损失函数关键点FocalLossRegressionLoss模型测试前言“真正的东西，是朴素的，也是优雅的”，这句话用来形容CentNet绝不为过。笔者参考论文和官方源码，去繁就简，模型搭建模型结构：resnet18+上采样+3个header输出在__init__()函数中添加了如下6行代码，self.layer5至sel...

2020-04-25 21:35:22 4215 5

原创 pytorch笔记：13)SSD源码中anchor和bbox配对

https://github.com/amdegroot/ssd.pytorch#layers\box_utils.pydef match(threshold, truths, priors, variances, labels, loc_t, conf_t, idx): """Match each prior box with the ground truth box of the ...

2020-04-23 11:06:11 988

原创 pytorch笔记：12)TVM-Pytorch模型编译体验+性能测试

实验环境：18.04.1-Ubuntu SMP Mon Feb 3 14:05:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linuxtvm-0.7.dev1torch-1.4.0torchvision-0.5.0tvm安装文档，官网推荐使用torch不小于1.3.0pytorch模型导出使用torchvision自带的resnet18进行实验测试i...

2020-04-15 10:21:23 3729

原创 kudu-python1.4.0 编译安装

为什么不使用kudu1.11.0? 不想折腾呗1>从git下载源码包 kudu1.4.02>解压，进入到kudu-1.4.0/python目录运行安装命令sudo python setup.py install3>导包测试会发现如下错误>>> import kuduTraceback (most recent call last): File ...

2019-11-18 16:14:19 538

原创 pytorch笔记：11) 多标签多分类中损失函数选择及样本不均衡问题

来了一个kmer1.首先确认其prefix_array-> hash2inde即prefix转换为int类型，在通过map找到对应的array_index. prefix array index要保存在中2.已知prefix array index,如何在data_array中定位，首先需要一个数组，里面保存了prefix array index对应数组的大小，比如第0个index对应后...

2019-09-23 20:06:16 14320 2

原创 vtt字幕格式转srt格式 [python]

工欲善其事：：srt字幕格式，每个字幕段有四部分构成：字幕序号字幕显示的起始时间字幕内容（可多行）空白行（表示本字幕段的结束）下面是一个栗子：100:00:04.430 --> 00:00:07.410Okay. Hello everyone.200:00:07.410 --> 00:00:11.265[LAUGHTER] Okay we should g...

2019-08-21 23:12:51 2442

原创 pytorch笔记：10) 源代码跟读 On the Automatic Generation of Medical Imaging Reports

论文地址：https://arxiv.org/pdf/1711.08195.pdfgithub地址：https://github.com/ZexinYan/Medical-Report-Generation模型框架图：模型简介给定一张CT图片，使用CNN对其进行多标签分类，模型最后一层输出(1维向量)作为Visual Features(VF),对分类结果取概率最大k个类别索引(topk)...

2019-08-13 16:03:20 1342 7

原创 Kettle：webservice接口数据转存到数据库

(1)定义webservice的接口，添加URL和操作的方法即可(2)声明webservice接口的参数，PAT_NO是上游传递过来的参数名对应WS中的参数req，输出可直接选择默认的。(3)解析xml。经过web服务器查询后，会获得多条xml字符串语句，这里使用组件“get data from xml”进行转换。单击获取XML文档的路径，把你获取的到xml格式复制进去(可以断点运行w...

2019-03-13 10:06:54 4545

原创 Kettle：查询结果传递以&相关子查询

场景需求：源数据库表A和B，目标数据库表C，需要根据表A符合条件的ID去查询表B的记录，最后把结果放入到表C(表C和表B的字段完全一致）Kettle的需求：根据前一个表的查询结果去查询另一个表（1）从A表中筛选出符合条件的id(2)获取上个A表的结果集合，让B表进行查询，这里主要几点：勾选替换SQL语句中的变量(sql语句使用了‘?’替换步骤1的查询到的id)指定从步骤插入数据勾...

2019-03-12 11:12:10 4395

原创 pytorch笔记：09)RNN和Transform中的Attention机制

原博客是哈佛大学NLP研究组，根据论文“Attention is All You Need” 使用pytorch实现，撰写得非常精彩，强烈推荐。下面是几个笔者阅读时困惑的地方，记录下来以防忘记。原文中给的一个简单的栗子，给定一个序列，模拟生成同一的序列。We can begin by trying out a simple copy-task. Given a random set of i...

2019-01-11 14:40:22 20421 7

原创使用cuda编译maskrcnn detectron等问题小结

struct std::is_convertible’ struct is_convertible error: command '/usr/local/cuda/bin/nvcc' failed with exit status 1The latest gcc version supported with CUDA 9.1 is 6.3.0, it loo...

2018-12-26 15:51:20 831

原创在线使用Python通过染色体id+位置查询基因名列表

前话：使用pyensembl可对hg38进行本地查询，但发现若查询其他的数据库比如hg19,得重新下载对应的数据文件。查看文献发现，UCSC提供了一个丰富的mysql数据库供我们在线查询各种生物的信息(其中就包括hg19和hg38).UCSC提供的mysql连接字符串(需安装mysql客服端,其中-A=不预加载数据库)mysql --user=genome --host=genome-mys...

2018-12-09 10:06:49 5346 6

原创本地使用Python通过染色体id+位置查询基因名列表

简介通常使用bwa做mapping后会获得sam文件，而sam文件包含2个重要的字段：该序列mapping上的染色体id和位置(比如第2列(chr5)和第3列(36345037))KMER_44 0 chr5 36345037 37 7M1D24M * 0 0 CTGATGCAAAAAAAAAAAAGCTTTTTTG...

2018-10-18 16:00:11 4782 2

原创 pytorch笔记：08)使用LSTM写古诗词

测试环境： centos7 + python3.6 + pytorch0.4 +cuda9下面是用模型生成的藏头诗(深度学习)深宫昔时见，古貌多自有。度日不相容，年年生一目。学者若为霖，百姓贻忧厄。习坎与天聪，优游宁敢屡。训练数据 57580首诗歌，每首诗歌，书(pytorch入门与实践)的作者对其进行了预处理，每首诗歌长度125字符(不足补空格，超过则丢弃) 下面da...

2018-07-11 16:39:04 6402 10

原创 pytorch笔记：07)LSTM详解及实现一个朴素LSTM

LSTM的介绍博文：https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 官方AIP：https://pytorch.org/docs/stable/nn.html?#torch.nn.LSTM一个栗子，假如我们输入有3个句子，每个句子都由5个单词组成，而每个单词用10维的词向量表示，则seq_len=5, batch=3, i...

2018-06-22 14:44:06 5295 4

原创 pytorch笔记：06)requires_grad和volatile

requires_grad Variable变量的requires_grad的属性默认为False,若一个节点requires_grad被设置为True，那么所有依赖它的节点的requires_grad都为True。x=Variable(torch.ones(1))w=Variable(torch.ones(1),requires_grad=True)y=x*wx.requires...

2018-06-12 16:27:47 14726 8

原创 mask_rcnn keras源码跟读3）配置文件

config.py文件，参数配置一个一个地看# NUMBER OF GPUs to use. For CPU training, use 1GPU_COUNT = 1# Number of images to train with on each GPU. A 12GB GPU can typically# handle 2 images of 1024x1024px.# Adju...

2018-06-05 19:25:26 3276 23

原创 mask_rcnn keras源码跟读2）数据部分

数据生成部分主要用了keras_model.fit_generator借口，具体函数在model.py的1626函数，其函数说明如下：def data_generator(dataset, config, shuffle=True, augment=False, augmentation=None, random_rois=0, batch_size=1,...

2018-05-30 17:02:10 5294 3

原创 mask_rcnn keras源码跟读1）模型搭建

基础知识：faster_rcnn相关内容,mask_rcnn相关内容源码git:https://github.com/matterport/Mask_RCNN/tree/v2.11.模型搭建主要在类MaskRCNN的build方法内1model.py_row1673，获取所有的anchors，config.IMAGE_SHAPE是参与训练的图片大小， compute_back...

2018-05-24 11:24:17 6582 16

原创 pytorch笔记：05)UNet网络简单实现

语义分割的相关介绍可参考该博客： https://blog.csdn.net/u012931582/article/details/70314859代码参考图1设计，黑色加粗的标注是笔者添加的，和代码中的变量对应图1 Unet U-Net代码，实现比较简单，可以参考上面的图片import torch.nn as nnimport torchfrom torch im...

2018-05-08 08:38:28 35952 158

原创 BWA0.7+Samtools1.5+GATK4.0在大数据集上的试验

试验数据 fasta:hg38.fa文件可以在UCSC下载 (hg38.fa.gz 938M) fastq非公开文件KY18011403DNA_DHG18153-V_AHHVVHCCXY_L7_1.fq 35GKY18011403DNA_DHG18153-V_AHHVVHCCXY_L7_2.fq 35GKY18011403DNA_DHG18153-V_AHHVVHC...

2018-03-21 08:42:45 2231

原创 pytorch笔记：04)resnet网络&解决输入图像大小问题

因为torchvision对resnet18-resnet152进行了封装实现，因而想跟踪下源码(^▽^)首先看张核心的resnet层次结构图(图1)，它诠释了resnet18-152是如何搭建的，其中resnet18和resnet34结构类似，而resnet50-resnet152结构类似。下面先看resnet18的源码图1resnet18 首先是models.resnet18...

2018-03-20 08:10:07 75864 59

原创 pytorch笔记：03)softmax和log_softmax，以及CrossEntropyLoss

softmax在神经网络里面比较常见，简而言之，就是多分类的概率输出 sotfmax(xi)=exp(xi)∑jexp(xj)sotfmax(xi)=exp⁡(xi)∑jexp⁡(xj)sotfmax(x_i)=\frac{\exp(x_i)}{\sum_j \exp(x_j)} 但是在pytorch里面发现额外有个log_softmax(对softmax取了一个In的对数)，为啥这样做呢？ ...

2018-03-19 10:03:18 19670 6

原创 pytorch笔记02)模型的保存和加载

保存和加载整个模型torch.save(model_object, 'model.pkl')model = torch.load('model.pkl')仅保存和加载模型参数(推荐使用,需要提前手动构建模型)torch.save(model_object.state_dict(), 'params.pkl')model_object.load_state_dict(torch.lo

2018-03-16 16:51:09 8619 11

原创 pytorch笔记01)初体验

import torchfrom torch.autograd import Variableimport torch.nn.functional as funcimport matplotlib.pyplot as pltx = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)y = x.pow(2) + .3 * torch.ra

2018-03-16 10:21:20 577

原创 BWA0.7+Samtools1.5+GATK4.0在小数据集上的试验

试验数据 chr14_1.fastq chr14_2.fastq (1.47G each one .gz) chr14.fasta (28M .gz) chr14.fastq文件可以在GAGE下载 chr14.fasta文件可以在UCSC下载软件的版本： bwa-0.7.17 gatk-4.0.2.1 samtools-1.5 试验过程1.生成索引文件bwa i...

2018-03-13 15:03:30 3350 2

原创 keras：5)fit_generator

1.fit_generator fit_generator函数参数描述可以参看官方文档，这里说下比较常用的几个参数： generator: A generator or an instance of Sequence (keras.utils.Sequence) object in order to avoid duplicate data when using multiprocessing.

2018-03-11 13:38:03 6510 2

原创 Centos7离线安装nvidia驱动的两种方法

1.首先查看机器是否具有GPU[javis@node5 rpm_resource]$ lspci | grep -i nvidia06:00.0 3D controller: NVIDIA Corporation GP100GL (rev a1)81:00.0 3D controller: NVIDIA Corporation GP100GL (rev a1)2.在官网下载对应的...

2018-02-27 20:05:49 21234 13

原创 keras：4)LSTM函数详解

LSTM层keras.layers.recurrent.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initial...

2017-08-28 11:53:18 106284 27

原创 keras：3)Embedding层详解

详解Keras的Embedding层

2017-08-26 08:54:04 110400 26

原创 keras：2)函数式(Functional)模型

相对序贯模型，函数式模型显得更灵活(序贯是函数式的特例)，这里对函数式模型进行简单地介绍，具体可以参考官方网店。官方的栗子:from keras.layers import Input, Densefrom keras.models import Model# This returns a tensorinputs = Input(shape=(784,))# a layer instanc

2017-08-24 17:09:55 4071

原创 tensorflow：常用API-'a'

1.加法操作 tf.accumulate_n、tf.add_n、tf.addimport tensorflow as tfa = tf.constant([[1, 2], [3, 4]])b = tf.constant([[5, 0], [0, 6]])c = tf.constant([2, 3])sess = tf.InteractiveSession()print(tf.

2017-08-22 11:31:23 613