qq1483661204的博客

原创 Pytorch中scatter_ 的使用详细解读

先看一个例子：torch.zeros(3, 5).scatter_(0, torch.tensor([[0, 1, 1, 1, 1]]), 2)tensor([[2., 0., 0., 0., 0.], [0., 2., 2., 2., 2.], [0., 0., 0., 0., 0.]])首先是定义了一个3行5列的数组，_scatter中第一个参数0.表示沿着第0轴， 后面第二个参数是坐标，第三个是对应坐标的值，整个意思就是给torch.zeros(3, 5)对

原创 AttributeError: module cv2.cv2 has no attribute create ThinPlateSplineShapeTransformer 报错

使用opencv-python报错：AttributeError: module 'cv2.cv2' has no attribute 'createThinPlateSplineShapeTransformer'解决方法：pip install opencv-contrib-python

原创 数字图像处理-- 图像插值方法及其实现代码

原创 windows上使用QQ截取网页长图，支持下拉方法截图任意长的图

今天需要截取网页网页长图，看了下网上教程，都比较复杂，还是QQ截长图方便。【1】登录QQ【2】 crtl + shift +a 进入截图界面，如下图默认是没法截取长图的，点击下面的剪刀一样的快捷键，进入截取长图的方法，任意下拉，保存即可...

原创 opencv边界填充方式

opencv在卷积或者图像对齐时，需要做一些对齐操作，常用的有如下：【1】cv2.BORDER_CONSTANT 填充边界时使用常数填充【2】cv2.BORDER_REPLICATE： 使用边界最接近的像素填充，也就是用边缘像素填充【3】cv2.BORDER_REFLECT， 反射法，是指对图像的像素两边进行复制【4】cv2.BORDER_REFLECT101：反射法，把边缘的...

原创 conda 添加虚拟环境中的jupyter 方法

第一步，激活环境： conda activate 环境名（例如我的py36）添加核：python -m ipykernel install --user --name 环境名 --name kernelname （kernel的名字，可以随便取）输入：jupyter notebook就可以看到添加进来的核。...

原创 stylegan-v2 报错 error: #error "C++ versions less than C++11 are not supported.

运行stylegan-v2报错：error: #error "C++ versions less than C++11 are not supported.解决方法：打开 dnnlib/tflib/custom_ops.py的 修改第64行：将cmd = 'nvcc ' + opts.strip()改为：cmd = 'nvcc --std=c++11 -DNDEBU...

原创 opencv读取图像或者存储图像时，明明图像存在，但是没读到数据，因为路径中含有中文

在windows上用opencv-python读取图像时，总是没读到数据，明显图像存在，后来发现是因为路径中有中文字符，解决方式是使用numpy兑读取，方式如下：img = cv2.imdecode(np.fromfile(图像路径,dtype=np.uint8),-1)...

原创 vim 粘贴数据时，出现很多自动空格的，自动table形式，保持粘贴的格式

在使用vim时，有时候把数据粘贴进去会出现自动空格，导致格式不行，一个一个弄会很费时间，想保持原有的格式，可以这样做：shift+：进入命令模式输入：setpaste再粘贴就可以保持和复制前的格式一样...

原创 linux 解压.7z文件

1 安装：sudo apt-get installp7zip-full2 解压：7z x filename.7z

原创 undefined symbol: __cudaPopCallConfiguration

##undefined symbol: __cudaPopCallConfiguration遇到该问题是因为cuda的版本和pytorch 的cuda版本不一致导致，检测问题的方法：nvcc -V 查看cuda的版本import torchtorch.version.cuda发现上面两个版本不一致，解决方法，去https://pytorch.org/get-started/...

原创 服务器（终端）下载 Google Drive 上面的数据

## 服务器（终端）下载 Google Drive 上面的数据之前在终端下载google drive上的数据都是先下载到本地，再上传，发现太麻烦了，今天找到一种方法分享给大家，可以去github上下载下载的python脚本：https://github.com/chentinghao/download_google_drive/blob/master/download_gdrive.py...

原创 np.outer 使用

np.outer（a,b）计算矩阵的外积，也就是把a当做列向量，b当做行向量，得到一个n*m的矩阵，例如:np.outer(np.array([3,4]),np.array([2,3]))结果是;array([[ 6, 9], [ 8, 12]])3*2=6 3*3=9,4*2=8,4*3=12就是a中每个元素与b中元素相乘。...

原创 numpy.int0 函数（np.int0）

numpy.int0 (np.int0)，这个其实就是numpy.int64(np.int64)

原创 tfrecord读取时报错：Key: xxxx. Can't parse serialized Example.

在读取tfrecord时，报错Key: xxxx. Can't parse serialized Example.看了很多解决办法，比如：https://stackoverflow.com/questions/53499409/tensorflow-tfrecord-cant-parse-serialized-example这种是对固定长度，如果是不固定长度，需要将 ;...

原创 tensorboard ValueError: Duplicate plugins for name projector

启动tensorboard，报错如下：tensorboard ValueError: Duplicate plugins for name projector解决方法：在python中运行如下代码：import pkg_resourcesfor entry_point in pkg_resources.iter_entry_points('tensorboard_plugi...

原创 tensorflow2.0 分布式训练 SystemError: PyEval_EvalFrameEx returned a result with an error set

## 使用tensorflow 2.0 分布式训练模型时，使用tf.distribute.MirroredStrategy，有时候会出现：SystemError: PyEval_EvalFrameEx returned a result with an error set出现这种错误，有可能的原因是：data_decoder = self.tokenizer.texts_to_s...

原创 pycharm 某个文件一直是文本格式，不是py格式，即使后缀加了py（pycharm文本格式改变）

有一次，我在pycharm中新建model.py，无论如何都识别为文本格式，就是输入代码没有提示等功能，一看就是文本格式，这种问题，是因为把改文件加入了文本中，具体做法，可以参考下面的链接File -- settings -- Editor -- File Types如下图，然后删除就ok参考链接：https://stackoverflow.com/questions/1...

原创 Linux中sed命令使用大全

Linux中sed命令使用大全 sed编辑器是一种流式编辑器，与常见的交互式文本编辑器相反，交互式文本编辑器比如vim,可以通过键盘来交互式插入，删除文本，替换文本，流试编辑器会在编辑器处理数据之前预先提供一组规则编辑数据流。废话少说，直接看用法。需要强调的是，sed命令不会改变源文件的内容1.1 sed命令格式sed options script file其中optio...

原创 Python 字符分割时，只分割最后一个（rsplit的使用）

##Python 字符分割时，只分割最后一个（rsplit的使用）在python分割时，有时候不是把整个字符分割，而是只分割部分，例如：我要分割文件路径，只想把最后的文件名去除，保留文件夹的路径。例如：/home/username/data/text.txt 我想要得到/home/username/data/。如果用split则会把整个分割成一个list，但是可以使用rsplit。例如...

原创 python 使用argparse 输入分割符时，例如\t，无法分割字符

##python 使用argparse 输入分割符时，例如\t，无法分割字符在使用python 使用argparse，得到参数，比如分割字符串，你想输入"\t",当时输入\t是发现无法分割，这个时候，需要改一下：arg.separator 表示的是你输入的\tsep = arg.separator.encode('utf-8').decode('unicode_escape')...

原创 Python 读取文件报错：UnicodeEncodeError: 'latin-1' codec can't encode character

#UnicodeEncodeError: 'latin-1' codec can't encode character例如：file = open("xxx.txt","r",encoding="utf-8")for line in file: print(line)UnicodeEncodeError: 'latin-1' codec can't encode cha...

原创 pycharm 出现输入backspace无法删除程序

##pycharm 出现输入backspace无法删除程序Tool --> vim Emulator (讲√取消即可)

原创 Ubuntu下chrome和firefox浏览器安装flash player插件

# Ubuntu下chrome和firefox浏览器安装flash player插件## 下载flash_player### 1 加压文件：tar -zxvf flash_player_npapi_linux.x86_64.tar.gz解压后可以看到libflashplayer.so 文件## chrome### 1 创建文件夹sudo mkdir /opt/googl...

原创 python3下Matplotlib中文显示乱码的问题

python3下Matplotlib中文显示乱码的问题 使用matplotlib绘图时，想要显示中文总是显示不了，解决办法如下，亲测好用：1 linux系统下 1.1 使用如下命令找到中文字体库： fc-list :lang=zh # 找到中文字体库的位置 1.2...

原创 Stacking 模型融合讲解

stacking 模型融合    Stacking是模型融合的一个重要的方法，几乎每个数据科学竞赛的前几名都会使用，接下来我主要是介绍stacking的原理。相信大家看很多stacking的资料都会看到下面的这个图：这个图很形象，他具体是这样做的，首先我们将训练集使用kfold切分为k分，每一分包括一个验证集和测试集，每次取其中k-1分训练，另外的1分用来验证，stacking是这样做的，比如对于...

原创 XGBoost 自动化调参模块

import pprintimport sklearn.preprocessing as preprocessingfrom xgboost import XGBRegressorimport xgboost as xgbimport pandas as pdfrom sklearn import metricsfrom sklearn.model_selection import t...

原创 pandas 根据某一列排序（sort_values）

pandas 根据某一列排序      pandas排序的方法有很多，sort_values表示根据某一列排序       pd.sort_values("xxx",inplace=True)    表示pd按照xxx这个字段排序，inplace默认为False,如果该值为False，那么原来的pd顺序没变，只是返回的是排序的...

原创 pandas 中上下两行相减(隔行相减) -- shift函数的使用

pandas 中上下两行相减(隔行相减) -- shift函数的使用最近使用pandas处理数据，需求是想相邻两行上下相减，查API发现shift函数，很灵活，。你也可以隔任意行相减。p['xx_1'] = p["xx"].shift(1)上面得到的就是xx字段向下移动一行的结果，和之前相比向下移动一行，你可以设置为任意行，也可是向上向下p['xx'] - p["xx_1"]这就是前后两行的差值，...

原创 Pandas 中UNIX转年月日格式，提取年月日中的年，月，日

Pandas  中UNIX转年月日格式，提取年月日中的年，月，日    有点久没有写python代码了，对Pandas生疏了很多，今天遇到使用pandas处理时间，就是把UNIX时间格式转化为年月日格式，以及从中把年月日，星期提取出来，查了查文档，遍写成博客。    1  Pandas UNIX转年月日格式def unxi_time(t): t = time.localtime(t) ...

原创 Ubuntu 下google chrome 打开jupyter notebook 报错ERROR:browser_gpu_channel_host_factory.cc(120)] Failed to

Ubuntu 下google chrome 打开jupyter notebook 报错ERROR:browser_gpu_channel_host_factory.cc(120)] Failed to  launch GPU process报这种错，把export BROWSER=google-chrome 添加到配置文件，比如 sudo vim /etc/profile或者添加到r.bashrc...

原创 目标检测 -- SSD (tensorflow 版) 逐行逐句解读

目标检测  -- SSD (tensorflow 版) 逐行逐句解读       这篇博客，主要是讲解SSD,tensorflow版的实现，代码地址是：SSD-tensorflow，大神写的代码，也是github上tensorflow版的SSD star 最多的代码，所以就用它来讲解，同时附上论文地址：SSD 论文下载     对照论文和代码讲解，代码中提供了SSD300和SSD512,代码一样，...

原创 tensorflow 中的padding方式“SAME”和“VALID”

tensorflow 中的padding方式“SAME”和“VALID”因为最近在看一些目标检测的代码，想计算每一层的卷积或者pooling的输出大小，所以把这一块严格看一下，同时有助于自己设计网络，比如什么时候要padd之类的。tensorflow 中的padding方式“SAME”和“VALID”    在tensorflow里面，这两个计算特征图的输出大小方式不一样，    如果paddin...

原创 tensorflow版yolo V1 逐行逐句解读(二)

博主最近研究完faster-rcnn，读完每一行代码，那叫一个算爽，现在开始读tensorflow版的Yolo V1.我参考的代码是github上下载下来的，tensorflow-yolo 上次讲解完了代码的网络结构以及读取文件，损失函数等等，传送门train.py文件讲解import osimport argparseimport datetimeimport tensorflow as ...

原创 tensorflow版yolo V1 逐行逐句解读

tensorflow版yolo V1 逐行逐句解读        博主最近研究完faster-rcnn，读完每一行代码，那叫一个算爽，现在开始读tensorflow版的Yolo V1.我参考的代码是github上下载下来的，tensorflow-yolo    我们首先是解读pascal_voc.py解读pascal_voc.py首先是定义了一个类，pascal_voc。这个类主要是用于读取pas...

原创 tensorflow 中tile函数用法讲解

tensorflow中tile是用来复制tensor的指定维度，具体看下面的代码：import tensorflow as tfa = tf.constant([[1, 2], [3, 4], [5, 6]], dtype=tf.float32)a1 = tf.tile(a, [2, 2])with tf.Session() as sess: print(sess.run(a1)...

翻译 YOLO论文翻译

摘要    我们提出了YOLO-一种新的目标检测的方法，以前 的目标检测的方法是重新用一个分类器来进行检测，相反，我们目标检测的方法是作为一个回归的问题，在空间上将边界框和每个类的概率值分开。一个神经网络直接从图像中预测出每个类的概率值和边界框。当我们的整个检测是一个流水线的时候了，我们可以从端到端的优化检测的性能。    我们的统一网络结构十分的快，我么YOLO的基础模型实时检测的速度是45帧每...

原创 faster rcnn 源码解读(二)

解读data_augment.py文件def augment(img_data, config, augment=True): assert 'filepath' in img_data assert 'bboxes' in img_data assert 'width' in img_data assert 'height' in img_data    augment是一个函数，该函数...

原创 faster rcnn 源码解读(一)

上一篇介绍了faster rcnn 的原理，现在开始解读源码，这里因为我看得是keras版的，所以用keras版的来讲解。源码的网址：keras版faster rcnn网络第一讲  读取文件(pascal_voc_parser.py)    这个文件相对比较简单，就是从pascal里面读取数据，解析数据，具体我们看下面的代码：下面是导入包，其中ET是解析xml文件的import osimport...

原创 faster rcnn 原理解析

faster rcnn 网络结构图        Faster cnn 大概思路就是，首先是输入一张图像，然后将图像固定最小边为600的大小，保证了图像不发生形变，然后经过一个训练好的网络，比如vgg或者是其他的，得到特征图，然后有两条路，一个是输入RNP网络，经过一个3*3的卷积，RPN网络也有两条路，一条是直接经过一个1*1的卷积，激活函数使用linear，用于回归，因为框有4个坐标，(dx,...