- 博客(29)
- 收藏
- 关注
RSS订阅原创 模型推理部署——Tensorflow篇
模型推理部署——Tensorflow篇Tensorflow 模型保存、加载方式我们常见的模型保存后产生的文件有以下几种形式：checkpointcheckpoint \ model.ckpt-XXX.data-00000-of-00001 \ model.ckpt-XXX.index \ model.ckpt-XXX.meta其中 .data文件是包含训练变量的文件； .index是描述variable中key和value的对应关系；checkpoint文件是列出保存的所有模型以及最近
2020-08-31 10:37:01
2879
原创 模型推理部署——PyTorch篇
模型推理部署——PyTorch篇PyTorch中模型的保存和加载保存和加载模型参数（state_dict）（推荐）state_dice是一个简单的python字典，映射了每一层的参数名称和数值。# save torch.save(model.state_dict,PATH)#load model = TheModelClass(*args, **kwargs)model.load_state_dict(torch.load(PATH))model.eval() 保存和加载整个模型 （
2020-08-31 10:33:03
12072
1
原创 模型推理部署——基础概念篇
模型推理部署——基础概念篇训练（training）vs推理（inference）训练是通过从已有的数据中学习到某种能力，而推理是简化并使用该能力，使其能快速、高效地对未知的数据进行操作，以获得预期的结果。训练是计算密集型操作，模型一般都需要使用大量的数据来进行训练，通过反向传播来不断的优化模型的参数，以使得模型获取某种能力。在训练的过程中，我们常常是将模型在数据集上面的拟合情况放在首要位置的。而推理过程在很多场景下，除了模型的精度外，还更加关注模型的大小和速度等指标。这就需要对训练的模型进行一些压缩
2020-08-31 10:30:46
12368
原创 自然语言相关（0）—— 任务介绍nlp tasks
自然语言相关（0）—— 任务介绍nlp tasks基础token可能是字母、单词等等等Downstream tasks:Downstream tasks is what the field calls those supervised-learning tasks that utilize a pre-trained model or component.任务Part-of-Speech(POS) tagging 是否有必要 前处理为句子中的每个词汇进行 词性标注可以将这个
2020-08-03 16:35:24
761
原创 图像分类相关
图像分类相关基于Nvidia 的deep learning exampleGitHub：https://github.com/NVIDIA/DeepLearningExamples这个系列只是督促自己可以好好的学习一些优秀的开源项目 ????，日后遇到一些相关的task可以作为个入门，吸取些精华。模型ResNet50残差 经典Nvidia 中的实现的网络称为ResNet50 v1.5，是原始ResNet50的一个更改版本。更改点： 在需要下采样的bottleneck block中，v1是
2020-07-17 17:18:17
441
原创 由PyRetri浅谈基于深度学习的图像检索
前言最近发现face++开源了一个图像检索和行人重识别的基于深度学习的软件包，最近一段时间也一直在接触图像检索相关的东西。故借此机会，对里面涉及的一些常用的方法模块进行一个简单的介绍总结，便于日后回顾。PyRetri是什么？****PyRetri****是由旷视开源的第一个基于深度学习的无监督图像检索库，它是基于PyTorch进行开发的python库。paper： https://128.84.21.199/abs/2005.02154GitHub： https://github.com/PyR
2020-05-15 18:46:23
6548
7
原创 Visual search at alibaba阅读笔记
TitleZhang Y, Pan P, Zheng Y, et al. Visual search at alibaba[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2018: 993-1001.Summary这是...
2020-01-19 19:00:54
825
原创 哈希+汉明距离进行相似性度量
哈希+汉明距离进行相似性度量哈希算法aHash定义aHash 基于低频的均值哈希 ：过于严格 更适合搜索缩略图算法步骤缩小图片尺寸将其化为灰度图计算灰度均值根据与灰度均值的对比得到二值图将二值图按序组合成哈希值（指纹）代码实现(python)def get_aHash(image_dir): from functools import reduce im...
2020-01-16 17:07:43
3958
原创 python学习笔记之图像常用增强变换
在进行图像处理的时候，难免会涉及到很多常见的操作，包括图像改变大小、旋转、翻转、平移、对比度变换、添加噪音、颜色扰动、锐化等等。这些操作也常常作为图像扩增的方式。为了在每次使用时便于快速的进行编码应用，将常用的一些方法总结在此。#-*- coding:UTF-8 -*-"""image enhance : resize \ rotate \ flip \ translation \ a...
2019-12-11 14:12:01
340
转载 python学习笔记之日志使用
在项目开发时，我们总是离不开日志。只有我们多记一些日志，在程序出现意想不到的问题时，才能第一时间准确的排查，并且可以查看程序的一些信息。在python中，日志功能一般使用logging模块。如何有效的进行日志的设置，每个人都有自己的想法。在网络上看见使用字典进行日志的一些配置，这种风格我很喜欢，特记录在此。import osimport logging.config #不能只导入lo...
2019-12-11 14:02:02
124
原创 经典基础网络模型总结
ImageNet大规模视觉识别挑战赛（ILSVRC）。ILSVRC是基于ImageNet的图像识别竞赛，被誉为是人工智能领域的“世界杯”。其使用的数据集ImageNet是由斯坦福大学视觉实验室于2009年公开的，数据集中包含超过20000类物体，共1600多万张图像。从2010年第一届比赛开始直至2017年宣布IL...
2019-10-23 13:56:45
1803
原创 图像特征总结（持续更
传统图像特征颜色特征众所周知，一幅图像可定义为一个二维函数f（x,y）,其中x和y是空间（平面）坐标，而在任何一对空间坐标（x,y）处的值一般成为图像在该点的像素值。而图像最简单的特征就是图像的像素值或者灰度化后的灰度值。灰度值灰度图像灰度值拉成一列颜色空间利用颜色空间的不同颜色通道，比灰度图增加了颜色信息颜色直方图图像分块进行特征提取，每块提取颜色直方图纹理特征局部二值...
2019-10-15 17:42:28
1612
1
原创 图像检索公开数据集
人工智能（AI）类似于建造一艘火箭飞船，需要一个巨大的引擎和大量的燃料。火箭引擎是深度学习模型，燃料是我们可以为这些算法提供的大量数据。-------Andrew Ng 数据是一切算法应用的基础，无论是监督学习需要标注好的数据进行训练，还是无监督学习需要对数据进行分析、考量，数据都是不可或缺的。一个任务或一项工程的大力度推进或发展离不开公开数据集的构建，重复的进行数据采集、标注是耗费人力...
2019-10-15 16:19:19
5871
原创 TVM（一）：简介与安装
简介TVM是一个用于深度学习系统的编译器堆栈。它旨在缩小以生产力为中心的深度学习框架与以性能和效率为中心的硬件后端之间的差距。TVM与深度学习框架合作，为不同的后端提供端到端编译。换句话说，TVM就是一种将深度学习工作负载部署到硬件的端到端IR（中间表示）堆栈。可以表述为一种把深度学习模型分发到各种硬件设备上的、端到端的解决方案。GitHub：https://github.com/dmlc...
2019-09-25 11:38:12
17336
6
原创 一些好用的工具收藏（持续更新）
收藏一些工具（持续更新） [多为深度学习]jupyter notebook 基于深度学习的代码补全插件https://github.com/wenmin-wu/jupyter-tabnine（：不限框架，模型是拿CPT-2 pretrain的模型再用代码fine tuning）AI性能评估包 ai-benchmarkhttps://pypi.org/project/ai-benchma...
2019-09-20 14:40:03
164
原创 OpenCV-Python 教程1： 画个背景变色小猪脸
本文主要是将OpenCV-Python tutorials :Gui Features 这一部分所设计的知识点，做一个综合demo。主要涉及以下问题：1.图片的读入、保存、展示image =cv.imread(filename,flags) #flags: ImreadModes 读入图片的模式 cv2.imshow('窗口名称',image) #窗口会自动适应图片大小...
2019-09-17 17:27:27
682
翻译 numpy学习记录：如何有效地使用numpy处理大规模数据？
原博地址： http://chrisschell.de/2018/02/01/how-to-efficiently-deal-with-huge-Numpy-arrays.html1. 更快faster： 使用预分配的arrays假设您从数据库中检索了大量不同的值。您想以某种方式处理这些数据，然后将它们保存到numpy数组中。不要不要遍历每个数据并将其逐个添加到数组中，如下所示：ent...
2019-09-16 22:00:46
2072
原创 DELF安装
1. Tensorflow根据官网介绍我们可以采取以下方法进行tensorflow的安装①使用pip#对于CPU：pip install tensorflow# 对于GPU： pip install tensorflow-gpu② docker镜像 # 下载最新tensorflow镜像 docker pull tensorflow/tensorflow # 开启 Jupy...
2019-09-16 13:25:31
788
2
原创 python学习笔记：python版本和pickle序列化问题
pickle 可用于python序列化和反序列化现在有5种不同的协议进行序列化Protocol version 0 is the original “human-readable” protocol and is backwards compatible with earlier versions of Python.Protocol version 1 is an old binary f...
2019-09-09 17:11:34
457
原创 python学习记录： list 不规则切片
问题描述：取python 列表中的一些下标所对应的元素，这些下标不是连续的，也不具有一定的规律例：l = [0,1,2,3,4,5,6,7,8,9,10] index = [2,6,3,10] for 循环最容易想到的方式res = []for i in index: res.append(l[i])...
2019-09-09 14:03:52
3953
原创 论文笔记：Fine-tuning CNN Image Retrieval with No Human Annotation
Radenović F, Tolias G, Chum O. Fine-tuning CNN image retrieval with no human annotation[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 41(7): 1655-1668.code: https://github...
2019-09-02 21:43:46
2553
原创 常用命令
在Linux下面的一些命令总是记不住，要去搜来搜去，打算把自己常用的一些命令记录下来，以后查找起来也方便一些。存储空间总是占满，这时就需要查看谁的文件占的空间最大，哪个文件占的比较多du -h --max-depth=0 #查看当前目录及其深度目录的大小关于docker的一些常用命令docker stats #动态查看docker内存使用情况docker ps #查看运行的容器...
2019-08-22 14:14:21
212
原创 图像美化笔记：DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks
论文地址：DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks来源： 2017 ICCV在线demo：http://people.ee.ethz.ch/~ihnatova/#demoGitHub：https://github.com/aiff22/DPED任务：普通图片->DSLR[单反]质量的图...
2019-08-21 11:15:10
524
3
原创 pandas学习记录：concat列拼接出现错位（去除重复项之后）
使用pandas在处理csv或者xsl数据时，往往数据中会出现重复项，这时就需要去除重复项，在进行其他操作。我的应用场景是去除所有列都重复的数据行data.drop_duplicates(inplace=True)使用drop_duplicates函数进行重复项的删除，inplace参数代表是在原来的数据上进行操作还是建立一个新的副本，还可以传入依照去重的列名（即依照一列或几列进行去重）...
2019-08-20 15:52:39
7272
原创 论文笔记：Hotels-50K:A Global Hotel Recognition Dataset
Hotels-50K: A Global Hotel Recognition Datasetgithub: https://github.com/GWUvision/Hotels-50K贡献：1. 提出酒店识别问题2. 数据集（Hotels-50K) 和评估协议的制定3. 提出了该问题的baseline问题提出：分类任务一般分为三种层次：① basic-...
2019-07-30 10:35:22
298
原创 论文笔记：Revisiting Oxford and Paris: Large-Scale Image Retrieval Benchmarking
Revisiting Oxford and Paris: Large-Scale Image Retrieval Benchmarking(CVPR2018) github: https://github.com/filipradenovic/revisitopOxford5K和Paris6k一直是图像检索中最受欢迎的数据集，主要原因是其每一组中图片数量较多。然而，由于数据集年份较久...
2019-07-26 13:47:49
1926
原创 faiss 安装
0.写在前面参考下述文章的编译安装步骤同时将自己遇到的错误进行梳理解决：https://juejin.im/post/5bed7cebe51d454e5b5f2c23 十分感谢此文章~遇到问题多去faiss github里面的 issues中找找，往往总能找到你想要的
2019-07-12 14:28:15
9232
15
原创 图像美化论文笔记： Deep Photo Enhancer:Unpaired Learning for Image Enhancement from Photographs with GANs
论文地址：Deep Photo Enhancer:Unpaired Learning for Image Enhancement from Photographs with GANs来源： 2018 CVPR在线demo：http://www.cmlab.csie.ntu.edu.tw/project/Deep-Photo-Enhancer/GitHub：https://github....
2018-06-14 19:10:56
6337
3
原创 PyTorch学习笔记（1）-finetune网络的一些注意事项
1.Transfer Learning transfer learning 是十分重要的技术，尤其是在实际应用中，往往数据很大但是有标签的（即训练样本）样本是十分稀少的，我们对数据进行标注十分耗时耗力的事情。这个时候就需要使用迁移学习，通过不同的任务对网络进行finetune。transfer learning 有以下几种场景：1. 将ConvNet 作为特征提取器：将预训练好的网络去掉最后一层，...
2018-06-12 16:27:39
5367
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人