叶子

原创 端到端的图像压缩----《Variational Image Compression With A Scale Hyperprior》论文笔记

Variational Image Compression With A Scale Hyperprior一 简介二 内容2.1 现有方法缺陷2.2 数据流程2.3 变分自编码器性能结论论文地址：https://arxiv.org/abs/1802.01436代码地址：https://github.com/tensorflow/compressionBalle google大神，入门必读。该文章仅供本人笔记用，如果问题欢迎讨论。一 简介    &nbsp

原创 端到端图像压缩《Checkerboard Context Model for Efficient Learned Image Compression》

提出一种两阶段的Checkerboard Context Model，重新定义了端到端图像压缩的解码顺序。

原创 端到端图像压缩《Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation》

提出了一种连续速率可调的学习图像压缩框架，即非对称增益变分自动编码器（AGVAE）。AG-VAE利用一对增益单元在一个模型中实现离散速率自适应，而额外的计算可以忽略不计。并且通过使用指数插值，在不影响性能的情况下实现连续速率自适应。除此之外，部署了非对称的熵模型提高模型的性能增益。......

原创 神经网络进阶技术集合

DPP分布式训练概念引用知乎大佬文章，目前而言把DPP写的最易懂的人了。[原创][深度][PyTorch] DDP系列第一篇：入门教程[原创][深度][PyTorch] DDP系列第二篇：实现原理与源代码解析[原创][深度][PyTorch] DDP系列第三篇：实战与技巧读取数据集提速引用知乎大佬文章给训练踩踩油门 —— Pytorch 加速数据读取，知乎文章中的代码是图片，附上代码源地址预训练引用大佬文章PyTorch使用预训练模型关于冻结参数不参与反向传播的文章，这个老哥

原创 端到端的图像压缩《Learning Scalable constrained Near-lossless Image Compression via Joint Lossy Image cmp》

Learning Scalable ∞-constrained Near-lossless Image Compression via Joint Lossy Image and Residual Compression一. 简介二.内容2.1 现有方法缺陷2.2 整体框架流程2.3 量化工作2.4 量化2.5 熵模型2.6 反量化三.配置四. 实验结果论文地址：https://openaccess.thecvf.com/content/CVPR2021/papers/Bai_Learning_Scala

原创 markdown放图

原创 H265解码流程理解

类的简介H265内部的Class封装一般分为两种： 一种是编码类，一种是数据类。编解码类TDecTop :好像是最顶层的解码器，然后内部封装了几乎下面所有的编解码类别。TDecGop：解码GOP为单位的解码器类内部也封装了各类的解码器，包括：熵编码器，环路滤波器等等TDecSlice 就是在TDecGOP中的成员，用于解码图像的Slice，TDecCu： 解码CU的解码器类，内部包含存储CU块级别Res和Rec内存空间，如果要提取Pred信息，需要在这个解码器内部对Pred信息进行维护。T

原创 端到端的图像压缩----《End-to-End Optimized Versatile Image Compression With Wavelet-Like T ransform》论文笔记

End-to-End Optimized Versatile ImageCompression With Wavelet-Like T ransform一. 简介二 内容2.1 现有方法缺陷2.2 端到端新框架2.2 编码变换2.3 量化Compression With Wavelet-Like T ransform)论文地址：https://ieeexplore.ieee.org/document/9204799代码地址：https://github.com/mahaichuan/Versatil

原创 端到端的图像压缩----《Channel-wise Autoregressive Entropy Models For Learned Image Compression》论文笔记

Channel-wise Autoregressive Entropy Models For Learned Image Compression一. 简介二 内容2.1 现有方法缺陷2.2 改善方法论文地址：https://arxiv.org/abs/2007.08739代码地址：https://github.com/tensorflow/compressionMinnen google大神，他们实验室应该是这个方面，最牛逼的实验室了吧=-=一. 简介   &nb

原创 端到端的图像压缩----《CompressAI: a PyTorch library for image research》论文笔记

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

原创 图像压缩-《Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules》

Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules简介内容论文地址：https://arxiv.org/abs/2001.01568代码地址：https://github.com/ZhengxueCheng/Learned-Image-Compression-with-GMM-and-Attention    基于论文《Join

原创 linux常用指令记录

Linux指令基本指令基本指令指令作用cd {path}进入某个目录ls {path}显示某个目录的内容sudo {指令}为指令增加暂时的超级权限mkdir {filename}创建目录cp {file} {path}将file文件拷贝到 path目录下 ，文件夹 -rrm {file}移除 file文件，文件夹 -rfmv {file1} {file2} /{path}如果是文件到文件，则是改名，文件到路径，则是移动， 文件夹 -

原创 端到端的图像压缩----《Joint Autoregressive and Hierarchical Priors for Learned Image Compression》 论文笔记

Joint Autoregressive and Hierarchical Priors for Learned Image Compression一 简介二 内容2.1 创新内容2.2 框架细节2.3 性能论文地址：https://arxiv.org/abs/1809.02736?context=cs.CV代码地址：无PixCNN 论文地址:https://arxiv.org/abs/1601.06759v3PixCNN 代码地址：https://github.com/carpedm20/pixe

原创 线上的小工具---自用记录

这里写目录标题一些有用的线上小工具一些有用的线上小工具在线版ps,免注册，直接可用： https://www.uupoop.com/简约在线调色板，满足基本需求： https://www.sojson.com/web/panel.html几款舒适的颜色搭配介绍：https://www.icoa.cn/a/512.html...

原创 端到端的图像压缩------《End-to-end optimized image compression》笔记

End-to-end optimized image compression1.简介2.整体算法1.简介整体算法分为三个部分：非线性分析变换（编码器），均匀量化器和非线性合成边变换（解码器），在整个训练框架上联合优化整个模型的率失真性能。在某些条件下，松弛损失函数可以解释为由变分自动编码器实现的生成模型的对数似然，即和变分自编码器的损失函数某种情况下有点像。另外，每一个折衷参数对应一个压缩模型，所以整个R-D曲线是由模型构成的R-D点形成的。2.整体算法整体算法结构以及流程如下：xxx 与 x^

原创 数据结构与算法[7]----排序

排序算法1. 定义1.1 排序算法性能2. 各类算法清单2.1 冒泡排序2.2 简单选择排序2.3 直接插入排序1. 定义假设含有n个记录的序列为（r1,r2,r3…rn），其相关的关键字分别为{k1,k2,k3…kn}，需要确定一种方式，是的其关键字a按照递增（包含相等）的顺序关系，使之成为有序的序列，这样的操作称为排序。排序的稳定性：两条数据的关键值是一样，排序前有排序后，其相对前后的位置不变，则称为稳定的，反之是不稳定的。内排序是排序过程中，待排序的所有记录全部都放在内存中，外排序是由于排序记

原创 数据结构与算法[6]----查找

查找查找概论2. 查找算法2.1 顺序表查找2.2优化顺序表2.3 折半查找2.4 插值查找2.5 线性索引查找查找概论查找表：是由同一类型的数据元素构成的集合。关键字：数据元素中某个数据项的值，称为键值，用它可以标识一个数据元素。如果关键字可以唯一标识一个记录，那么称此关键字为主关键字。对于那些可以识别多个数据元素的关键字，我们称为次关键字。查找：根据给定的某个值，在查找表中确定一个其关键字等于给定值的数据元素。2. 查找算法2.1 顺序表查找int Sequential_Search(in

原创 数据结构与算法[5]----图

图图的定义各类图定义2. 图的存储结构2.1 邻接矩阵2.2 邻接表2.3 边集数组3. 图的遍历3.1深度优先遍历3.2广度优先遍历图的定义图是由顶点的有穷非空集合和顶点之间边的集合组成，通过表示为G（V,E），其中G表示一个图，V是顶点的集合，E是G中边的集合。各类图定义无向边：顶点Vi到Vj之间的边没有方向，则称这条边为无向边。如果图中任意两天边都是无向边的话，则称该图为无向图。对于无向图，连接A B顶点的边可以写成无序对（A,D）也可以写成（D,A）。有向边：若从顶点Vi到Vj的边有方向

原创 数据结构与算法[4]----树

树1. 定义1.1定义：1.2 节点分类2. 树的存储结构2.1 双亲表示法2.2 孩子表示法2.3 双亲孩子表示法1. 定义线性结构中大多都是一对一的结构，包括线性表，队列，栈，在数据的使用中包括有一对多的模型，即可用树来进行表示。1.1定义：树是n（>=0）个节点的有限集，当n=0时成为空树，在任意一棵非空树中：有且仅仅有一个称为根（Root）的节点；当n>1时，其余节点可分为m>0个互不相交的有限集T1,T2…Tm，其中每一个集合本身又是一棵树，并且称为根的子树。

原创 数据结构与算法[3]----队列

队列1. 定义1.1 队列定义2. 存储结构2.1 链表形式2.1.1 链队列2.1.2 InitQueue()2.1.3 InsertQueue() and DeleteQueue()2.1.4 DestroyQueue()2.2 顺序存储结构2.2.1 定义循环队列2.2.2 initQueue()1. 定义1.1 队列定义定义：队列是只允许在一端进行插入操作而在另外一端进行删除操作的线性表，栈只允许在一端进行操作。队列是先进后出的的线性表，队头是出队列的位置，而队尾是入队列的位置，一般栈用

原创 数据结构与算法[2]----栈

栈1 定义1.1 栈的定义1.2 栈的抽象数据类型2 存储结构2.1 栈的顺序存储结构三级目录1 定义1.1 栈的定义定义：栈是限定仅在表尾进行插入和删除的线性表。-----栈是一种线性表。允许插入和删除的一端称为栈顶，另一端称之为栈底。不含任何元素的栈称之为空栈，并且栈是后进先出。简称LIFO结构。插入操作称之为进栈，压栈，删除操作称之为出栈，弹栈。1.2 栈的抽象数据类型ADT 栈(stack) Data 同线性表。元素具有相同的类型，相邻元素具有前驱和后堆关系。 Oper

原创 数据结构与算法[1]----线性表

线性表1.定义1.2 抽象数据类型2.线性表1.定义由零个或者多个数据元素组成的有限序列，零个元素的是个空表。首先是个序列，有先来后到。存在多个元素，第一个元素没有前驱，也就是没有前一个元素，最后一个元素没有后继，中间的元素有且仅有一个前驱以及后继。线性表强调是有限的，没有无限长度的线性表。1.2 抽象数据类型定义：是指一个数学模型以及定义在该模型上的一组操作，仅仅取决与它的一组逻辑特性，而与其在计算计算机内部如何表示与实现无关。例如：1+2=3，这样的操作在不同CPU上的处理是不同的

原创 Tensorflow学习笔记---模型断续

Tensorflow 模型继续训练1 前言2 模型保存与读取2.1 例子3 模型读取3.1构建原始的图3.2使用保存的图1 前言Tensorflow记录笔记，本文关于tensorflow模型训练的保存问题，加载已训练模型以继续训练，以及加载已训练模型，并且对模型进行改动微训练的问题。2 模型保存与读取使用saver = tf.train.Saver() 接口进行保存，基本参数如下：val...

原创 Tnsorflow学习笔记---显存管理

显存管理1.简介2.显存管理2.1 查看显存以及内存2.2 申请固定显存大小2.3申请动态显存大小3.结束1.简介    在运行上面的blog的Tensorflow小程序的时候程序我们会遇到一个问题，当然这个问题不影响我们实际的结果计算，但是会给同样使用这台计算机的人带来麻烦，程序会自动调用所有能调用到的资源，并且全占满，在自己的PC上没问题，但是在服务器上，问题就很大，因为一旦你运行程序，占满显存别人就不能再用了，解决方法是我们通常是给程序运行指定一块GPU.2.显存管理2.1 查看显存以及内存

原创 端到端的图像压缩----码率估计

端到端的图像压缩----码率控制前言超先验架构1.VARIATIONAL IMAGE COMPRESSIONWITH A SCALE HYPERPRIOR（Johannes Ballé---纽约大学）2.3.A Hybrid Architecture of Jointly Learning Image Compression and Quality Enhancement with Improved Entropy Minimization（Jooyoung Lee--早稻田）前言本文是基于Johann

转载 TensorFlow学习笔记[h5训练集制作]

h5py是Python语言用来操作HDF5的模块。下面的文章主要介绍h5py的快速入门指南，翻译自h5py的官方文档：http://docs.h5py.org/en/latest/quick.html 。该翻译仅为个人学习h5py为目的，如有翻译不当之处，请速联系笔者或提供正确的翻译，非常感谢！H5数据集制作1 安装2 核心概念3 创建H53.1 Groups和分层结构1 安装使用Anaconda进行安装或者使用Pip进行安装conda install h5py # conda 安装.

原创 python 安卓王者荣耀刷金币

python王者荣耀金币脚本用python模拟按键自动刷王者荣耀冒险模式的脚本1.在电脑上使用手游模拟器，我用的腾讯手游助手2.王者代码中截图部分以及路劲部分自己设定，截图一定要自己截，可能我们电脑不一样像素也不同。3.建议自己先动刷两次大师级刺秦之地，把手动改为自动。自己改完之后，后续就不用改了。4.使用过程中不要盖住王者荣耀界面。插入相关的库：import pyautogui a...

原创 python 线程与进程

线程与进程1 简介2 python多进程2.1进程2.2 进程池3 线程3.1 互斥锁3.2信号量1 简介进程：进程是系统程序正在运行的一个程序，程序一旦运行就是一个进程，可以看作是程序的一种实例，如果一个进程需要访问其他进程的资源，则需要进程通信，例如管道，文件，套接字？！线程：一个进程可以有很多的线程，每个线程使用其所属进程的栈空间，又称轻量级进程，是CPU调度和分派的基本单元。进程可...

原创 python外部配置信息

配置文件1. 前言2. 配置文件2.1 文件读取2.2 配置文件写入3. 外部传参3.1 采用sys库进行传参3.2 使用argparse库1. 前言程序中有很多的参数，在程序中直接改动参数会显得，麻烦而且容易出错，这时候就需要将参数集中到一块，进行统一的改动能够提高我们的开发速率。2. 配置文件2.1 文件读取创建一个 xxx.ini格式的文件，内部格式[ mode_1]， [mode...

原创 Tensorflow笔记[LSTM]

LSTM1.简介2.RNN2.1RNN原理内容介绍2.1优缺点3.LSTM3.1RNN差异1.简介长短期记忆网络（Long-Short Term Memory,LSTM）论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LS...

原创 Tensorflow学习笔记【3】加载数据集

图像分类Dome演示1.步骤2.无标签3.有标签1.步骤准备要加载的数据，可以是路劲，也可以是numpy的数据，如果是路径，则在预处理需要进一步进行转化。使用 tf.data.Dataset.from_tensor_slices() 函数进行加载。使用 shuffle() 打乱数据。使用 map() 函数进行预处理。使用 batch() 函数设置 batch size 值。使用pr...

原创 Tensorflow Pytorch安装

深度学习框架安装由于深度学习框架包括Tensorflow，Pytorch 的源都是在国外的，在国内的安装有时候运气好的情况下可以下载成功，但是大部分的情况都是会出现超时的时候，下面介绍如何快速地安装Tensorflow，Pytorch框架。Tensorflow 安装安装Conda，并且使用Conda国内镜像源创建虚拟环境在虚拟环境中使用Conda或者Pip 下载Tensorflow...

转载 Tensorflow学习笔记【2】张量操作篇

张量操作篇1 数据类型转换1.1数据类型1.2数据类型转换2 张量操作2.1 形状操作2.2切片和合并2.3 归约计算2.4索引求取1 数据类型转换1.1数据类型整型数据代码描述tf.int88位整数tf.int1616位整数tf.int3232位整数tf.int6464位整数tf.uint88位无符号整数。tf.uint161...

原创 Tensorflow学习笔记【1】

目录1.基本操作1.1张量，图，会话1.2 反向传播1.基本操作1.1张量，图，会话import tensorflow as tfa=tf.constant([1.0,2.0]) #tf.constant(),创建张量b=tf.constant([3.0,4.0])result=a+bprint result #此时tf的tensor不同于array，只能print出shape...

原创 Conda 等更换软件源

添加镜像源由于Conda ，Pip ，Ubuntu系统的软件源都是在国外，所以在获取的时候，通常网速较慢，甚至可能在获取中断网导致软件下载失败，故而国内的一些研究机构获取了授权，建立了镜像网站，通过镜像网站，下载软件的速度大大提升，以下即更换为清华镜像或其他镜像的流程。Conda 清华源添加（windows）方案一通过直接cmd中输入下列指令添加，其中最后那个斜杆是不能省的，否则无法连接到...

原创 pycharm安装以及anaconda环境关联

pycharm安装教程pycharm 是一款python语言的编辑器，大部分的python语言开发者都在使用pycharm进行python开发以及python的研究，以下介绍pycharm的安装教程（windows），以及anaconda是python常用的框架，可以Pycharmpycharm的下载地址：http://www.jetbrains.com/pycharm/download/#...

转载 Linux下上传代码至Github

Linux上传代码到GitHub前关于密钥和账号密码的配置使用代码将本地代码push到Github上

原创 Python之数据可视化

导入import pandas as pdimport matplotlib.pyplot as pltimport numpy as np然后以下这两句用于正常显示中文标签plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来...

原创 Pytorch 学习记录

Pytorch 学习记录Pytorch网络初始化class feature_net(nn.Module): //定义一个网络的类 def __init__(self, model, dim, n_classes): //对该类进行初始化 super(feature_net, self).__init__() //基础知识记录reshape and sh...

原创 视频编码量化笔记1

简介在视频编码中，我们需要对残差信息进行DCT变换（or 小波变换）得到DCT系数，在此之后仍然对DCT系数进行量化将DCT系数以便于进行熵编码。并且量化需要平衡R,D之间的关系，达到最佳的率失真优化目的。死区均匀量化器量化：其中▲表示量化的步长sgn(z)函数为： z>0: 取值为1 ， z<0 ：取值为 -1 ， z=0，取值为0。反量化：均匀量化器均匀量...