- 博客(124)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 H264格式 I帧 P帧 B帧 基础知识
H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称，在编码方面，我理解的他的理论依据是：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内。所以对于一段变化不大图像画面，我们可以先编码出一个完整的图像帧A，随后的B帧就不编码全部图像，只写入与A帧的差别，这样B帧的大小就只有完整帧的1/10或更小！B帧之后的C帧如果变化不大，我们可以继续以参考B的方式编码C帧，这样循环下去。这段图像我们称为一个
2022-04-21 15:32:10
3748
转载 2021-02-20
出处：http://blog.csdn.NET/nanjunxiao/article/details/8976195学习排序（Learning to Rank）LTR（Learning torank）学习排序是一种监督学习（SupervisedLearning）的排序方法。LTR已经被广泛应用到文本挖掘的很多领域，比如IR中排序返回的文档，推荐系统中的候选产品、用户排序，机器翻译中排序候选翻译结果等等。IR领域传统的排序方法一般通过构造相关度函数，然后按照相关度进行排序。影响相关度...
2021-02-20 19:10:50
176
原创 HDFS、Ceph、GFS、GPFS、Swift、Lustre
HDFS/CEPH/GFS/GPFS/Swift这类分布式存储，按照存储的类型来区分，HDFS/GPFS/GFS属于文件存储，CEPH属于统一存储–即块/对象/文件统一体，Swift属于对象存储-目前属于OpenStack下面的一个子项目。1)HDFSHadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部
2020-09-04 14:42:22
973
原创 SSTable和MEMtable 结构
SSTable文件的结构整体上看 SSTable文件分为数据区与索引区，尾部的footer指出了meta index block与index block的偏移与大小，index block指出了各data block的偏移与大小，metaindex block指出了filter block的偏移与大小。1）data block：存储key-value记录，分为Data、type、CRC三部分2）filter block：默认没有使用，用于快速从data block 判断key-value是否..
2020-07-22 11:57:59
662
转载 存储技术FTL基础知识学习
有参考大神的博客和网页，，如果涉及侵权，请联系我，我删帖！！！一.基本理论1.FTL（Flash translation layer）由来：闪存的读写单位为页，而页的大小一般为4KB或8KB，但我们的操作系统读写数据是按HDD（硬盘）的扇区尺寸进行的（512Byte（字节）），更麻烦的是闪存擦除以块作单位，而且未擦除就无法写入，这导致操作系统现在使用的文件系统根本无法管理SSD（固态硬盘），需要更换更先进、复杂的文件去解决这个问题，但会增加操作系统负担。而为了不加重操作系统的负担，SSD采用软.
2020-07-21 16:33:54
1015
转载 介绍一下 M.2,SATA,NVMe
链接：https://www.zhihu.com/question/48972075/answer/521468195简单介绍一下 M.2,SATA,NVMe这些SSD名词，以及他们的关系。1. 物理接口M.2 , U.2 , AIC, NGFF 这些属于物理接口。像 M.2 可以是 SATA SSD 也可以是 NVMe（PCIe） SSD。金手指上有一个 SATA/PCIe 的选择信号，来区分两者。很多笔记本的M.2 接口也是同时支持两种类型的盘的。M.2 , 主要用在 笔记本上，优.
2020-07-14 15:28:57
1274
转载 系统间通信（11）——RPC实例Apache Thrift 上篇
1、概述通过上一篇文章《架构设计：系统间通信（10）——RPC的基本概念》的介绍，相信读者已经理解了基本的RPC概念。为了加深这个理解，后面几篇文章我将详细讲解一款典型的RPC规范的实现Apache Thrift。Apache Thrift的介绍一共分为三篇文章，上篇讲解Apache Thrift的基本使用；中篇讲解Apache Thrift的工作原理（主要围绕Apache Thrift使用的消息格式封装、支持的网络IO模型和它的客户端请求处理方式）；下篇对Apache Thrift的不足进行分析，并基于
2020-06-13 16:51:25
169
转载 bitcask存储模型
----《大规模分布式存储系统：原理解析与架构实战》读书笔记最近一直在分析OceanBase的源码，恰巧碰到了OceanBase的核心开发者的新作《大规模分布式存储系统：原理解析与架构实战》.看完样章后决定入手，果然物有所值。对于准备学习分布式的同学，这是一本不错的书籍，相对系统，全面的介绍了分布式的相关技术和项目，基本都是干货。还有一半是在介绍OceanBase的内容，对我来说，正是踏破铁鞋无觅处，接下来会有几篇专门研究存储引擎的读书笔记哟。废话不多说，转入正题。1.存储的介质与读写谈存储，那么理
2020-06-12 11:37:41
261
转载 netty流程介绍，组件介绍
1. 概览从高层次的角度来看Netty， 它主要为需要开发高性能应用的开发者解决了“技术”的和“体系结构”的问题。首先，它的基于 Java NIO 的异步的和事件驱动的实现，保证了高负载下应用程序性能的最大化和可伸缩性。其次， Netty 也包含了一组设计模式，将应用程序逻辑从网络层解耦，简化了开发过程，同时也最大限度地提高了可测试性、模块化以及代码的可重用性。为了可以更好的研究 Netty，本文主要对Netty的组件做一个简单的描述，以及从高层次的角度来了解各个组件是如何协作的。Netty中主
2020-05-26 10:18:06
190
转载 视频直播CDN系统架构简析
转自“细说云计算”公众号，点击原文链接看原文通常我们所说的视频，是指连续的图象变化每秒超过 24 帧(Frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频。而媒体转码是指将一段多媒体包括音频、视频或者其他的内容从一种编码格式转换成为另外一种编码格式。其中内容分发网络就是大家常说的 CDN，这里主要包含流媒体服务器，负载均衡，路由重定向，视频转码，视频录制存储，防盗链，性能等相关技术内容。本文主要从直播概述、直播架构、业.
2020-05-18 11:32:53
685
原创 剪枝、量化、蒸馏
1 剪枝剪枝是一项古老的技术，从上个世纪传承至今，在学术界和工业界相关的研究工作都是很活跃的。剪枝根据不同的粒度有很多种，小到一个卷积参数，大到一个网络层。剪枝到底对性能会有什么影响呢？在稀疏性分别为0%，50%，75%，87.5%时，模型中非零参数分别是原始模型的1，0.5，0.25，0.128倍（也就是模型的参数少了，是原来的12.8%，剪枝了不少，压缩了），即实现了1，2，4，8倍的...
2020-04-29 12:08:59
3253
1
原创 迁移学习的背景及介绍
迁移学习提出的背景及历史1、迁移学习提出背景在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（feature space）。但在现实应用中，这个假设很难成立，往往遇到一些问题：1、带标记的训练样本数量有限。比如，处理A领域（target domai...
2020-03-31 10:41:58
2165
原创 度量学习介绍
知乎大神Flood Sung发表在CVPR2018上的paper，介绍了一种基于metric的模式识别方法，创新之处在于它不同于常用的matric-based方法，使用人为定义的度量，像简单的欧式距离、马氏距离，而是采用了用神经网络去训练这个度量，模型虽然简单，但是效果却很显著。1、度量(Metric)先说一下关于度量这个概念：在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的...
2020-02-12 10:45:16
1579
原创 IoU、GIoU、DIoU
IOU(Intersection over Union)1. 特性(优点)IoU就是我们所说的交并比，是目标检测中最常用的指标，在anchor-based的方法中，他的作用不仅用来确定正样本和负样本，还可以用来评价输出框（predict box）和ground-truth的距离。可以说它可以反映预测检测框与真实检测框的检测效果。 还有一个很好的特性就是尺度不变性，也就是对尺...
2020-02-11 15:57:10
644
原创 DropBlock-用在卷积网络上的新的dropout方法
谷歌团队最近提出了一种用在卷积网络上的新的dropout方法——DropBlock，我觉得很有必要向大家介绍一下。简单的说，Dropout强迫神经网络不单独依赖某一个特征，从而提高网络的泛化能力，但使用卷积网络处理的数据（不仅仅是图像数据）通常具有空间上的关联性，因而对于位于某一空间区域的对象，随机丢弃难以drop掉该对象的信息，Dropout的目的也就不能充分达到。DropBlock则dro...
2020-02-11 15:51:23
394
转载 VGGNet、ResNet、Inception和Xception
简介VGGNet2014年。该网络使用3×3卷积核的卷积层堆叠并交替最大池化层，有两个4096维的全连接层，然后是softmax分类器。16和19分别代表网络中权重层的数量。ResNet2015年。该网络使用残差模块来组成更复杂的网络（网络中的网络），使用标准随机梯度下降法训练。与VGG相比，ResNet更深，但是由于使用全局平均池操作而不是全连接密集层，所以模型的尺寸更小。Incept...
2019-12-09 20:27:35
387
原创 多目标跟踪算法评价指标
标准CLEAR-MOT测量，包括：Multi-Object Tracking Accuracy(MOTA) Multi-ObjectTracking Precision (MOTP)这两个评价标准。此外，额外引入了若干指标来进行评价：↑：表示得分越高越好，反之亦然。Recall(↑):正确匹配的检测目标数/ground truth给出的目标数 Precision(↑)：正确匹配的检测...
2019-12-09 19:29:55
1880
2
原创 Cascade R-CNN
本篇文章主要解决了在目标检测中，检测框不是特别准，容易出现噪声干扰的问题，即close false positive，为什么会有这个问题呢？作者实验发现，因为在基于anchor的检测方法中，我们一般会设置训练的正负样本（用于训练分类以及对正样本进行坐标回归），选取正负样本的方式主要利用候选框与ground truth的IOU占比，常用的比例是50%，即IOU>0.5的作为正样本，IOU<...
2019-11-25 22:08:27
189
原创 图像特征提取：HOG特征、LBP特征、Haar特征
HOG特征：方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVP...
2019-11-25 22:00:13
392
转载 NAS介绍--在搜索空间中通过某种搜索策略得到子网络结构，评估优劣并优化
NAS 综述AutoML（automated machine learning）是模型选择、特征抽取和超参数调优的一系列自动化方法，可以实现自动训练有价值的模型。AutoML 适用于许多类型的算法，例如随机森林，gradient boosting machines，神经网络等。 机器学习最耗费人力的是数据清洗和模型调参，而一般在模型设计时超参数的取值无规律可言，而将这部分过程自动化可以使机器学...
2019-10-22 16:01:52
2295
原创 生成式对抗网络（GAN, Generative Adversarial Networks ）--无监督学习
生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生...
2019-10-22 14:07:38
2710
转载 Stackoverflow介绍
作为一名程序员，如果没有听过 Stackoverflow，那么你最好去面壁思过一下。程序员最需要阅读的一本编程书籍（其实编程书留下这本就够了！）：那些还没有读过这本书的程序员，是时候买一本了。如果还在犹豫，那么先看下这篇文章，看看为什么离不开 stackoverflow。提问的智慧当你拋出一个技术问题时，最终是否能得到有用的回答，往往取决于你所提问和追问的方式。 —— Eric S...
2019-10-08 19:12:33
24441
1
原创 NVIDIA TensorRT介绍
NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。TensorRT需要CUDA的支持。TensorRT包含一个为优化生产环境中部署的深度学习模型而创建的库，可获取经过训练的神经网络(通常使用3...
2019-09-24 10:52:14
2420
转载 MySQL的四种事务隔离级别
https://www.cnblogs.com/huanongying/p/7021555.html本文实验的测试环境：Windows 10+cmd+MySQL5.6.36+InnoDB一、事务的基本要素（ACID） 1、原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有...
2019-09-18 15:21:58
100
转载 OpenResty介绍
一．前言我们都知道Nginx有很多的特性和好处，但是在Nginx上开发成了一个难题，Nginx模块需要用C开发，而且必须符合一系列复杂的规则，最重要的用C开发模块必须要熟悉Nginx的源代码，使得开发者对其望而生畏。为了开发人员方便，所以接下来我们要介绍一种整合了Nginx和lua的框架，那就是OpenResty，它帮我们实现了可以用lua的规范开发，实现各种业务，并且帮我们弄清楚各个模块的编...
2019-09-17 18:16:12
965
转载 微服务之服务发现
【一】微服务之服务发现概述关于微服务，近年来可谓是大火，业界也吹刮着一种实践微服务的风潮。本人有幸在去年参与到一个向微服务过渡的产品，再结合自己所学的一些知识做一个总结，同时也是一个继续学习的过程。如果说在实施微服务的所有经验中，挑出最重要的一点，那么我觉得应该是：基础设施的建设决定微服务的实施效果后面可能会写一篇关于具体踩坑的总结，大多也是关于基础设施组件的。如果在实施微服务...
2019-08-15 11:08:46
115
转载 druid、impala、presto的比较
对比各种开源的OLAP引擎。按照查询类型划分，OLAP一般分为即席查询和固化查询，即席查询:通过手写sql完成一些临时的数据分析需求，这类sql形式多变、逻辑复杂，对查询时间没有严格要求固化查询：指的是一些固化下来的取数、看数需求，通过数据产品的形式提供给用户，从而提高数据分析和运营的效率。这类的sql固定模式，对响应时间有较高要求。按照架构实现划分，主流的OLAP引擎主要有下面三点：...
2019-08-07 19:44:07
997
转载 IaaS, PaaS和SaaS的区别
原文：https://www.bmc.com/blogs/saas-vs-paas-vs-iaas-whats-the-difference-and-how-to-choose/从小型企业到全球企业，云都是一个非常热门的话题，它是一个非常广泛的概念，涵盖了很多在线领域。 无论是应用程序还是基础架构部署，当您开始考虑将业务转移到云时，了解各种云服务的差异和优势比以往任何时候都更加重要...
2019-08-07 19:31:21
132
原创 分布式锁的实现方式
一、为什么要使用分布式锁我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的Java多线程的18般武艺进行处理，并且可以完美的运行，毫无Bug！注意这是单机应用，也就是所有的请求都会分配到当前服务器的JVM内部，然后映射为操作系统的线程进行处理！而这个共享变量只是在这个JVM内部的一块内存空间！后来业务发展，需要做集群，一个应用需要部署到几台机器上然...
2019-08-07 00:25:40
75
转载 JMS VS AMQP
JMS VS AMQP4.1 JMS4.1.1 JMS 简介JMS（JAVA Message Service,java消息服务）是java的消息服务，JMS的客户端之间可以通过JMS服务进行异步的消息传输。JMS（JAVA Message Service,Java消息服务）API是一个消息服务的标准或者说是规范，允许应用程序组件基于JavaEE平台创建、发送、接收和读取消息。它使分布...
2019-08-07 00:11:24
139
转载 用ZooKeeper来做：统一配置管理、统一命名服务、分布式锁、集群管理
我简单概括一下： ZooKeeper主要服务于分布式系统，可以用ZooKeeper来做：统一配置管理、统一命名服务、分布式锁、集群管理。 使用分布式系统就无法避免对节点管理的问题(需要实时感知节点的状态、对节点进行统一管理等等)，而由于这些问题处理起来可能相对麻烦和提高了系统的复杂性，ZooKeeper作为一个能够通用解决这些问题的中间件就应运而生了。 二、为什么ZooKeep...
2019-07-30 23:11:19
1065
1
转载 大数据平台技术栈
技术栈全貌大数据平台技术栈下面自底向上介绍各个层的主要项目。1 采集层和传输层采集层 Sqoop 在hadoop和关系型数据库之间转换数据。 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中。Fl...
2019-07-26 10:55:48
366
转载 F5负载均衡
网络负载均衡（load balance），就是将负载（工作任务）进行平衡、分摊到多个操作单元上进行执行，例如web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。实际上就是，负载均衡会对外部展现一个虚拟的服务器地址，当用户试图连接时，它会将连接通过双向网络地址转换（NAT）转到最适合的真实服务器上，以完成用户的请求。下面我们就了解一下F5负载均衡。本文对F5负...
2019-07-12 20:20:29
3060
转载 当我们在说微服务治理的时候究竟在说什么
自从微服务架构开始变得火热以后，越来越多的系统被拆解成了很多个细胞一样的微服务。设想一下，如果你的系统有100个微服务构成，要对这100个微服务进行管理，这绝对是一个不小的挑战。所以紧接着又出现了一堆让人头晕眼花的概念：服务注册发现，请求链路追踪，服务熔断，服务限流，服务管控配置，服务预警。还有就是一抓一大把的开源工具：Eurake，Zuul，Ribbon，hystrix，zipkin，dubbo...
2019-07-12 15:42:16
81
转载 实时应用监控平台CAT
https://github.com/dianping/catCAT 简介CAT 是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。 CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配...
2019-06-14 20:07:07
1974
转载 PHP和Golang，在开发速度，性能，安全性，可伸缩性等方面区别
Golang性能Golang和PHP的表现速度差异很大。Kairos报告说，当客户从PHP构建转移到Golang时，其客户报告API事务速度提高了8倍。发生这种情况是因为Golang比PHP更有效地处理数据处理。此外，由于编译方面的原因，即使是糟糕的Golang代码也会优于良好的PHP代码，从而提高性能。更重要的是，最终用户可以获得快速执行的应用程序。代码量不同快速上市必须是Golan...
2019-05-14 15:37:34
5044
2
转载 阿里前HRG：开过100个人，管理才叫有境界
文章开始之前，让我们先来思考三个问题：经营一家企业最重要的是什么？管理的本质是什么？HR真的只是HR的事情吗？一般而言，经营一家企业有三个维度，人、财、务，但你一定要知道，人是一切。所有的烦恼都来自于人，各种人让你不顺心，你会焦头烂额，每一次被折磨的都是因为人的问题。流动的人心不变的人性。也就是说，一个老板最核心要掌握的能力就是要有读人心的能力。而管理的本质，我的理解就是通过别人去拿结...
2019-05-14 11:06:32
1449
原创 flask和django的 比较
（1）FlaskFlask确实很“轻”，不愧是Micro Framework，从Django转向Flask的开发者一定会如此感慨，除非二者均为深入使用过Flask自由、灵活，可扩展性强，第三方库的选择面广，开发时可以结合自己最喜欢用的轮子，也能结合最流行最强大的Python库入门简单，即便没有多少web开发经验，也能很快做出网站非常适用于小型网站非常适用于开发web服务的API开发大...
2019-05-09 17:02:43
123
转载 C语言中malloc函数返回值是否需要类型强制转换问题
1. 在C语言中, 如果调用的函数没有函数原型, 则其返回值将默认为 int 型.考虑调用malloc函数时忘记了 #include <stdlib.h>的情况此时malloc函数返回值将为 int 而不是void * (这是C语言的规则, 所有没有函数原型的函数返回值都为int), 此时如果在程序中有如下语句[cpp]int *p = malloc(10);i...
2019-05-06 15:41:46
1738
转载 MySQL 常用存储引擎 优缺点
InnoDB 引擎MySQL 5.5 及以后版本中的默认存储引擎，他的优点如下：灾难恢复性好支持事务使用行级锁支持外键关联支持热备份对于InnoDB引擎中的表，其数据的物理组织形式是簇表（Cluster Table），主键索引和数据是在一起的，数据按主键的顺序物理分布实现了缓冲管理，不仅能缓冲索引也能缓冲数据，并且会自动创建散列索引以加快数据的获取支持热备份MyISAM引擎...
2019-05-05 15:28:21
192
w3c school Web 全套 技术 教程.zip
2010-04-01
高级TCPIP编程.rar[PDF]
2009-03-15
敏捷软件开发：原则、模式与实践(全).pdf
2008-05-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人