- 博客(94)
- 资源 (12)
- 收藏
- 关注
原创 大模型必备向量数据库-Milvus的安装过程
Milvus是一个开源的向量相似度搜索引擎,专注于大规模向量数据的快速相似度搜索。本文将介绍Milvus的安装,跟着走,肯定能装上(#^.^#)
2024-02-24 08:36:07 1167 3
原创 Sora一出 哪里又要裁员了?
上班前夕迎来大新闻,那就是Sora了,Sora是什么,有什么牛逼之处,怎么实现的,我们跟着官方文档透露出来的一点点信息捋一捋。
2024-02-20 09:00:35 3373 25
原创 Faiss为啥这么快?原来是量化器在做怪!
Faiss(Facebook AI Similarity Search)是一个面向相似性搜索和聚类的开源库,专注于高维向量的快速相似性搜索。该库提供了一系列高效的算法和数据结构,可用于处理大规模高维向量数据,广泛应用于信息检索、机器学习和深度学习等领域。本文主要介绍Faiss中包含的量化器,量化器可以将高维向量映射到低维码本(codebook)以便进行快速近似最近邻搜索。当然在介绍量化器之前还有说一些前置的概念。
2024-02-18 08:22:14 883 6
原创 【大模型】公主大人,别再用jieba做分词了!看看隔壁ChatGLM用了什么高科技!
ChatGLM是优秀的国产开源大模型,研究的人也比较多,要用它完成自己的任务,还是需要了解它的一些玩法,细节还是很多的。ChatGLM已经更新了几个版本,我就从第一版代码开始记录笔记,后面的版本都是在前一版本进行修改,不会有天翻地覆的变化,所以看到新版本的时候只需要关注变化就可以啦。大模型的内容肯定是很多的,就从比较前置的Tokenizer开始吧。
2024-01-29 08:53:22 1108 9
原创 【OpenCV】仿射变换中cv2.estimateAffine2D 的原理
cv2.estimateAffine2D是 OpenCV 库中的一个函数,用于估计两个二维点集之间的仿射变换矩阵。即第一个点集经仿射变换转换到第二个点集需要的操作,包括缩放、旋转和平移。
2023-11-20 11:29:38 2360 3
原创 【OpenCV】计算视频的光流并跟踪物体calcOpticalFlowPyrLK
计算光流可以使用OpenCV的calcOpticalFlowPyrLK方法,cv2.calcOpticalFlowPyrLK是OpenCV库中的一个函数,用于计算稀疏光流。它实现的是Lucas-Kanade方法,这是一种常用的光流计算方法。光流是图像中物体运动的近似表示,它描述了图像中每个像素点在连续两帧之间的移动。Lucas-Kanade方法假设图像中的一个小邻域内的所有像素在运动上是一致的(即具有相同的光流)。
2023-11-09 08:30:10 1327
原创 一文搞懂Transformer的边角料知识:位置编码
本文介绍Transformer的位置编码,有图有表有推导,看不懂你打我!!!在Transformer出现以前,NLP任务大多是以RNN、LSTM为代表的循环处理方式,即一个token一个token的输入到模型当中。这种设计存在天生的缺陷。为了解决这些缺陷,Transformer把token的顺序信号加到词向量上帮助模型学习这些信息,这就位置编码(Positional Encoding)。接下来的内容不会涉及Self-Attention等牛逼的创新设计,只讨论位置编码,希望对大家有所帮助。
2023-10-08 09:19:52 3485 9
原创 【Rust】文件系统
本文将介绍Rust的文件系统,涵盖文件读写、目录遍历,并给出代码示例。文件读写实践:读取文件的字符串行避免读取写入同一文件使用内存映射随机访问文件目录遍历实践:过去 24 小时内修改过的文件名查找给定路径的循环递归查找重名文件使用给定断言递归查找所有文件跳过隐藏文件遍历目录在给定深度的目录,递归计算文件大小递归查找所有 png 文件忽略文件名大小写,使用给定模式查找所有文件
2023-10-05 07:07:25 1946 4
原创 【Rust】操作日期与时间
Rust的时间操作主要用到chrono库,接下来我将简单选一些常用的操作进行介绍,如果想了解更多细节,请查看官方文档。
2023-09-26 15:02:22 2162 5
原创 torch.Storage()是什么?和torch.Tensor()有什么区别?
torch.Tensor()大家都很熟悉,torch中操作的数据类型都是Tensor。Storage在实际使用中却很少接触,但它却非常重要,因为Tensor真正的数据存储在Storage中,接下来我将结合代码简单的介绍一下Storage。
2023-09-15 11:06:30 319 5
原创 【论文笔记】图像修复MPRNet:Multi-Stage Progressive Image Restoration 含代码解析
恢复图像任务,需要在空间细节和高级上下文特征之间取得复杂的平衡。于是作者设计了一个多阶段的模型,模型首先使用编解码器架构来学习上下文的特征,然后将它们与保留局部信息的高分辨率分支结合起来。
2023-07-18 07:48:45 10949 25
原创 万字长文解读图像超分辨率 Real-ESRGAN 论文笔记+代码阅读
深度学习超分模型有几个里程碑:SRCNN > SRGAN > ESRGAN > Real-ESRGAN,SRCNN 和SRGAN 有些古老了,现在基本用不上,Real-ESRGAN是在ESRGAN的基础上做的升级,于是我们主要介绍Real-ESRGAN,用ESRGAN作为补充。
2023-07-10 07:00:00 8902 9
原创 openEuler操作系统禁用 Nouveau
Liunx系统安装NVIDIA显卡驱动时需要禁用Nouveau,openEuler操作系统也不例外,但是网上openEuler操作系统如何禁用Nouveau的资料比较少,而且基本都不靠谱,我找到一个管用的方法,记录一下。
2023-06-27 13:37:08 595 6
原创 提取图像特征方法总结 是那种很传统的方法~
本文对计算机视觉传统方法中的一些特征提取方法进行了总结,主要包括有:SIFT(尺度不变特征变换)、HOG(方向梯度直方图)、SURF、ORB、LBP、HAAR。
2023-04-15 17:12:23 2992 6
原创 万字长文解读Stable Diffusion的核心插件—ControlNet
ControlNet在大型预训练扩散模型(Stable Diffusion)的基础上实现了更多的输入条件,如边缘映射、分割映射和关键点等图片加上文字作为Prompt生成新的图片,同时也是stable-diffusion-webui的重要插件。ControlNet因为使用了冻结参数的Stable Diffusion和零卷积,使得即使使用个人电脑在小的数据集上fine-tuning效果也不会下降,从而实现了以端到端方式学习特定任务的条件目的。
2023-04-14 17:30:53 18590 35
原创 手把手教你在linux中部署stable-diffusion-webui
本文介绍stable-diffusion-webui的安装步骤,我以linux系统为例介绍,windows系统大同小异,安装期间没有用到梯子,安装目录/opt/stable-diffusion-webui/。
2023-04-13 12:14:19 7969 9
原创 用GPT-4写代码不用翻墙了?Cursor告诉你:可以~~
Cursor主要功能是根据用户的描述写代码或者进行对话,对话的范围仅限技术方面。优点是不用翻墙、不需要账号。Cursor基于GPT模型,具体什么版本不祥,有人说是GPT-4,但是官方没有证实,但这并不影响Cursor的强大。目前Cursor是免费的,但是偶尔会出现"Maximum Capacity",据我观察并不频繁;如果不想看见这个提示可以付费,每月20美金,具体怎么支付我就不介绍了,反正你也不会花钱。
2023-03-29 16:44:47 42607 70
原创 ChatGPT应用场景与工具推荐
本文会简单介绍ChatGPT的特点、局限以及存在的问题,相信随着科技的发展,ChatGPT功能会越来越强大,也会有更多类似ChatGPT的大模型出现服务用户。以下所有介绍及其演示均基于2023年3月的ChatGPT进行。
2023-03-22 10:22:51 17368 19
原创 爱因斯坦求和约定 含代码einsum
爱因斯坦求和约定(Einstein summation convention)是一种标记的约定, 又称为爱因斯坦标记法(Einstein notation), 可以基于一些约定简写格式表示多维线性代数数组操作,让表达式更加简洁明了。
2023-03-08 16:53:52 4090 5
原创 【论文笔记】图像修复Learning Joint Spatial-Temporal Transformations for Video Inpainting
本文提出时空转换网络STTN(Spatial-Temporal Transformer Network)。具体来说,是通过自注意机制同时填补所有输入帧中的缺失区域,并提出通过时空对抗性损失来优化STTN。为了展示该模型的优越性,我们使用标准的静止掩模和更真实的运动物体掩模进行了定量和定性的评价。
2023-02-17 12:57:21 11924 15
原创 人脸伪造DFDC数据集下载 附网盘地址
DFDC数据集体积高达472GB,包括了119,197个视频,每个视频时长都为10秒。472GB的数据集需要从Kaggle对于有的小伙伴还是有困难的,于是我把数据集放到了百度网盘,
2023-02-08 11:28:11 8568 27
原创 Pytorch优化器全总结(四)常用优化器性能对比 含代码
常用的优化器我已经用三篇文章介绍完了,现在我将对比一下这些优化器的收敛速度。下面我将简单介绍一下要对比的优化器,每种我只用一到两句话介绍,详细介绍请跳转上面的链接,每种优化器都详细介绍过。
2023-01-16 08:08:31 16463 22
原创 Pytorch优化器全总结(三)牛顿法、BFGS、L-BFGS 含代码
这篇文章是优化器系列的第三篇,主要介绍牛顿法、BFGS和L-BFGS,其中BFGS是拟牛顿法的一种,而L-BFGS是对BFGS的优化,那么事情还要从牛顿法开始说起。L-BFGS即Limited-memory BFGS。 L-BFGS的基本思想就是通过存储前m次迭代的少量数据来替代前一次的矩阵,从而大大减少数据的存储空间。
2023-01-09 08:19:12 27695 51
原创 【目标检测】YOLOv5能识别英雄和小兵?原理解析~
YOLOv5是在YOLOv3和YOLOv4基础上进行的升级,没有颠覆性的改变,增加的tricks也要看实际情况使用。YOLOv5主要是给出了一个目标检测框架的落地方案,方便工作落地。YOLOv5原版代码中给出的网络文件是yaml格式,非常不直观,这里我们直接使用pytorch改写的版本介绍。
2022-12-21 09:46:33 19433 3
原创 百度图片源码流出~按照颜色搜图片~提取图片主体颜色
百度图片中有一个按照颜色搜图片的功能,其核心算法是提取图片主体颜色法,本文将使用python实现提取图片主体颜色算法。
2022-12-14 14:02:47 14590 3
原创 【目标检测】IoU、GIoU、DIoU、CIoU、EIoU 5大评价指标
在目标检测任务中,常用到一个指标IoU,即交并比,IoU可以很好的描述一个目标检测模型的好坏。在训练阶段IoU可以作为anchor-based方法中,划分正负样本的依据;同时也可用作损失函数;在推理阶段,NMS中会用到IoU。同时IoU有着比较严重的缺陷,于是出现了GIoU、DIoU、CIoU、EIoU,下面我们一起看一下这几种IoU。
2022-12-08 07:42:25 29027 5
原创 【目标检测】英雄联盟能用YOLOv5实时目标检测了 支持onnx推理
dcmyolo(dreams create miracles),中文:大聪明目标检测工具包。该项目基于pytorch搭建,构建的目的是提供一个拥有更好性能的 YOLO版本,同时拥有丰富的中文教程和源码细节解读,提供算法工具箱,给出不同体量模型的实验数据,为算法落地带来便利。项目本着方便开发者的目的,开箱即用,推理阶段直接将dcmyolo目录考到项目中,实例化一个类,然后调用即可。下面我将以检测英雄联盟中的英雄、小兵和塔为案例,仔细介绍dcmyolo的使用方法。
2022-11-25 15:12:01 33647 31
原创 常见的机器学习算法的计算复杂度
计算的复杂度是一个特定算法在运行时所消耗的计算资源(时间和空间)的度量。计算复杂度又分为两类,时间复杂度和空间复杂度,本文将介绍两种复杂度,并提供8种算法的复杂度。
2022-11-22 08:49:19 1226
原创 【目标跟踪】pytorch实现DeepSORT+YOLOV5 YOLOFastestv2 含代码
dcmtracking(dreams create miracles),中文:大聪明跟踪工具包。该项目现在实现了基于pytorch的YOLOV5+DeepSORT和YOLOFastestv2+DeepSORT,将持续更新,欢迎关注。
2022-10-31 09:51:58 19406 8
原创 Pytorch优化器全总结(二)Adadelta、RMSprop、Adam、Adamax、AdamW、NAdam、SparseAdam(重置版)
这篇文章是优化器系列的第二篇,也是最重要的一篇,上一篇文章介绍了几种基础的优化器,这篇文章讲介绍一些用的最多的优化器:Adadelta、RMSprop、Adam、Adamax、AdamW、NAdam、SparseAdam。这些优化器中Adadelta和RMSprop是对上一篇中Adagrad的优化;Adam结合了Momentum 和 RMSprop;Adamax、AdamW、NAdam又是对Adam的改进,可以看到优化器一步一步升级的过程,所以我们放在一篇文章中。
2022-09-16 06:21:49 29475 17
原创 Pytorch优化器全总结(二)Adadelta、RMSprop、Adam、Adamax、AdamW、NAdam、SparseAdam
这篇文章是优化器系列的第二篇,也是最重要的一篇,上一篇文章介绍了几种基础的优化器,这篇文章讲介绍一些用的最多的优化器:Adadelta、RMSprop、Adam、Adamax、AdamW、NAdam、SparseAdam。这些优化器中Adadelta和RMSprop是对上一篇中Adagrad的优化;Adam结合了Momentum 和 RMSprop;Adamax、AdamW、NAdam又是对Adam的改进,可以看到优化器一步一步升级的过程,所以我们放在一篇文章中。
2022-09-15 09:32:14 34563 10
原创 Pytorch优化器全总结(一)SGD、ASGD、Rprop、Adagrad
这是一个系列,以Pytorch为例,介绍所有主流的优化器,如果都搞明白了,对优化器算法的掌握也就差不多了。作为系列的第一篇文章,本文介绍Pytorch中的SGD、ASGD、Rprop、Adagrad,其中主要介绍SGD和Adagrad。因为这四个优化器出现的比较早,都存在一些硬伤,而作为现在主流优化器的基础又跳不过,所以作为开端吧。
2022-09-06 10:34:18 62773 45
原创 最大似然估计和最小二乘法 含代码
最大似然估计和最小二乘法是机器学习中经常用到的两种方法,它们既有区别又有千丝万缕的联系,而且容易搞混,今天我们以简单的线性回归为例(简单到没有偏执,只有权重w),简单介绍一下两种算法。...
2022-07-29 14:21:27 5654 9
原创 波士顿房价数据集 Boston house prices dataset
因为涉及种族问题(有一个和黑人人口占比相关的变量B),波士顿房价这个数据集将在sklearn 1.2版本中被移除。在这里记录一下。
2022-07-28 17:47:59 9173 2
原创 深度学习参数初始化(二)Kaiming初始化 含代码
Xavier初始化在ReLU层表现不好,主要原因是relu层会将负数映射到0,影响整体方差。而且Xavier初始化方法适用的激活函数有限:要求关于0对称;线性。而ReLU激活函数并不满足这些条件,实验也可以验证Xavier初始化确实不适用于ReLU激活函数。所以何恺明在对此做了改进,提出Kaiming初始化,一开始主要应用于计算机视觉、卷积网络。...
2022-07-13 14:00:01 24626 10
原创 深度学习参数初始化(一)Xavier初始化 含代码
Xavier初始化也称为Glorot初始化,因为发明人为Xavier Glorot。Xavier initialization是 Glorot 等人为了解决随机初始化的问题提出来的另一种初始化方法,他们的思想就是尽可能的让输入和输出服从相同的分布,这样就能够避免后面层的激活函数的输出值趋向于0。........................
2022-06-30 19:54:45 32221 11
原创 损失函数大全Cross Entropy Loss/Weighted Loss/Focal Loss/Dice Soft Loss/Soft IoU Loss
目录一、cross entropy loss二、weighted loss三、focal loss四、dice soft loss五、soft IoU loss总结:一、cross entropy loss用于图像语义分割任务的最常用损失函数是像素级别的交叉熵损失,这种损失会逐个检查每个像素,将对每个像素类别的预测结果(概率分布向量)与我们的独热编码标签向量进行比较。假设我们需要对每个像素的预测类别有5个,则预测的概率分布向量长度为5:每个像素对应的损失函
2022-05-26 09:14:15 4804 4
person_pose_json.zip
2019-12-26
bazel-0.80-dist
2019-02-01
机器学习:实用案例解析(中文版,带完整书签)
2019-01-07
机器学习实战:基于Scikit-Learn和TensorFlow
2018-11-21
程序员的数学 三册全
2018-09-30
高等数学 下册
2018-09-30
高等数学 上册
2018-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人