submarineas-CSDN博客

原创 rag笔记（一）：技术介绍与实践

检索增强生成（RAG）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。

2024-03-19 18:51:15 990

原创 sora笔记（三）：diffusion transformer模型的发展历程

::info💡 在一文中介绍了目前未开源的sora模型可能涉及到的技术点，包括介绍了Vision Transformer，作为transformer正式用于图像的一种范式，为本文中将提到的内容打下基础，同时一文对diffusion model的数学原理推导，也为后来模型的演化提供更加完整的认识。而本文将要介绍的是后来的ViViT与DiT两种模型架构，并对其进行了更进一步的源码分析。

2024-03-16 13:13:55 1228

原创 sora笔记（一）：sora前世今生与技术梗概

::info💡 近日，OpenAI发布了视频生成模型Sora，最大的Sora模型能够生成一分钟的高保真视频。同时 OpenAI称，可扩展的视频生成模型，是构建物理世界通用模拟器的一条可能的路径。**📃 **Sora能够生成横屏19201080视频，竖屏10801920视频，以及之间的所有内容。这使得Sora可以兼容不同的视频播放设备，根据特定的纵横比来生成视频内容，这也会大大影响视频创作领域，包括电影制作，电视内容，自媒体等。

2024-03-02 20:39:37 780

原创个人向非企业，基于目前主流图床的选购指南

基于目前国内外数十种可搭建图床业务，做了基于个人的总结，并在最后，给出了选购建议与使用经验

2023-06-24 15:53:26 1297 1

原创 bird 2023 比赛总结

在jupyter notebook中一般能直接播放该音频，算是librosa做了相应的兼容，然后将声音波段不加任何处理直接画出，可以看出来很嘈杂，主要没有调节频率，也没有提取出特征，所以更进一步的还有Spectograms（光谱图）Mel Spectograms（梅尔光/频谱）Chromagram（色谱图）Waveforms：在音频处理中，波形是声音信号的图形表示，显示了信号随时间的变化。它是 y 轴上声波振幅与 x 轴上时间的关系图。

2023-05-30 15:54:52 1791

原创 python 绘制箱型图一些技巧

本篇是之前有一个需求，需要用python来画箱型图，但要求很多，所以我也不断再版，今天突然想起来这个东西可以总结一下，正好马上得思考下一步做啥了，有足够的空闲时间，所以准备把一些基础概念再好好复习一遍。

2023-05-21 18:26:49 5530 1

原创 Google - ISLR 比赛总结

首先，该层在_init_方法中创建了一个名为的常量。该常量是一个矩阵，其行数等于数据中特定类型的标志点的数量，列数是 3（即 x、y 和 z 坐标）。这个矩阵用于校正相机的拍摄方向，将左手调整为右手，右手调整为左手。该层还定义了一个名为pad_edge的方法，用于在给定张量的左侧或右侧填充一定数量的重复元素。接下来，该层使用装饰器装饰了一个_call_方法，用于处理输入数据。该方法首先计算了输入数据的帧数（N_FRAMES0），然后通过计算左右手各自在数据中的坐标之和，找到了数据中支配性手的标志点。

2023-05-05 22:36:36 609

原创 minigpt4搭建过程记录，简单体验图文识别乐趣

从3月开始，aigc进入了疯狂的开端，正如4月12日无界 AI直播在《探索 AIGC 与人类合作的无限可能》中关于梳理的时间线一样，aigc的各种产品如雨后春笋般进入了不可逆的态势，里面有句话很形象，人间一日，AIGC十年。这产变革像是有计划性的沧海桑田，让每个参与者亦或者体验者都感觉时过境迁，本文是针对前几天刚发布的minigpt4，简单写了个部署教程，最近GitHub trending中有太多的奇思妙想，在基于chat的这么一个模型下，每个人都能让故事开始变得天马行空，充满无限的可能。

2023-04-25 15:38:03 8569 18

原创数据结构笔记：二叉树的遍历与技巧

遍历是数据结构中常见的操作，主要是将所有元素都访问一遍。对于线性结构来说，遍历分为两种：正序遍历和逆序遍历。前序遍历（Preorder Traversal）中序遍历(Inorder Traversal)后序遍历(Postorder Traversal)层序遍历(Levelorder Traversal)int data;

2023-04-22 21:49:14 1127

原创 django复习笔记：一个简单的文件分享系统

本篇参考实验楼中的django打造文件共享系统，结合之前自己的经验，重新回顾django这个框架，在这之前，距离我上一次使用django，已经过去了快3年了。所以本篇涉及到的很多基础概念都是初级，为了复习而用。

2023-04-05 18:54:07 522 2

原创 GCN的几种模型复现笔记

本篇笔记紧接上文，主要是上一篇看写了快2w字，再去接入代码感觉有点不太妙，后台都崩了好几次，因为内存不足，那就正好将内容分开来，可以水两篇，另外也给脑子放个假，最近事情有点多，思绪都有些乱，跳出原来框架束缚，刚好这篇自由发挥。

2023-03-22 16:22:50 1358 2

原创 CS224W课程学习笔记（五）：GNN网络基础说明

GNN 是对图的所有属性（节点、边、全局上下文）的可优化转换，它保持了图对称性（排列不变性）。这里我们可以构建一个最简单的GNN模型，此GNN在图的每个组件上使用单独的多层感知器（MLP），即分别对图的点、边和全局三个向量分别做一次MLP，用不同的映射函数，如下图所示：但现实是往往很难直接拿到完整的点或者边的信息，可能我们可以获取到所有的边，而缺少了一些点的数据，我们最终的目标是对节点进行预测，所以需要一种方法来从边缘收集信息并将其提供给节点进行预测。

2023-03-08 23:57:58 680

原创 LINE、SDNE和struc2vec图嵌入算法学习笔记

真实世界的信息网络中，能观察到的直接链接仅占很小的比例，大部分链接都因观察不到而缺失。比如社交网络中，很多线下的关系链并没有百分之百同步到线上。如果顶点vvv和uuu的链接发生缺失，则其一阶邻近度为0，即使实际上它们关系非常密切。因此仅仅依靠一阶邻近度不足以描述网络的全局结构，我们需要寻找方法来解决这种因为大部分链接缺失导致的网络稀疏问题。一阶相似性网络中的一阶相似性是两个顶点之间的局部点对的相似度。对于有边uv(u,v)uv连接的每对顶点，该边的权重WuvW_{uv}Wuv。

2023-03-04 21:41:17 1360

原创 kaggle RSNA 比赛过程总结

自20年最后一场后（其实之前也就打过两场，一场打铁，一场表格赛是金是银不太记得，当时相当于刺激战场，过拟合lb大赛太刺激了，各种trick只有敢想就敢做，但最近发现账号都忘了），RSNA开赛那段时期，有个群里正好有人说要参加，具体啥情况忘了，然后我正值年底，阳了后又恍恍惚惚参加了一场考试，转阴后方觉大梦一场，梦醒茶凉（当然，这只是我现在的说辞，从11月发生了太多意料之外的事情，我现在也只能用一梦黄粱来搪塞），需要做一些事情排解一下新年的迷茫与惆怅，于是顺势就加入

2023-03-02 00:14:56 828

原创图节点嵌入相关算法学习笔记

本篇笔记为coggle 2月打卡任务，正好也在学习cs224w，干脆就一起做了，以下是任务列表：

2023-02-26 23:04:27 567

原创 CS224W课程学习笔记（四）：node2vec算法原理与说明

DeepWalk可以说给大家带来了全新的思路，其意义远不止实验结果那么简单。理论上，对于任何图数据，或者是由关系型数据抽象出来的图数据，都可以利用DeepWalk得到Embedding，而且算法简单，易于扩展到大规模数据上；更为重要的，这启发了后续的研究者进行了更加深入的研究。node2vec的作者针对DeepWalk不能用到带权图上的问题，提出了概率游走的策略，并使用AliasSampling进行采样，该算法在之后会尝试讲解，这里主要提及一下它的创新点。

2023-02-24 18:53:02 2341 2

原创 CS224W课程学习笔记（三）：DeepWalk算法原理与说明

时间到了2014年，那是word2vec问世的第二年，Bryan Perozzi[1]创造性地提出了DeepWalk，将词嵌入的方法引入图嵌入，将图嵌入引入了一个新的时代，文章首图就是以该文章的截图，向作者致敬。DeepWalk提出了“随机游走”的思想，这个思想有点类似搜索算法中的DFS，从某一点出发，以深搜的方式获得一个节点序列。这个序列即可以用来描述节点。参照下图：

2023-02-20 18:19:15 1262

原创 CS224W课程学习笔记（二）：网络图的特征说明和指标实战

在第二三节课中，主要研究的是四个关键网络属性以表征图形：**度分布，路径长度，聚类系数和连接组件** 。这些定义主要是针对无向图的，而由于上一节中已经介绍了度分布，以及相应公式和例题，关于路径长度，简单来讲就是一个图中所需占比最短的一条或者多条路径，该路径并不唯一，讲深点，就得从过程遍历来看列举的四种算法了，每种都有每种的优劣，这里也不再详述，主要根据课程助教写的笔记，针对后两个重新复习。

2023-02-16 22:16:15 723

原创 CS224W课程学习笔记（一）：课程介绍与图深度学习概念

我们从怎么利用图形或网络表示数据这一动机开始。网络成为了用于描述复杂系统中交互实体的通用语言。从图片上讲，与其认为我们的数据集由一组孤立的数据点组成，不如考虑这些点之间的相互作用和关系。在不同种类的网络之间进行哲学上的区分是有启发性的。对网络的一种解释是作为现实生活中出现的现象的例子。我们称这些网络为。比如：网络的另一种解释是作为一种可用于解决特定预测问题的数据结构。在这种情况下，我们对实体之间的关系更为感兴趣，因此我们可以有效地执行学习任务。我们称这些网络为，比如：在本课程中，我们主要考虑和学习

2023-02-13 22:13:30 711

原创 nginx相关反爬策略总结笔记

主要是根据检测结果展开的，如利用HTTP请求头User-Agent来判断、拦截爬虫请求，或对访问频率过高的IP地址进行封禁。被动防御存在部分缺陷:被动防御检测流程和机制单一，无法应对复杂多变的恶意爬虫，检测误判率高，容易造成误封、漏封。是主流的爬虫防御发展方向，通过对网页底层代码的持续动态变换，增加服务器行为的“不可预测性”，大幅提升攻击难度，从而实现了从客户端到服务器端的全方位“主动防护”。本文中所提到的关于nginx的一些操作，都属于被动防御机制。

2023-02-11 12:55:03 2943

原创 DNS服务解析与原理笔记

DNS 是 Domain Name System（域名系统）的简称，DNS 是一个分层的分布式命名系统，用于连接到互联网或专用网络的计算机，服务或其他资源。它将各种信息与分配给每个参与实体的域名关联起来。简单来说其最大的功能就是将域名翻译成 IP 地址，例如bilibili的 IP 地址就是一串毫无规则的数字，其中之一为，或者后查询到的IP为，这不利于记忆，且因为有CDN等因素外，并不唯一，同样，同个IP，也可以具有多个DNS，这个后续会解释原因，所以，还是直接输入B站的com域名更加方便。

2023-02-02 22:21:25 2164

原创动手学区块链学习笔记（二）：区块链以及工作量证明算法

在上一节，我们构造了一个非常简单的数据结构 -- 区块，它也是整个区块链数据库的核心。目前所完成的区块链原型，已经可以通过链式关系把区块相互关联起来：每个块都与前一个块相关联。但是，依照上述代码实现的区块链有一个巨大的缺陷：向链中加入区块太容易，也太廉价了。区块链的一个关键点就是，一个人必须经过一系列困难的工作，才能将数据放入到区块链中。正是由于这种困难的工作，才保证了区块链的安全和一致。此外，完成这个工作的人，也会获得相应奖励（这也就是通过挖矿获得币）。这个机制与生活现象非常类似：一个人必须通过努

2023-01-15 17:59:57 1592

原创动手学区块链学习笔记（一）：加密算法介绍

什么是比特币？比特币是一种加密货币，也是一种分布式数字货币。它的创建者使用匿名身份被称为"中本聪"。比特币是通过对一组特定的数据进行加密来创建的，这些数据被称为"区块链"。比特币使用密码学技术来确保货币交易的安全性和不可更改性，这意味着比特币交易是不可篡改的。比特币是完全去中心化的，意味着它不受任何政府或金融机构的控制，并且可以在互联网上以匿名方式进行交易。而这种去中心化，通过加密匿名方式来进行交易中最基本的原理，则是哈希加密，那么下面将介绍几种主要的hash加密方式。

2023-01-12 22:50:22 2507

原创 Stable Diffusion搭建全过程记录，生成自己的专属艺术照

项目开发领导者有两位，分别是 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser，和慕尼黑大学机器视觉学习组的 Robin Romabach。这个项目的技术基础主要来自于这两位开发者之前在计算机视觉大会 CVPR22 上合作发表的潜伏扩散模型 (Latent Diffusion Model) 研究。在训练方面，模型采用了4000台 A100 显卡集群，用了一个月时间。

2022-09-01 18:37:09 44132 25

原创趣味中秋，用动画字符来贺岁佳节

本篇博文写作初衷是看到中秋活动，正好之前有总结过两篇关于图片与视频转字符动画的博文，以下大部分代码与小部分说明引用自之前写过的笔记，一篇是来自2019年过年的时候写得，以及2020年中旬总结的，不曾想现在都时隔2年多了，那时候还是初学python，因为我是转行的，大学学的是电气，从自学python到现在，一路还是比较唏嘘的。那么话不多说，在此进入正题。...

2022-08-29 18:45:39 1349 2

原创哲学家就餐问题与python解决方案

本篇是之前复习完哲学家就餐问题后，最近又回过头去感觉可以整理下思路，又在实验楼找到了python相关实验，故想在这里总结一下当前问题的方案。

2022-08-21 21:03:43 2332 2

原创 deepstream学习笔记（四）：跟踪模块tracker接入与rtsp流异常问题解决

Gst-nvtracker插件允许DeepStream 管道使用一个底层跟踪器来跟踪具有唯一ID的检测目标。它支持任何实现NvDsTracker API的底层库，包括三个参考实现：NvDCF、 KLT 和 IOU 跟踪器。作为这个 API 的一部分，插件查询底层库中关于输入格式和内存类型的功能和要求。然后，基于这些查询结果，插件将输入帧缓冲区转换为底层库请求的格式。例如，KLT 跟踪器使用 Luma 专用格式;NvDCF 和 DeepSORT 使用 NV12或 RGBA格式;IOU 不需要缓冲区。

2022-08-20 17:12:51 3895 8

原创 deepstream学习笔记（三）：deepstream-imagedata-multistream解析与接入适配yolov5模型测试

DeepStream 以 GStreamer 插件的形式提供构建块，可用于构建高效的视频分析管道。有超过 20 个插件为各种任务进行了硬件加速，核心 SDK 由几个硬件加速器插件组成，这些插件使用 VIC、GPU、DLA、NVDEC 和 NVENC 等加速器。组配置组与指定组件无关的配置平铺显示源配置。多个源时，命名：[source0] ,[source1] ....streammux（混流）组件的配置和更改,suistreammux（混流）组件的配置和更改,俗称GIE推理引擎的相关配置。......

2022-08-07 21:38:54 2473 5

原创 deepstream学习笔记（二）：gstreamer与deepstream-test1说明

GStreamer的核心功能是为插件、数据流和媒体类型处理/协商提供框架。它还提供了一个API来使用各种插件编写应用程序。更具体的说明与文字表述参照官方文档中第一章（），这里直接引出架构设计图具体来说，GStreamer提供用于多媒体应用程序的API插件架构管道架构一种媒体类型处理/协商的机制同步机制超过250个插件，提供超过1000个元素一套工具GStreamer插件可以分为协议处理来源用于音频和视频（涉及协议插件）格式概要。gst-play00。......

2022-07-22 18:00:14 2444

原创 deepstream学习笔记（一）：C与python环境部署与测试

DeepStream以GStreamer插件的形式提供构建块，可用于构建高效的视频分析管道。有超过20个插件为各种任务进行了硬件加速。流数据可以通过RTSP通过网络或来自本地文件系统或直接来自摄像机。使用CPU捕获流。一旦帧进入内存，它们就会被发送到使用NVDEC加速器进行解码。用于解码的插件称为。解码后，有一个可选的图像预处理步骤，可以在推理之前对输入图像进行预处理。预处理可以是图像去扭曲或色彩空间转换。插件可以对鱼眼或360度相机的图像进行反扭曲。gst-插件完成的。...

2022-07-19 16:04:41 2614 8

原创 openvino部署yolov5 v6过程记录

本篇主要想关于openvino针对于yolov5的一些转换流程，以及会带有查阅资料了解到的openvino的相关demo与一些需要注意到的点进行总结。关于openvino，有人说是基于CPU上最快的模型加速套件，这当然是显而易见的，因为在我印象里除了Intel本尊，没有啥企业会做这种事情了，emmm。。。openvino相较于传统的cv pipeline，它具有的优势如下：不过这对比的对象就有点老了，这里也只是说明，openvino将优化了 OpenCV 中实现的传统计算机视觉算法中的许多调用，结合自己套件

2022-07-11 18:38:44 2860 2

原创 NVIDIA Jetson测试安装yolox过程记录

此篇想总结一下关于nvidia jetson边缘盒子的一些使用过程，主要想就从连上盒子ssh环境到跑通yolox的过程进行一个记录，如果之后还有相关业务的话可以参考。本篇主要测试环境并不是在宿主机上，而是会选择nvidia针对jetson出的镜像，原因有很多，第一是环境隔离，宿主机因为并不是我一个人用，第二个是宿主机上遇到很多的bug，针对我想用的包，有太多环境需要修改，而宿主机预安装好的基于arm架构的python3里面有太多环境没有，并且大多都是依赖，比如shapely的关于地理的libgeos_c.s

2022-07-05 11:59:19 1036

原创 gitmodel学习笔记（三）：利用scipy分析概率论与数理统计

本篇是在复习到中途参加的一个关于gitmodel的学习活动，本系列分为三个部分，分别为高等数学、线性代数以及概率论与数理统计。本篇为第二篇——利用scipy分析概率论与数理统计，看完活动文档，查找了相关资料后，汇成笔记在这里记录一下。感觉scipy蕴含的东西比较多，也比较杂，这里引出一些比较常用的，跟第一篇中sympy中介绍一样的表格。这里我不会全部都介绍，主要涉及到一些我在做本次学习中感觉用得到的，以及看了资料感觉很有意思的，以上表格内容总结来源于官方文档：https://docs.scipy.org/d

2022-06-23 01:09:57 656

原创 gitmodel学习笔记（二）：利用numpy分析线性代数

本篇是在复习到中途参加的一个关于gitmodel的学习活动，本系列分为三个部分，分别为高等数学、线性代数以及概率论与数理统计。本篇为第二篇——利用numpy分析线性代数，看完活动文档，查找了相关资料后，汇成笔记在这里记录一下。关于numpy包的一些api与相关说明，可以看我之前写的 numpy总结与思维导图一文提到的一些例子，这篇是基于数据分析总结的笔记，这里不再引述，贴一下之前画的思维导图，算是再复用一波了，emmm。因为numpy相关的demo其实大多都数据分析，单纯矩阵求解比较少，所以这里会夹杂着

2022-06-19 01:05:38 324

原创 gitmodel学习笔记（一）：利用sympy分析高等数学

本篇是在复习到中途参加的一个关于gitmodel的学习活动，本系列分为三个部分，分别为高等数学、线性代数以及概率论与数理统计。本篇为第一篇——利用sympy分析高等数学，看完活动文档，查找了相关资料后，汇成笔记在这里记录一下。sympy包相当于让python具备了MATLAB与mathematica相同的解部分数学问题的能力，但是也只是能初步解决一些并不复杂的例子，而且因为还是依赖于python的输出终端，感觉output打印出来的结果没有经过太多美化，不如mathematica足够赏心悦目，但至少还是可以

2022-06-17 16:01:51 837

原创 python办公自动化笔记（一）：读写Excel图像数据

引言本篇博客的初衷是在做天气检测测试的时候，想要将各种天气检测结果与图像相对应上，一时半会儿没想到有什么好的可视化工具，那要不就用python代码将图片与图片对应的结果特征直接写进Excel中，会比较直观，另外，为了使本篇博客内容丰满一些，又去实验楼顺带做了openpyxl的一个试验，虽然最后的demo并没有用到这个东西，但这个库感觉比较好作为教程使用，下面介绍一些感觉会用到的一些功能。openpyxl 使用 demo1. 写入一行或多行数据：from openpyxl import load_wo

2022-05-26 20:12:10 1370 1

原创 opencv-python学习笔记（十一）：HOG+SVM进行行人检测全过程

引言本次是接着python-opencv学习笔记（七）：滑动窗口与图像金字塔一起在实验楼所做实验，为啥中间隔了四篇才接着发出来，主因是我发文比较随意（懒），当时这部分并没有总结完，至少我感觉我看的相关资料还不够多，整体理解不深，另外就是项目需求，在做很多其它的东西，图像能见度就是当时一个指标，搞了几天，最后看起来效果一般，目前没有上线只是自己测试反馈不多，所以就接着做其它适配任务去了，现在这篇是算结束吧，赶紧总结完，复习去了。实验流程使用图像金字塔将图片按一定缩放比例生成不同尺寸图片（下图序号 1

2022-05-10 15:16:35 5874 11

django复习笔记：一个简单的文件分享系统

Jmeter性能测试常见问题集

空空如也