Littro Innovations

原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（9）

上一节yolov8的训练已经完成了，现在要开始做模型的转换了，这里和yolov7方式相似，但是有一些差异，尤其是yolov7的不带NMS部分的输出顺序和yolov8的输出顺序与格式是有差异的。尾部链接了 我们自定义的DecBBox，Filter，Sort还有NMS。这里面filter和NMS的过滤条件不用管，在推理代码里还要重新配置一下，用这个默认配置就可以。我们一个一个看，首先filter.py里 要先增加个Filter的自定义层。这个部分和yolov7方式是完全一样的。下面是和yolov7的对比。

原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（8）

目前为止yolov7算法在海思hi3519dv500.3516dv500下的移植已经说完了，后面开始讲 yolov8的移植。过程基本上是一样的，只是在训练和转换过程中会和yolov7有区别。本章先说一下训练的部分。

原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（6）

上一篇，我们讲到onnx模型的导出。模型导出之后要转换成om模型。这一篇主要就是来讲如何正确的导出Om模型。这个导出方式和以前Ruyistudio导出模型方式特别类似。只是不在windows平台里，在linux里。相关Python安装和库安装之前已经讲过了，这里就不重复了。

原创 Tofu5m目标识别跟踪模块 跟踪模块

支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环云台与吊舱运动控制与自适应变倍功能。支持热红外视频、可见光视频、微光视频下的人、车、船等物体的深度学习识别，其他类型物体识别算法可定制，提供完整解决方案服务。自动跟踪模式下避免传统的框选的麻烦与波门跟踪中无法自适应目标大小的问题，精确识别到目标类型后自动筛选目标进行跟踪。在画面中存在多个识别到目标时可另外选择即点即跟踪模式，在画面上点击要跟踪的目标，模块会锁定该目标进行跟踪。

原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（5）

上一篇已经把Onnx模型导出来了，在Netron看到层都对了之后就要去转换om模型了。首先，强烈建议不要和训练的linux搞一起，很多库不一定一样。如果很熟练能来回切换Python版本和库的牛人另当别论。几个依赖库版本这里列一下，方便参考。我用的是Ubuntu18.04。都按下面指令安装就可以。然后就是python的安装，这个就比较简单了。我装的是python3.7，也可以装高版本，这个应该没什么影响。python是先从官网下载的对应版本包后手动安装的。

原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（4）

如果想要在电脑做GPU推理或者在Nvidia板卡里运行，建议是加上EfficientNMS，Nvidia本身支持这个层转TensorRT，包括在训练环境里做onnx模型的推理，其实也最好是加上。这里转换完之后都是默认带EfficientNMS层，用Netron看大概率会是两种可能情况，一种是不带EfficientNMS，一种是不带NMS，像下面这种。这里NMS和Filter有IOU阈值，筛选的，这个部分不用在源码里修改，后面可以在海思代码里直接更改。原始模型导出的方式也给了一个源码，在export.py。

原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（3）

经过调试后中终于在hi3519dv500和hi3516dv500两个平台中都实现的算法验证。同时可以做自己定制的算法模型的移植了，下面是两个移植案例效果。识别运行时间上做了对比和统计，具体的可以看下面的表格。总体来说速度还是比较快的，Yolo系列算法实时运行是几乎没有任何问题。训练到量化过程已经全部验证完，期待在项目中使用。涉及到技术细节的部分因为商业用途，有部分省略。如需相关技术服务项目合作可私信联系。

原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（2）

本篇是在海思嵌入式芯片中移植yolov7和yolov8的第二篇。做一个调试的小总结。目前手上有SS928还有Hi3516dv500两个板子，3519DV500板子还没开始调。Hi3519dv500和3516是同一套SDK，基本上是一样的，算力稍高一点，ARM主频高一点。我们主要对yolov7和yolov8进行了从训练到量化，部署的工作。训练之前要改一下训练源码，不然训练完也跑不起来。量化过程是先转Onnx模型，然后Onnx再用MindStudio转om模型。

原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（1）

海思SS928，SS926以及Hi3519dv500,hi3516dv500下的yolov7模型部署推理系列

原创 热红外图像增强算法综述

图像增强算法说明

原创 Tofu目标识别跟踪模块介绍

Tofu目标识别跟踪模块，实现热红外、可见光目标的识别与跟踪

原创 海思SD3403开发/SS928V100 移植Yolo模型

如何在SD3403、SS928V100移植Yolo模型

原创 如何使用Tofu进行光电产品目标识别跟踪功能升级

Tofu产品系列是利卓公司推出的目标识别跟踪应用的光电产品与AI升级用系列产品。今天介绍的是其中一个专门为光电产品升级自主目标识别跟踪应用的Tofu3产品。Tofu3可以快速集成到光电云台相机中，提供从目标识别到跟踪的完整解决方案。Tofu3目前支持热红外、可见光视频的输入，直接控制变焦镜头与云台，在目标识别后自主进行光机电联动，达到全过程跟踪的效果。典型的云台相机中连接关系如图。 输入方式上，热红外输入抛弃了传统的模拟视频输入方式，采用BT.656数字视...

原创 热红外目标识别与跟踪

凡是温度比绝对零度高的物体均对外有热红外辐射，不管晚上还是白天都可以在没有自然光补光的情况下对物体进行观测。另一方面，热红外波段下的辐射强度同时也反映者物体的发热程度。因此，热红外成像在夜视观测与测温领域中发挥着重要作用。在疫情期间，热红外测温特性也被很好地利用，用于人体温度测量中。 本文章中主要介绍热红外目标识别与跟踪相关的内容。 热红外目前主流的分辨率有384×288与640×512两种分辨率，不同于可见光高清、4K等大分辨率，热红外因成本与工艺问题，还停留在低分辨率阶段。我们通常...

原创 如何在海思 Hi3519AV100上移植YOLOV3 （3)

隔了好久来填坑，这次写一下怎么在板卡中部署模型。打个小广告： 海思hi3519av100开发板链接：https://item.taobao.com/item.htm?spm=a230r.1.14.117.4afe75a61WreAX&id=586610485052&ns=1&abbucket=1#detail 除了SDK与底板图纸之...

原创 如何在海思 Hi3519AV100上移植YOLOV3 （2）

接着写未写完的部分，一直业务太忙，延期了两周才写这一篇。 本篇主要写一下模型量化后的仿真部分。海思在RS工具里提供了simulation方式对量化后的模型进行功能仿真（func sim）和指令仿真（inst sim），在板卡上跑之前就可以做模型的仿真，提前看到效果。主要目的认为是两个：1）模型识别功能的验证；2）模型识别阈值的调整。 打个小广告： 海思hi35...

原创 如何在海思 Hi3519AV100上移植YOLOV3 （1）

HI3519AV100包含了深度学习的NNIE内核，算力为2TOPS，是目前同等算力下性价比最好的平台之一。公司产品已经可以实时运行YOLO V3，写这个系列的原因在于帮助我们开放平台下的开发者用户及公司新入职员工的使用培训，可以更快速的使用开发板进行模型的部署。 打个小广告： 海思hi3519av100开发板链接：https://item.taobao.c...

原创 利卓创新- 超小型深度学习平台

 Littro MicroBox超小型端上深度学习识别模组 概述 简介 Littro MicroBox支持端上人工智能识别，同时可推送识别后的视频流，并实时显示结果，MicroBox支持多种物体在线式识别算法，包括行人、车辆以及特殊指定物体类型，支持红外、可见光多个波段的多种分辨率与帧频的视频输入、接口上满足多类型输入以满足不同用户的需求。产品中同时支持视频编解码、视频压...

原创 可见光相机曝光方式

卷帘曝光和全局曝光在曝光方式上有显著的区别，其中全局曝光更适合捕捉快速移动的对象或在振动环境下工作的场景，而卷帘曝光则更常见且经济实惠，但需要注意滚动快门效应可能带来的图像失真问题。选择合适的曝光方式取决于具体的拍摄场景和需求。卷帘曝光适用于大多数日常摄影和航拍摄影，而全局曝光则更适用于捕捉快速移动对象或在工业、科学等特定领域中的应用。可见光摄影中的曝光方式主要包括两种：卷帘曝光和全局曝光。它们之间的区别在于曝光过程中传感器或胶片感光部分的工作方式不同，这直接影响到图像捕获的效果和特性。

原创 VISCA协议介绍

它定义了一系列命令和指令，用于控制摄像机的各种功能，如调整焦距、变焦、调整亮度、对比度等。例如，发送"上"命令可以使摄像机向上移动，发送"变焦"命令可以调节摄像机的变焦功能。Visca协议定义了大量的命令码，每个命令码对应于一种特定的功能或操作，比如调整焦距、变焦、亮度等。Visca协议已成为广播和视频行业中的标准之一，许多摄像机和视频设备都支持该协议，使得不同品牌的设备可以通过统一的接口进行控制和管理。：Visca协议通常使用异步串行通信，因此每个数据包的开始都有一个起始位，用于同步接收方的时钟。

原创 Pelco-P协议说明

Pelco-P 是一种视频传输协议，旨在确保视频信号从摄像机传输到监视器或录像设备时的高质量和稳定性。： Pelco-P 协议规定了视频信号在传输过程中的格式和结构。： 虽然 Pelco-P 协议的主要目的是视频传输，但在某些情况下也可能包含安全性相关的功能，如视频加密和访问控制等。： Pelco-P 协议通常被设计为与多种摄像机和监视器设备兼容，以确保各种设备能够在同一系统中无缝协作。： Pelco-P 协议可能还包含一些控制信号，用于控制视频传输过程中的一些参数，如帧率、码率、画质等。

原创 Pelco-D协议说明

Pelco-D 协议定义了一组指令，用于控制云台摄像机的运动、焦距、变焦以及其他功能。： Pelco-D 数据帧通常由起始位、地址码、命令码、数据字节和校验码组成。起始位标志着数据帧的开始，地址码用于识别要控制的设备，命令码指示所需的操作，数据字节包含有关操作的附加信息，而校验码用于验证数据的完整性。： Pelco-D 协议定义了各种命令，用于控制摄像机的运动、焦距、变焦、光圈和其他功能。： Pelco-D 协议具有一定的扩展性，允许不同厂家的设备进行定制和扩展，以满足特定的应用需求。

原创 基于U-Net的图像分割算法介绍

U-Net结构独特，具有编码器-解码器结构，能够有效地捕捉图像中的局部和全局信息，并在像素级别上进行精确的分割。U-Net的网络结构分为编码器和解码器两部分，可以通过堆叠卷积层和池化层构建编码器，然后通过堆叠上采样层和卷积层构建解码器，最后接上适当的激活函数（如sigmoid或softmax）得到分割结果。U-Net通常使用像素级别的损失函数，如交叉熵损失函数（Cross Entropy Loss）或Dice系数损失函数，用于度量模型输出与真实标签之间的差异，并指导网络学习正确的分割边界。

原创 长波热红外应用

这种红外辐射主要来自于物体的热能，因此也称为热红外辐射。相比于短波红外，长波热红外更适合用于测量和探测物体的温度，因为它们能够捕捉到物体辐射的长波长热能，从而提供更准确的温度信息。长波热红外相机能够检测到目标表面的微小温度变化，因此在热成像中提供了更高的温度分辨率。这使得它们适用于需要精确测量温度的应用，比如工业设备的故障诊断、建筑热损失的检测等。长波热红外辐射能够穿透一定厚度的大气和物体表面的某些材料，从而使得在一些特定情况下，比如夜间或恶劣天气条件下的观测、探测隐蔽目标等，具有一定的优势。

原创 OpenTofu实时目标识别开发平台

原创 热红外图像中小目标检测

在交通监控系统中，热红外图像小目标检测可用于检测道路上的行人、车辆等，提供实时的交通信息，帮助交通管理部门优化交通流量。：在城市安防监控系统中，热红外图像小目标检测可用于发现潜在的安全威胁，如盗贼、恐怖分子等，提高城市安全水平。：在自然灾害发生后，如地震、洪水等，热红外图像小目标检测可以帮助搜救人员发现被困的人员，提高救援效率。：对检测结果进行后处理，如去除重叠的检测框、筛选置信度较低的检测结果等，以提高检测的准确性和稳定性。：对输入的热红外图像进行预处理，如去噪、增强对比度等，以提高后续处理的效果。

原创 Tofu3目标识别跟踪模块

原创 实时多目图像拼接算法

实时多目图像拼接可以使用一些经典的计算机视觉算法和库来实现，比如OpenCV。实时多目图像拼接算法可以用于将多个视角的图像拼接成一个全景图像或者视频。

翻译 NeRF：从多视点图像生成和渲染 3D 模型的机器学习模型

该模型架构基于 90 个元素的一维输入向量，它是通过 PositionEmbedding 将 (x,y,z) 和 (θ,φ) 投影到更高维空间，并进行一系列线性运算。通过给出要生成的空间上的坐标 (x,y,z) 和观察方向 (θ,φ) 来推理输出 (R,G,B,σ)。每个 3D 模型都会生成一个机器学习模型，它是 3D 模型的功能表示。使用ailia SDK，可以将转换后的3D模型作为ONNX输入，实际推断它并生成图像。在训练中，使用来自多个视点的图像和每个图像的相机参数作为输入来训练机器学习模型。

原创 NERF介绍

NERF（Neural Radiance Fields）是一种用于三维场景重建和渲染的新型神经网络技术。它允许从一组图片中重建出逼真的三维场景，并且能够在该场景中渲染新的视角，而无需进行复杂的三维建模或者深度传感器数据。NERF的实现算法涉及多个步骤，包括数据采集、网络架构设计、训练策略等。通过以上步骤，可以实现一个基本的NERF系统，用于从图像中重建和渲染逼真的三维场景。

原创 光学透雾方法和图像处理算法透雾

光学透雾方法是利用特殊的光学器件或技术来改善透过雾、烟等大气中的光线的传播情况，从而提高图像的清晰度。：图像处理算法透雾是通过对获取的雾气图像进行图像处理和计算，去除或减弱雾气造成的散射效应，从而提高图像的清晰度。：该算法基于对数域中的Retinex理论，将图像分解为多个尺度的图像，然后通过对数域中的亮度分量进行加权和合并，以增强图像的细节并减少雾气效果。：该算法在原始的暗通道先验基础上，结合了全局和局部的信息，例如通过引入边缘信息、颜色一致性约束等，以进一步提高透雾效果的质量。

原创 短波成像的特点和行业应用

短波红外成像技术可以用于海上巡逻和边境监控，帮助海岸警卫队或海军等机构监视海上活动、探测潜在的威胁，例如非法渔船、走私船只等，以维护海上安全。短波红外成像技术具有在恶劣环境下工作、隐蔽物探测、夜间观测等优势，因此在军事、安防、工业、医疗等多个领域都有广泛的应用。：利用短波红外成像技术，可以监控港口和海上设施的安全情况，包括监视码头、油轮、船闸等重要设施，及时发现潜在的安全隐患或异常情况。: 短波红外成像技术在军事和安防领域中被广泛应用，例如夜视仪、热成像仪等设备，用于目标侦察、边境监控、反恐等任务。

原创 目标跟踪之多目标跟踪

该算法结合了目标检测和目标跟踪，并通过设计有效的特征提取和匹配机制来实现高效的目标跟踪。该跟踪器利用目标的当前特征与先前帧中目标的历史特征之间的相似性来进行目标匹配，从而实现目标的持续跟踪。总的来说，ByteTrack是一种高效的基于深度学习的多目标跟踪算法，它结合了目标检测和目标跟踪的优势，并通过有效的特征提取和匹配机制来实现准确、鲁棒的目标跟踪。：这些方法通常基于目标检测器提供的候选目标，然后通过数据关联技术（如匈牙利算法、最大汉密尔顿路径等）将这些候选目标与先前帧中的目标关联起来。

原创 Tofu5s变焦可见光目标识别跟踪一体机

目标识别跟踪与变焦可见光一体相机

原创 热红外图像直方图修正显示

热红外图像的直方图修正是一种用于增强图像对比度和可视化细节的技术。函数对图像进行直方图均衡化。函数显示了原始图像和直方图均衡化后的图像。函数加载了一个热红外图像，然后使用。在这个示例中，我们首先使用。

原创 热红外图像非均匀校正算法

热红外图像非均匀校正（NUC）是一种常见的图像处理技术，用于消除红外热成像相机中的像素间灰度不均匀性。这种不均匀性通常由于传感器内部电路、光学元件或环境因素引起的，导致图像中的一些区域比其他区域更暗或更亮。以下是一种常见的热红外图像非均匀校正算法： 获取校正图像：首先，获取一组称为校正帧或校正图像的参考图像。这些图像应该在相同的环境条件下拍摄，但是覆盖了整个传感器的场景。 计算平均图像：将校正帧中的每个像素的值进行平均，得到一个平均图像。这个平均图像代表了传感器的整体响应模式。

原创 高斯混合滤波

高斯混合滤波（Gaussian Mixture Model, GMM）在图像处理中常常被用于背景建模和前景检测，特别是在视频监控、运动物体跟踪等应用中。GMM是一种概率模型，用于表示由多个高斯分布混合而成的数据分布。类（基于高斯混合模型）来实现背景建模和移动物体检测。这个类实际上是一个实现了GMM的背景减除算法。），其中移动物体的像素值为255（白色），而背景像素值为0（黑色）。函数显示原始帧和前景掩膜，并允许用户通过按'q'键来退出程序。以下是一个简单的示例，展示了如何使用OpenCV库中的。

原创 图像中移动物体识别

图像中移动物体识别算法主要有以下几种：

原创 海思hi3519dv500,hi3516dv500移植yolov8-模型处理

上一节yolov8的训练已经完成了，现在要开始做模型的转换了，这里和yolov7方式相似，但是有一些差异，尤其是yolov7的不带NMS部分的输出顺序和yolov8的输出顺序与格式是有差异的。尾部链接了 我们自定义的DecBBox，Filter，Sort还有NMS。这里面filter和NMS的过滤条件不用管，在推理代码里还要重新配置一下，用这个默认配置就可以。我们一个一个看，首先filter.py里 要先增加个Filter的自定义层。这个部分和yolov7方式是完全一样的。下面是和yolov7的对比。

原创 图像细节提取算法

在图像处理中，小波变换可以用于分析图像的局部特征和纹理，从而提取图像的细节信息。中值滤波器对于去除图像中的脉冲噪声和椒盐噪声效果很好，同时保留图像中的细节信息。LBP是一种用于图像纹理分析的特征提取算法，它通过比较像素点与其邻域像素的灰度值来描述图像中的纹理信息。梯度直方图是一种用于描述图像梯度分布的统计特征，它可以反映图像中的边缘和纹理信息。在图像细节提取中，可以利用梯度直方图来描述图像的细节分布情况。在图像细节提取中，可以利用SSIM指标来评估图像的细节信息。参数表示在每个像素周围采样的点数，