- 博客(181)
- 收藏
- 关注
RSS订阅原创 论文阅读DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
DriveVLM是一种结合了自动驾驶技术和大型视觉语言模型（VLMs）的系统，旨在提高自动驾驶车辆在复杂和长尾场景下的理解能力和规划能力。该系统通过引入一种特殊的思维链（Chain-of-Thought，CoT）推理过程，将场景描述、场景分析和层级规划三个关键模块结合起来，以对应传统的感知、预测和规划流程。此外，DriveVLM-Dual作为一种混合系统，结合了DriveVLM和传统自动驾驶流程的优势，以弥补VLM在空间推理和计算需求方面的局限性。
2024-04-11 17:02:08
420
原创 大模型prompt技巧——思维链（Chain-of-Thought）
将问题分解为多个子问题，然后将子问题的答案加入到提示中，继续prompt,可以理解为更细化的多步step-by-step。1、Zero-shot、One-shot、Few-shot 与fintune。3、多数投票提高CoT性能——自洽性（Self-consistency）其次，思维链的应用领域是有限的。prompt的时候给出例子答案，然后再让模型回答。6、用大模型的CoT指导小模型，提升小模型的能力。多个思维链，然后取结果最多的作为最终的。5、将CoT加入fintinue中。低成本的增强已有大模型的能力。
2024-04-02 15:17:09
715
原创 自动驾驶与大模型
平均一个prompt对应5.3个轨迹，可以用于数据挖掘。另外构建了基于prompt的轨迹预测任务(实际预测3Dbbox)，提出了一个base方法prompTrack，将prompt与视觉query交互，在自己的数据集上取得了不错的效果。主要是基于nuscene生成了一个提示+实例的文本-实例对Nuprompt。
2024-04-02 14:39:59
122
原创 KeyError: ‘xxx is not in the models registry‘
2、使用sys和importlib，找到该类。1确认该模块是否实现。
2024-03-07 15:31:38
449
原创 python深度学习搭环境技巧
如anaconda3/envs/fuzzy/lib/python3.6/site-packages/onnx打包后复制到自己的环境下。训练时通过export PYTHONPATH=/path/env1:$PYTHONPATH来调整。有时候不需要安装依赖，使用已经安装的即可，之后再针对性的补缺少的依赖。公共环境放一个路径，其他放单独路径，可以完美隔离。加上参数–no-deps, 不按照依赖。
2024-01-10 15:42:43
425
原创 激光雷达入门
禾赛Pandar64 360° 旋转式 64 线远距激光雷达（主雷达）一径科技 ML-30s短距激光雷达（补盲雷达）Livox Horizon激光雷达（主雷达）速腾M1固态激光雷达（主雷达）
2023-11-14 15:28:58
87
原创 docker/ nvidia-docker
参考资料：https://www.cnblogs.com/zzcit/p/5845717.html本文档说明下列系统下安装nvidia-dockerUbuntu Trusty 14.04 (LTS) Ubuntu Xenial 16.04 (LTS)安装docker更新apt源更新安装包信息sudo apt-get updatesudo apt-get install ...
2023-11-13 17:10:23
520
1
原创 奇次坐标系
参考：为什么directX里表示三维坐标要建一个4*4的矩阵？- 云计算与数字孪生的回答 - 知乎。可以用一个4X4 的矩阵整合平移矩阵和旋转矩阵等，3X3 实现不了。3x3只能实现旋转变换。所以在自动驾驶中涉及多个坐标系的变化时都是用的奇次坐标。cv里面的透视变换也是 用的奇次坐标，仿射变换则不需要。奇次坐标为[x, y, z, 1]三维坐标为[x, y, z]
2023-10-26 18:17:26
66
原创 gerrit代码review使用基本方法
git checkout branch-dev（切换到开发分支，如果和origin名称一样会自动关联远程分支，可以用git branch -vv或者git log确认）参考：https://www.ruanyifeng.com/blog/2020/04/git-cherry-pick.html。如果有冲突，则进行修改后，git cherry-pick continue。.匹配了所有的文件，相当于git checkout all-files。git pull可以拉取所有分支的代码。
2023-10-13 10:45:44
834
原创 DETR疑问与理解
视频解读：【DETR 论文精读【论文精读】】 https://www.bilibili.com/video/BV1GB4y1X72R/?因为实际gt有m个框，objects query为N个，实际上N>>m。作者增加一个no object类别，就是N对N的二分图匹配问题了，使用匈牙利匹配算法求解。用Transformer做object detection：DETR - 小小理工男的文章 - 知乎。因为detr使用的transformer天然适合处理序列到序列到模式，所以就算一种端到端的检测。
2023-08-16 09:38:59
107
原创 ROS入门核心教材重要节选
话题的通信是通过节点间发送ROS消息实现的。为了使节点A和节点B进行通信，两者必须发送和接收相同类型的消息。这意味着话题的类型是由发布在它上面消息的类型决定的。使用rostopic type命令可以查看发布在话题上的消息的类型。参考：http://wiki.ros.org/cn/ROS/Tutorials。节点可以理解为人工定义一个机器人模块，然后抽象成可执行文件。用来启动定义在launch（启动）文件中的节点。检查并回放bag数据。
2023-08-09 16:49:08
131
原创 transformer理解
transformer使用了自注意力机制，摒弃了RNN中的循环结构，所以加速了推理时间，但是也丢失了位置信息，所以需要位置编码记录位置信息。
2023-07-25 16:19:23
623
原创 使用chatGPT做综述——以目标检测为例
尝试用chatGPT做综述。备注：chatGPT的知识只到2021年。所以2022年以后的论文无法包含。
2023-07-04 11:24:22
931
原创 理解卡尔曼滤波算法
当前的测量值本身可能有误差，所以引入上一时刻的预测值，将两者加权平均的结果视为当前状态的最优估计。所以可以用于跟踪算法、平滑算法等。使用卡尔曼滤波平滑目标的位置变化。
2023-06-29 15:36:42
110
原创 python opencv把yuv格式转bgr
YUV ，指的是 YCbCr，其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。根据采样方式以及排列方式分了好多种细致的格式，常用的有yuyv422等。
2022-11-03 16:08:32
1635
原创 python 多进程 multiprocessing pool vs processpoolexecutor
其他：https://superfastpython.com/multiprocessing-pool-vs-processpoolexecutor/当数据量很大，建议用v2或者v3,v2和v1比多了进程调用的时间，好处是实时的写入了文件，而且用了tqdm记录时间。当数据很少时，用v1就可以了，因为调用进程只有 一次，一次性写完。v3在数据量很大的时候是更快的方法，但是和v2比，v3写入的文件是乱序的。用了200000次用来测试，其实可以用2000个，这样可以更快。下面给出不同的写法，以及对比效果。
2022-10-12 15:46:35
1093
原创 python列表 list和list[:]的区别
参考：https://stackoverflow.com/questions/4081561/what-is-the-difference-between-list-and-list-in-python。python 列表中的list和list[:]并不相同。list[:]其实是list的copy。
2022-09-05 15:24:57
2039
原创 人脸检测state-of-the-art
Poly-NL基于non-local blocksTinaFace、RetinaFace、AInnoFace都可以看出基于retinanet。
2022-07-12 18:00:29
538
原创 html中href属性中的路径问题
路径分为本地路径和网络路径网络路径就正常的如www/adminwang/html/aaa.html分为相对路径和绝对路径。相对路径为相对test.html的路径注意根目录为web服务器的根目录如我本地的根目录为/mnt/lustre但是web的为/dataset所以这个时候的路径开头要以/开头，同时变成web的根路径索引。如/mnt/lustre/share/yangyuxin/dataset/autodrive/000093.jpg=>/dataset/autodrive/000093.jpg
2022-06-08 18:04:08
646
原创 slurm相关
sinfo查看集群状态drain(节点故障)，alloc(节点在用)，idle(节点可用)，down(节点下线)，mix(节点部分占用，但仍有剩余资源）。squeuesqueue 查看作业信息作业状态包括R(正在运行)，PD(正在排队)，CG(即将完成)，CD(已完成)。srun参考：https://docs.hpc.sjtu.edu.cn/job/slurm.html#sinfo...
2022-04-01 11:50:12
659
原创 车牌检测、人脸检测开源代码
人脸检测：https://blog.csdn.net/nihate/article/details/108798831https://github.com/hpc203/10kinds-light-face-detector-align-recognitionhttps://aijishu.com/a/1060000000106193https://aijishu.com/a/1060000000106193车牌检测https://github.com/alitourani/yolo-licen
2022-04-01 11:44:05
3222
1
原创 访问samba服务器
mac端：打开Finder（或在桌面），CMD + k在 smb://后面，输入你的服务器地址或域名linuxmount -o username=用户名,password=密码 //ip地址/共享文件夹名 挂载点mount -o username=fuck,password=123456 //10.4.196.12/share/sb ~/demo参考：https://github.com/wupanhao/wupanhao.github.io/issues/1...
2022-03-24 10:40:25
1541
原创 目标检测中的ignore、评测指标等
1、目标检测中的ignore目标过小，过于模糊当做ignore属性处理，训练时，给样本-1类别（背景为0类别）。评测时候需要考虑ignore样本，输出不算错。2、具体评测：输入：所有的gt框、gt_ignore框、dt框评测逻辑，先获取tps和fps，再计算各个值。因为所有的框都是正样本，所以只有fp以及tp，没有fn和tn.1）对dt框，按照score排序，匹配gt框和gt_ignore框与dt框的iou，获取每一个框是否正确；dt框，gt框匹配，gt框为正样本，那tp=1,f
2022-03-21 22:14:47
3595
原创 s3cmd signurl This site can’t be reached
使用s3cmd生成链接时发现无法访问。分析发现生成的链接格式有问题。默认生成的为：http://mybucket.storage.example.com/file.mp4?AWSAccessKeyId=1e71169c9ab10b293bda2b454bf20c35&Expires=1448001252&Signature=xcJUwTgRq5xSvTXp3K3zI3v%2Fq7g%3D默认的结果是bucket在host前面发现改为https://storage.example.co
2021-12-02 16:00:52
376
原创 目标检测的resize策略
def get_scale_factor(img_h, img_w， input_short, input_long): """return scale_factor_h, scale_factor_w """ short = min(img_w, img_h) large = max(img_w, img_h) scale_factor = min(input_short / short， input_long / large) return scale_f
2021-10-27 09:52:40
498
原创 电脑自动下载垃圾程序解决办法
问题：因为不小心安装了流氓插件，导致电脑不定时下载垃圾程序。解决思路：下载360安全卫士，使用木马查杀功能，进行查杀木马即可解决问题。查杀截图其他解决办法无效：1）利用网络监视（因为有太多的网络进程了），https://jingyan.baidu.com/article/6dad5075f4657be023e36edd.html2）查找流氓软件所在位置进行删除，由于藏匿过于隐蔽，且有多个流氓软件，所以花费了很长时间一直没有找到，最终失败。笔者曾经找到几个，但是没有全部找到。3）卸载相关软件
2021-10-19 22:32:02
1970
原创 小目标检测调研
1、定义1）从相对尺度定义。目前无统一标准，如边界框面积与图像面积之比的中位数在0.08%~0.58%之间，640像素×480像素分辨率图像中，16像素×16像素到42像素×42像素2）绝对尺度。coco定义为32像素。因为很多网络如vgg为32倍降采样，最终向量特征点1个像素对应32个像素。2挑战1）可利用特征少，分辨率低2）定位精度要求高，anchor匹配小目标的比大目标少很多3）数据集中小目标占比少。容易漏标注，标注误差敏感4）样本不均衡问题。小目标的anchor匹配的正样本较少。5
2021-09-28 15:52:28
370
原创 感冒对症吃药笔记
背景感冒有不同的症状，那么最好的就是根据症状吃对应成分的药，而不是随便吃，乱吃。一些复方药含有多余的成分，本质上是多吃了，也不合适。所以进行调研学习。结论经过参考文献得知重要结论：普通感冒大部分是由病毒引起的。病毒导致血管通透性增加，出现发热、喉痛等症状。2-3天内达到高峰。常在季节交替和冬、春季节发病。目前尚无特效的抗病毒药物（病毒变异太快），故以对症治疗、缓解感冒症状为主。只能靠自身免疫力。感冒药大同小异，组成成分差不太多。对于复方抗感冒药只选其中的一种即可，避免重复用药、超量
2021-09-23 16:29:11
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人