- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 实战营笔记第六节
大模型评测的重要性，以及open class工具的简单介绍和实际操作教程演示。评测方式包括客观评测和主观评测，适用于各种场景和模型。
2024-02-22 13:14:08
398
原创 实战营笔记第五节
量化在推理过程中的作用和优势，以及lmdeploy框架的量化功能和性能提升。同时，详细介绍了推理引擎的核心功能和优化策略。大模型在部署过程中面临的挑战，包括模型并行、低比特量化、推理功能、服务等方面，以及相应的解决方案和技术点。这一节课主要讲解大模型部署的形态、特点、挑战和方案，以及lmdeploy工具箱的特点与使用方式。
2024-02-22 12:57:27
360
原创 实战营第四节笔记
这节课包含四大部分，为finetune简介、xtuner介绍、使用8GB玩转LLM和动手实践环节。LoRA和QLoRA是两种很重要的方法，对微调模型、减少内存使用非常有效。后面是XTuner的介绍。
2024-02-22 12:25:22
404
原创 书生·浦语大模型实战营第四节课作业
这里要注意下。合并完参数的模型再进行网页部署时，需要用到InternLM源码，教程里面忽略了需要commit版本。通过以下命令转到所需版本，然后就可以看到web_demo.py。然后将目录下web_dmeo.py文件中第29行和第33行的模型路径更换为Merge后存放参数的路径修改完模型路径后，需要配置端口，注意⚠️，保证端口一致。
2024-02-21 11:40:29
375
原创 书生·浦语大模型实战营第三节课基础作业
基于 InternLM 和 LangChain 搭建知识库复现clone 仓库加载知识向量数据库实例化模型web端部署模型并测试
2024-02-21 07:56:00
364
原创 【老文新发】Otsu大津法详解及python实现
类间方差（between-class variance）和类内方差（within-class variance）两者的详细关系推导可后文。大津法又称为最大类间方差法是有原因的。因为这个算法的目的就是最大化类间方差，且这个最优阈值一定存在。大津法作为阈值自动分割的经典算法，其思想很巧妙，值得学习。
2023-11-22 11:23:51
318
原创 【实战项目】利用mmdetection识别卫星遥感影像上的电线杆塔
这次项目算是对openmmlab AI实战营第二期的一个实验证明，虽然这几天学习的比较粗糙，但也算是入门了mmdetection。这个工具就像python一样，openmmlab已经将入门门槛做的很低了，但如果想精进、熟练甚至做真正的调参侠，还是有很多内容需要细细琢磨学习的。本项目默认已经安装好了mmdetection所需的各种环境，如果没有请移步按教程安装，这里不再赘述。
2023-06-20 00:39:16
592
原创 【AI Earth试玩】权限配置与openAPI调用工具库
AI earth是阿里达摩院出的遥感云计算平台，我简单体验下来感觉像是GEE的python版本+遥感深度学习计算平台，整体体验还是挺不错的，尤其是多分类的结果还是挺惊艳的。平台提供工具箱和notebook两种模式，工具箱整个交互简单易用，这里主要说一下基于notebook的工具箱app调用处理，更多玩法可以参考。
2023-05-19 20:45:00
898
4
原创 mmsegmentation修仙之路-bug篇（2）
报错原因：pytorch在Linux中和windows/MacOS中支持多线程的是存在差异的，Linux中，子线程是直接通过克隆地址来获取dataset和python函数参数的。在window下，python解释器运行后，如果没有指定主入口，python会按顺序执行代码，此时新创建进程后，子进程会再次导入运行的文件并按顺序全部执行代码，多进程代码会再次被执行，但的源码中是对子进程再次产生子进程是做了限制的，是不允许的，所以会报错提示。解决办法：1、在主程序加入。
2023-04-19 17:42:06
483
原创 从头安装gdal库（Linux环境下的Python版）
大多数情况下都是可以直接pip wheel安装成功的，但有些特殊情况下（比如一个容器内）需要从头配置gdal库。我“有幸”亲自体验了一把，整个过程** “痛并快乐着” **。整个过程查了很多资料，中间也遇到了很多问题，部分在网上没有找到相关答案，整个过程全网也没有一个类似的教程，因此记录一下留给有需要的程序猿/程序媛。整个思路就是风来将挡、水来土掩。首先安装GDAL，不出意外的话会报错，需要安装PROJ6。
2023-01-16 09:04:12
6495
2
原创 ubuntu 安装cuda
1、安装N卡驱动首先添加源sudo add-apt-repository ppa:graphics-drivers/ppasudo apt update然后检查可以安装的驱动版本号nvidia-msi选择适合自己的驱动，这里需要注意不同版本的cuda需要的驱动版本号也不一样，参考表链接点这里Ubuntu 18.04安装CUDA和cuDNN...
2022-11-01 18:07:39
252
原创 conda安装packages时报错File “C:\ProgramData\anaconda3\lib\site-packages\conda\core\subdir_data.py“
conda安装packages时报错，显示 Traceback (most recent call last): File "C:\ProgramData\anaconda3\lib\site-packages\conda\core\subdir_data.py", line 704, 。。。requests.exceptions.HTTPError: 404 Client Error: Not Found for url: https://mirrors.bfsu.edu.cn/anaconda/clou
2022-08-10 14:25:12
7391
原创 spyder/conda安装包报错：conda info could not be constructed. KeyError: ‘pkgs_dirs‘
pip install安装报错，Spyder不管用。Windows conda ImportError: DLL load failed while importing shell
2022-08-04 10:46:24
9836
14
原创 R语言ERROR: compilation failed for package ‘****‘
R语言安装包时报错：Error；compilation failed
2022-07-25 14:27:20
13056
原创 查看本机电脑wheel可安装版本号
第一种，在终端或cmd中输入python -m pip debug --verbose显示结果如下：(base) PS C:\Users\tiger> python -m pip debug --verboseWARNING: This command is only meant for debugging. Do not use this with automation for parsing and getting these details, since the output and
2022-05-23 14:27:35
836
原创 国内外卫星数据查询地址
文章目录国内卫星数据查询1、中国资源卫星应用中心2、自然资源卫星遥感云服务平台3、全国各省市高分中心4、国家对地观测与数据中心（高分辨率对地观测系统网格平台）5、中国海洋卫星数据服务系统6、卫星云遥7、上海市自然资源卫星遥感云服务平台国家综合地球观测数据共享平台风云卫星遥感数据服务网国家减灾网全球变化科学研究数据出版系统对地观测数据共享计划遥感易购空天院遥感数据服务系统欧比特珠海一号烟感数据服务平台月球与深空探测科学数据与样品发布系统国外卫星数据查询国内卫星数据查询1、中国资源卫星应用中心http:/
2022-04-24 18:29:30
10831
3
原创 正则表达式中一些符号的使用说明
截图来自莫烦python就每个单独来演示一下：import rere.search(r"\w+?@\w+?\.com", "[email protected]")<re.Match object; span=(0, 22), match='[email protected]'>这里注意大小写：re.search(r"\w+?\W\w+?\.com", "[email protected]") re.search(r"\w+?\S\w+?\.com.
2022-04-10 23:17:59
630
原创 虚拟机安装VMware tools
文章目录1、VMware tools灰色怎么解决2、安装VMware tools1、VMware tools灰色怎么解决问题：打算安装VMware tools显示灰色解决办法：关键点是要将CD/DVD、CD/DVD2和软盘全部设置为自动检测，软盘可以删除，一般用不着。具体步骤如下：1、关闭系统，点击红框中虚拟机设置2、将CD/DVD、CD/DVD2和软盘全部设置为自动检测3、再次启动，灰色变亮。2、安装VMware tools点击安装VMware Tools，这里我安装过了，因此是重
2022-02-24 10:11:55
15485
5
原创 基于arcpy api的RPC校正
本文是来填坑的，之前写的RPC的基本原理，从底层写RPC校正还是很有难度的，目前为了快速的工程化，先写了一个基于arcpy中RPC校正的脚本。核心代码如下：import os import arcpydef OrthoCorrected(in_ras, out_ras_path): ''' Incorporates elevation data and image metadata to accurately line up imagery. :param in_ras: Sel
2022-02-14 18:31:41
1955
2
原创 windows商店直接安装ubuntu子系统
报错WslRegisterDistribution failed with error: 0x8007019e
2022-02-10 18:02:56
3488
原创 聊聊共线性问题
文章目录引言为什么不合理怎么消除共线性影响？引言传统建模分析时，输入的因变量较多时，需要做共线性分析。什么叫共线性分析呢？统计学中叫多重共线性，不精确的说就是多个因变量之间是否存在较高的相关性，如果存在，则可只保留部分变量。比如分析降水量、日照时长、温度、坡度、坡向、高程等因变量与植被长势（如NDVI等自变量）的耦合关系，就需要对因变量进行共线性分析，基于常识，坡度与高程存在较高的相关性，那么两个同时与NDVI做相关性分析就不合理了。为什么不合理引言中提到的如果坡度与高程存在很强的多重共线性，
2022-02-10 10:34:18
2411
1
原创 光谱响应函数线性内插
国内卫星数据，官方给的光谱响应函数一般为间隔1nm的数据，但有些大气校正模型可能需要其他间隔的数据，比如6s需要2.5nm间隔的数据，因此需要对该数据进行插值处理。当然可以实现该功能的方法千千万，本文尝试用np.interp进行线性插值处理，有其它方法欢迎留言补充。内容np.interp()简介numpy 中有个函数interp可实现线性内插，下面简单介绍主要参数，具体内容参考官方资料
2021-12-27 16:04:10
3144
9
原创 RPC校正
RPC是什么？RPC（rational polynomial coefficients），有理多项式系数。RPC是传感器严格几何模型的拟合形式。是根据卫星平台载荷测量的平台运行轨迹参数、姿态参数、传感器安装参数及传感器内部几何参数构建的像-地关系几何模型[1]^{[1]}[1]。RPC计算过程 P = (Latitude - LAT_OFF) / LAT_SCALE L = (Longitude - LONG_OFF) / LONG_SCALE H =
2021-12-24 11:28:12
3893
原创 GIS相关资料
全球UTM投影网格：UTM Grid Zones of the World compiled by Alan Morton预览如下：
2021-12-24 10:48:53
190
原创 jupyter notebook内核频繁挂掉，需要重启
使用pytorch训练模型，每次到训练时便显示内核挂掉，需要重启命令提示符显示：根据报错信息可以知道，已经存在libiomp5md.dll，无法初始化。解决办法1、在代码行添加如下代码import osos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"2、找到anaconda安装文件夹，把另外一个不在torch库下的文件备份删除。...
2021-12-22 10:20:54
9760
5
转载 Hebb和Delta学习规则
原文链接：https://blog.csdn.net/u012562273/article/details/56297648Hebb和Delta学习规则无监督学习规则有监督学习规则无监督学习规则唐纳德·赫布（1904-1985）是加拿大著名生理心理学家。Hebb学习规则与“条件反射”机理一致，并且已经得到了神经细胞学说的证实。 巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就...
2021-12-21 14:01:50
480
1
原创 shapely中几何对象
几何对象类型前言点(Point)线(LineString) 和 闭环(LinearRing)面(Polygon)前言本文主要参考shapely官方说明文档。最近做项目需要处理一些矢量数据，好奇心趋势下，想知道这些矢量数据是怎么存储的，然后查找了一些资料，对目前找到的资料进行简单总结。Shapely 中涉及到的几何主要是2D，虽然有一个z坐标但在实际几何分析中，几乎用不到，可忽略。且构造的几何对象都会将数值转为float类型几何对象包括四类：点(Point)、线(LineString)、闭环(Lin
2021-12-21 13:59:43
1406
原创 python pip安装出错合集
1. 解决Python安装库时出现的Requirement already satisfied问题解决办法：pip install --target=包路径 包名示例pip install --target=D:\ProgramData\Anaconda3\Lib\site-packages numpy
2021-12-20 18:08:57
32698
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人