- 博客(173)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 书生·浦语大模型第六课作业
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM-Chat-7B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以。模式下，任务将按顺序执行，并实时打印输出。模式启动评估，并检查是否存在问题。
2024-02-14 23:17:27
405
原创 书生·浦语大模型第五课作业
目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。lmdeploy 没有安装，我们接下来手动安装一下，建议安装最新的稳定版。如果是在 InternStudio 开发环境，需要先运行下面的命令，否则会报错。直接启动本地的 Huggingface 模型，如下所示。，复制完成后，可以在本地查看环境。
2024-02-12 21:55:05
371
原创 书生·浦语大模型第四课作业
构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要替换成自己名字或昵称！1.安装安装完后，就开始搞搞准备工作了。（准备在 oasst1 数据集上微调 internlm-7b-chat）
2024-02-12 20:47:35
1268
原创 书生·浦语大模型第三课作业
复现课程知识库助手搭建过程 (截图)选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在上成功部署（截图，并提供应用地址）
2024-02-09 23:47:10
993
原创 书生·浦语大模型第二课作业
使用 InternLM-Chat-7B 模型生成 300 字的小故事（需截图）。的 config.json 文件到本地（需截图下载过程）。完成 Lagent 工具调用 Demo 创作部署（需截图）熟悉 hugging face 下载功能，使用。完成 Lagent 工具调用 Demo 创作部署。完成浦语·灵笔的图文理解及创作部署（需截图）的 config.json 文件到本地。完成浦语·灵笔的图文理解及创作部署。python 包，下载。
2024-02-08 23:02:12
494
原创 XTuner 大模型单卡低成本微调实战
第四节课《XTuner 大模型单卡低成本微调实战》着重介绍了如何应用XTuner进行大模型的微调，以及两种微调模式：增量预训练和指令跟随。
2024-02-07 16:36:08
371
原创 基于 InternLM 和 LangChain 搭建你的知识库
第三节课《基于 InternLM 和 LangChain 搭建你的知识库》主要讲述了如何使用RAG（检索增强生成器）范式和LangChain开源框架建立知识库应用。
2024-02-06 20:07:09
383
原创 轻松玩转书生·浦语大模型趣味Demo
轻松玩转书生·浦语大模型趣味Demo的第二节课主要讲解了如何使用三个重要的Demo，即InternLM-Chat-7B智能对话Demo、Lagent智能体工具调用Demo、以及浦语・灵笔图文理解创作Demo。
2024-02-06 19:37:57
378
原创 人声与背景音乐源分离
人声分离是将音频录音分离为各个源的任务。该存储库是音乐源分离的 PyTorch 实现。用户可以通过安装此存储库将自己喜欢的歌曲分成不同的来源。用户还可以训练自己的源分离系统。该存储库还可用于训练语音增强、乐器分离和任何分离系统。从github上下载，然后存放到指定文件夹下：/root/bytesep_data/train_scripts/musdb18。执行以上，可分离出人声，若效果不理想需要进行微调操作。存放到目录：/root/bytesep_data 下。下载依赖的人声伴奏配置。
2023-11-09 21:49:32
818
原创 图像翻拍检测——反射分量分离的特征融合
随着计算机技术的迅速发展，需要建立人与信息一一对应的安保认证技术，通过建立完整的映射网络体系，从而确保每个人的人身、财产、隐私等的安全.与指纹、基因等人体生物特征识别系统相比，人脸识别系统更加友好，不需要人的参与配合，能在不打扰正常生活情况下解决问题.同时，通过分析人脸识别系统的表情、姿态等可获得更多的有用信息.因此，人脸识别技术可用于公安系统、驾驶核对系统、监控系统、银行信用卡验证系统等[1].
2023-08-28 09:32:45
1283
1
原创 LangChain + Embedding + Chromdb，关联使用ChatGLM的本地搭建训练平台教程
OpenAI 在国内用户注册会遇到各种阻力，目前可行的方法是使用本地数据集的功能实现联网搜索并给出回答，提炼出TXT、WORD 文档里的内容。LangChain。 这个库目前非常活跃，每天都在迭代，已经有 22k 的 star，更新速度飞快。LangChain 是一个用于开发由语言模型驱动的应用程序的框架。他主要拥有 2 个能力：可以将 LLM 模型与外部数据源进行连接允许与 LLM 模型进行交互LLM 模型：Large Language Model，大型语言模型。
2023-07-19 17:29:14
7248
原创 LangChain 中文入门教程
众所周知 OpenAI 的 API 无法联网的，所以如果只使用自己的功能实现联网搜索并给出回答、总结 PDF 文档、基于某个 Youtube 视频进行问答等等的功能肯定是无法实现的。LangChain。这个库目前非常活跃，每天都在迭代，已经有 22k 的 star，更新速度飞快。LangChain 是一个用于开发由语言模型驱动的应用程序的框架。可以将 LLM 模型与外部数据源进行连接允许与 LLM 模型进行交互LLM 模型：Large Language Model，大型语言模型。
2023-06-19 18:41:39
3241
原创 Fine-tune的机制
对应到刚才的例子，我们假设这次业务是针对一家外国大飞机制造公司的，那么我们希望保留外贸业务中的结算能力，外贸的其它知识可以抛弃，那么在Fine-tune的时候，特地把以前已经学会过的外贸结算知识也加入到这次的学习材料中，使得改造后的公司不至于错误得遗忘结算能力。这次公司改造并不增加员工数量，仅仅是对现有员工的业务能力改造。当然是跟AR和大飞机制造无关的知识，比如先前已经掌握的外贸业务知识，机械制造领域的知识有部分被遗忘，还有一些跟布线有关的可以保留，员工大脑里腾出的空间就用来装新知识了。
2023-05-18 21:52:42
576
原创 读懂什么是RDMA
RDMA(Remote Direct Memory Access)，全称远端内存直接访问技术，可以在极少占用CPU的情况下，把数据从一台服务器传输到另一台服务器，或从存储到服务器。传统应用要发送数据，需要通过OS封装TCP/IP，然后依次经过主缓存、网卡缓存，再发出去。这样会导致两个限制。限制一：TCP/IP协议栈处理会带来数10微秒的时延。TCP协议栈在接收发送报文时，内核需要做多次上下文的切换，每次切换需要耗费5-10微秒。
2023-04-24 11:27:31
2443
原创 ChatGPT原理详解+实操
至此，就完成了GPT2模型的有监督精调训练。可能有的读者会说，你这和instructGPT的SFT过程不一样，是有点不一样，但思路原理是一样的，而且笔者自己没有好的硬件设备，只能在小模型上试试水，而且笔者也没有大规模的高质量有监督数据。
2023-04-19 14:22:39
7410
原创 APOLLO UDACITY自动驾驶课程笔记——规划、控制
路径规划使用三个输入，第一个输入为地图，Apollo提供的地图数据包括公路网和实时交通信息。第二个输入为我们当前在地图上的位置。第三个输入为我们的目的地，目的地取决于车辆中的乘客。
2022-11-27 11:01:48
999
原创 Apollo Udacity自动驾驶课程笔记——高精度地图、厘米级定位
前言：目前 Apollo 内部高精地图主要应用在高精定位、环境感知、决策规划、仿真运行四大场景，帮助解决林荫道路GPS信号弱、红绿灯是定位与感知以及十字路口复杂等导航难题。
2022-11-27 10:53:49
585
原创 以太网模块的传输距离怎么看
光模块的关键标准组织主要有两个：IEEE和MSA。其中GBASE开头的标准主要是IEEE802.3提出与定义的。要弄清光模块的传输距离，首先让我们要弄清楚它的命名是怎样的。
2022-11-23 09:18:16
699
原创 百亿级小文件存储，JuiceFS 在自动驾驶行业的最佳实践
本篇文章来自 JuiceFS 某自动驾驶行业客户的架构实践，在百亿规模小文件训练场景下进行了一系列成功的探索，希望能为相关行业的应用带来一些参考和启发。
2022-09-18 19:07:13
379
原创 axel 下载与安装
一.安装必要的库yum -y install openssl-devel gcc二.下载源码包wget -O axel-2.17.11.tar.gz http://github.com/axel-download-accelerator/axel/releases/download/v2.17.11/axel-2.17.11.tar.gz三.解压tar xzvf axel-2.17.11.tar.gz四.进入目录cd axel-2.17.11/五.检查编译./c
2022-04-17 11:28:43
2092
原创 etcd的安装教程
Linux 系统中，下载最新版本的ETCDReleases · etcd-io/etcd · GitHub一.下载方式ETCD_VER=v3.5.3# choose either URLGOOGLE_URL=https://storage.googleapis.com/etcdGITHUB_URL=https://github.com/etcd-io/etcd/releases/downloadDOWNLOAD_URL=${GOOGLE_URL}curl -L ${DOWNLOA
2022-04-17 07:23:16
4307
原创 kubectl命令自动补全功能
管理Kubernetes集群的时候，为了提高使用kubectl命令工具的便捷性，介绍一下kubectl命令补全工具的安装。1：安装bash-completion：yum install -y bash-completionsource /usr/share/bash-completion/bash_completion2：应用kubectl的completion到系统环境：source <(kubectl completion bash)echo "source <(k.
2022-04-01 09:15:22
2004
原创 storage.googleapis.com 访问与下载慢
运行命令出现 storage.googleapis.com 无法访问问题看到这位靓仔给出了方法，就是解析出地址然后替换host1. 访问：https://tool.chinaz.com/speedtest/storage.googleapis.com2. 获取ip，准备修改host然后我自己的是mac电脑参考了这位小哥的方法去修改host文件：1、通过 VI 编辑器修改 打开终端（应用程序——实用工具），运行： sudo vi /etc/hosts2、屏幕上会提示你
2022-03-30 22:15:49
7864
6
原创 centos7安装minikube
VMware Workstation中开启虚拟化 安装之前需要在bios中开启虚拟化功能。这里是在vmvare虚拟机中安装。开启步骤如下：1.1下载virtualbox官网地址：https://www.virtualbox.org/1. 首先下载oracle_vbox.asc文件到本地：wget -qhttps://www.virtualbox.org/download/oracle_vbox.asc再执行import：sud...
2022-03-30 21:45:34
2198
原创 openstack 热迁移(Live Migration)和冷迁移(Cold Migration)
一.迁移分类1.冷迁移(cold migration)，也叫静态迁移。 在迁移到另外的计算节点时，这段时间虚拟机实例是处于宕机状态的，即关闭电源的虚拟机进行迁移。 通过冷迁移，可以选择将关联的磁盘从一个数据存储移动到另一个数据存储，实例需要重启才能工作。 适用于对象系统可用性要求不是很高的时候，迁移过程中会关机， 拷贝 instance 的镜像文件和重建 libvirt.xml (这个配置文件中会涉及网络环境， 存储设备等配置)， 并重新在目标主机上启动。优点：虚拟...
2022-03-25 13:48:00
10875
原创 一篇文章让你了解灾备指标：RPO与RTO
RTO 和 RPO 都是企业灾难恢复（Disaster Recovery, DR）需要考虑的关键指标，这两个指标可以用来指导企业来制定合适的业务系统服务或数据的恢复方案。RPO（Recovery Point Objective）：即数据恢复点目标，主要指的是业务系统所能容忍的数据丢失量，指灾难发生后，从IT系统宕机导致业务停顿之时开始，到IT系统恢复至可以支持各部门运作、恢复运营之时，此两点之间的时间段称为RTO。如果以定期计划的24小时增量备份全部或大部分数据，那么在最坏的情况下，企业将丢失2
2022-03-22 20:59:23
12724
原创 NVIDIA GPU 架构梳理
文中图片大部分来自NVIDIA 产品白皮书TODO：英伟达显卡型号梳理目录：一、NVIDIA GPU的架构演变历史二、Tesla 架构三、Fermi架构四、Kepler架构五、Maxwell架构六、Pascal架构七、Volta架构八、Turing架构九、Ampere架构一、NVIDIA GPU的架构演变历史和基本概念[1]截止2021年，发布时间离我们最近的8种NVIDIA GPU微架构是：Tesla (特斯拉) Fermi（费米） Kepler（开普勒...
2022-03-19 22:22:13
15574
1
原创 AMD EPYC——CPU命名规则
AMD的三代服务器CPU都属于7000系列大锅，那么您如何知道要购买的产品呢？ 只要看一下右边的最后一个数字，数字1代表第一代那不勒斯EPYC，数字2代表罗马型号，数字3代表新米兰产品。始终从右到左，第二个数字是性能指标。 在这种情况下，它可以是1、4、6或F。这三个数字表示各种性能步骤，其中6表示最大值，而F表示用于要求高性能的应用程序的另一种“泵送” CPU模型，例如超级计算机。移至下一位，我们找到了核数的指示器。 当然不是直观的，您必须记住该图：2表示8核模型，3表示16核，4表示从24到
2022-01-27 13:46:56
7149
原创 数据存储四种常见方式
常见的数据存储方式有四种：在线存储、近线存储、脱机存储和站外保护。不同的存储方式提供不同的获取便利性、安全性和成本开销等级。在大多数场景中，四种存储方式被混合使用以达到最有效的存储策略。来看一看这四种数据存储方式各自的含义：1. 在线存储(Online storage)：有时也称为二级存储。这种存储方式提供最好的数据获取便利性，大磁盘阵列是其中最典型的代表之一。这种存储方式的好处是读写非常方便迅捷，缺点是相对较贵并且容易因为误操作或者防病毒软件的误删除而使数据受到损害。2. 近.
2021-12-22 18:30:06
14986
原创 常见硬盘分类介绍
硬盘可根据不同的方式进行分类：介质：机械硬盘固态硬盘 盘径：3.5寸 2.5寸 接口：SAS SATA NL-SAS FC SCISI 功能：桌面级 企业级介质硬盘有机械硬盘(HDD)和固态硬盘(SSD)之分。机械硬盘（HDD）机械硬盘即是传统普通硬盘，主要由：磁头组件、磁头驱动机构、盘片组、控制电路和接口等几个部分组成。机械硬盘中所有的盘片都装在一个旋转轴上，每张盘片之间是平行的，在每个盘片的存储面上有一个磁头，磁头与盘片之间的距离比头发丝的直径还小，所有的磁头联在一个磁头控.
2021-12-13 15:12:48
11197
转载 2020年度智能音箱主控方案汇总，涵盖15大芯片品牌推出的34款解决方案
随着科技的发展，智能家居开始逐步普及，而智能音箱作为智能家居的控制中心，一直被众多厂商所重视，不断有新的产品推出。高通《音频产品使用现状调研报告2020》中对于智能音箱和无线音箱市场的调研数据显示，有51％的全球受访者表示目前已经拥有智能音箱，与去年同比增长了16％，并且很多家庭根据自己的使用习惯开始购买第二个和第三个智能音箱。对于智能音箱市场的快速增长，作为智能音箱“心脏”地位的主控芯片也迎来了快速的发展。我爱音频网经过长达3年多以来的跟踪和拆解报道，目前市场上主流的智能音箱主控芯片主要来自：Ap
2021-11-21 22:50:37
7077
CloudEngine 12800, 12800E系列交换机 V200R003C00 产品文档
2020-04-15
性格决定领导力
2018-10-27
SQL必知必会 第4版pdf
2018-05-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人