gycybb的博客

原创 NVIDIA-ChatWithRTX安装环境图文教程

RAG\trt-llm-rag-windows-main\ui\user_interface.py 文件第256-257行处添加share=True,Win11/RTX3000&4000显卡8G+显存/16G+内存/显卡驱动535.11+实测目前默认DEMO环境仅支持英文，不是很兼容中文问答。Llama2 安装失败切换代理多尝试几次。安装完成点击运行，桌面会有快捷方式。没有联网会提示连接目标计算机失。显存不够的将这个文件里的。硬件条件不满足会提示。卡在此处需要科学代理。13B占用10G显存。