- 博客(310)
- 收藏
- 关注
RSS订阅
原创 ray报错 RuntimeError: No CUDA GPUs are available
看是不是ray_actor_options设置错了，笔者之前写成了下面这样，漏了num_gpus字段，所以就找不到gpu了。
2024-04-09 14:34:05
122
原创 onnx导出模型与推理
不必要的参数：export_params=True, opset_version=10, do_constant_folding=True。
2024-03-27 09:27:37
146
原创 modelbox流程图报错 can not match at multi ports when the match node is condition node
这个原因是，本来我想设置一个condition单元，通常condition单元的一个port是能连接多个port的。但因为拷贝文件太匆忙，有两个流单元下的toml文件名不小心重叠了，他们就同时生效了，而后者toml中设置的expand=true覆盖了前者的condition=true，然后modelbox认为expand单元不能连接多个port就报错了。
2024-03-27 09:09:58
219
原创 onnx 推理报错 Process finished with exit code 139
【代码】onnx 推理报错 Process finished with exit code 139。
2024-03-19 10:48:18
253
转载 huggingface 本地模型加载报错 Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_mo
【代码】huggingface 本地模型加载报错 Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_mo。
2024-01-29 09:51:44
977
2
原创 jmeter body data内容过多时卡住 (__FileToString节约你的生命)
jmeter有个bug，当body data栏里的内容太多时(比如包含了图片base64字符串)，应用会卡住，处于未响应状态下加载很久，只能关闭。像下面一样填写图片base64文件的路径，以及图片编码utf-8即可。使用这个函数可以利用jemeter自带的。
2024-01-23 14:35:42
607
原创 postman能调用fastapi，但jmeter调用报错 422 unprocessable entity
JMeter模拟请求发送，并带上自定义Header，参数，Cookie_jmeter header参数化-CSDN博客。给jemeter的压测请求加上header，Content-Type: application/json。
2024-01-12 15:36:58
394
原创 昇腾上执行模型推理报错 EZ9999 Cannot parse json for config file
可能是没安装kernels包，安装它，再执行。
2024-01-05 14:17:00
521
原创 docker login失败 x509: certificate relies on legacy common name field use sans instead
解决办法是在daemon.json把仓库域名加入。
2024-01-04 14:31:24
722
原创 昇腾容器内执行npu-smi失败 DrvMngGetConsoleLogLevel failed. (g_conLogLevel=3)
看下是不是npu被别人的容器占了，一般被占了的话会有这种报错。
2024-01-04 10:35:25
1112
原创 modelbox 无法读取buffer数据 不符合函数签名
的函数签名只支持buffer类型，str不是buffer类型，但bytes是buffer类型。这可能是因为在上个单元没成功传入数据。比如，下面的调用是错误的，因为。报错原文忘记了，大意是传入的参数不符合。
2023-12-22 10:11:40
358
原创 云上查看容器日志
有时候在云上希望查看容器日志，但web UI界面上看不到日志，怎么办？然后用docker logs命令打印指定容器的日志，就能用命令行的方式打印容器了。该做法适用于各种云上平台，包括华为云、腾讯云等。首先用ssh登陆宿主机。
2023-12-21 16:25:22
470
原创 pip install报错，缺少importlib_metadata-6.7.0
安装到网上找importlib_metadata-6.7.0的whl文件，离线安装，我是在。，将importlib_metadata相关文件夹全删了再重装whl，解决了。结果报错不变，然后参考了。
2023-12-14 19:48:00
246
原创 modelbox线程爆满宕机bug
modelbox可以进行模型推理，但压测一段时间后，modelbox宕机，执行发现线程数爆满，达到了3万个，说明在请求期间线程不断被创建，但没有被回收。
2023-12-12 17:30:34
422
原创 modelbox 功能单元中在npu调用模型推理代码出错 NPU error, error code is 107002 [Error]: The context is empty.
我们需要显示设置npu设备，
2023-12-07 09:25:53
587
原创 modelbox入门教程(二) 用modelbox server启动流程图，暴露Restful接口
假设你已经搭建了modelbox开发容器，能够使用webUI构建流程图。如果没有请参考。现在，本文会说明，如何在终端用命令的方式将流程图暴露为服务，并能够在本地用postman访问。本文参考的"通过modelbox命令启动"一节。
2023-12-06 20:59:13
689
原创 modelbox入门教程(一) 昇腾npu上构建modelbox webUI开发容器教程
官方提供了为了能开箱即用，本文稍微调整了Dockerfile，并附加了脚本，便于使用。
2023-12-06 16:36:07
503
原创 切比雪夫不等式
主要证明过程如下。感觉作者证明第一步到第二步有点偷懒了。这个的证明是对的，但叙事顺序有点乱。切比雪夫不等式证明了随机样本。其中第一步的函数区间。应当拆成两个积分区间。
2023-11-15 17:58:35
81
原创 owl_vit安装步骤
owl项目的clip目录与openai的clip重名了，import时容易找不到文件。拷贝到owl项目下的clip文件夹。解决办法: 把clip项目下的。
2023-10-30 16:59:45
251
原创 error: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed
python下载文件到指定目录报错。
2023-10-30 15:59:46
180
原创 NLP Bi-Encoder和Re-ranker(引流：Cross Encoder 交叉编码器 ReRanker)
如何将BI和Cross Encoder配合使用？可以先用BI-Encoder选出top 100个候选项，再用Cross-Encoder挑选最佳选项。
2023-10-19 20:07:57
1293
原创 minigpt-4 本地部署
如果在下载bert tokenizer和bert config时报HTTPS错误，可以到huggingface把文件下载下来，再修改Minigpt-4项目的源码。因此改为安装别的版本fastchat。再补充安装accelerate。下载权重的脚本如下，使用了。，使用了http链接，时，缺什么依赖就直接。
2023-10-12 09:22:33
613
原创 运行huggingface Kosmos2报错 nameerror: name ‘kosmos2tokenizer‘ is not defined
判断为False，导致没有导入Kosmos2Tokenizer，因此要安装该依赖。之后就可以执行demo了。
2023-10-08 01:02:30
376
原创 triton 客戶端用https协议访问服务
平时调用模型服务，都是用http+IP的链接调用。但由于笔者环境的特殊性，访问模型必须经过一个https的公网URL，所以，
2023-09-07 14:42:51
371
原创 docker 如何使用代理
其中，如果在使用代理地址时，不希望将运行命令明文写在启动脚本里，可以把用户名、密码存在环境变量，并在执行。时将这两种参数传进去。
2023-08-07 14:36:50
3500
原创 LLM reasoners 入门实验 24点游戏
调试发现，程序大部分时间在beam_search.py的for循环内执行，从代码阅读猜测，每个beam是一个搜索路径，程序不断在规划、探索每个搜索路径，尝试找到正确的24点计算公式。然后在多个案例中，本例使用24点游戏作为实验（因为这个案例默认使用chatgpt-3.5，相比其它要下载模型参数的实验更简单）。修改代码中的路径，使其指向正确文件，主要是24点数据集，以及prompt的json文件。然后配置运行，等了几分钟，发出几十个请求后，终于看到结果。（单单一个样例，程序都要运行几分钟才能得到最终答案）
2023-08-05 17:46:00
576
原创 netty架构
https://zhuanlan.zhihu.com/p/181239748https://cloud.tencent.com/developer/article/1754078
2023-08-05 15:25:19
152
原创 pulsar-client-1-2 PulsarClient构造函数
前言上文说到，PulsarClient通过链式调用构建，而在build()中调用了new PulsarClientImpl(conf)，而Producer 本文通过解析构造函数，了解其主要结构。// 创建PulsarClientPulsarClient client = PulsarClient.builder() .serviceUrl("pulsar://localhost:6650") .build();@Overridepublic PulsarClien
2023-08-05 15:22:40
171
原创 pycharm打开terminal报错
Pycharm打开终端报错如何解决？估计是终端启动conda不顺利，需要重新设置路径。参考以下文章的做法即可。cmd.exe “{你的conda安装路径}\Scripts\activate.bat”给pycharm中Terminal 添加新的shell，才可以使用conda环境。
2023-08-05 15:14:49
1296
原创 python 计算图片hash 缓存图片为key
hash并不会添加太多程序负担，作者用像素为500*500左右的图片进行测试，hash值计算耗时0.01秒。python，有时希望缓存图片作为key，怎么办？
2023-08-04 15:15:39
1593
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人