- 博客(134)
- 资源 (47)
- 收藏
- 关注
原创 导出LLaMA ChatGlm2等LLM模型为onnx
通过onnx模型可以在支持onnx推理的推理引擎上进行推理,从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖,获得更好的性能等优势。
2023-08-05 19:15:07 3661
原创 SentencePiece android ndk编译
LLaMa等LLM语言模型一般使用SentencePiece tokenizer,在端侧部署需要编译和使用其c++版本。在安卓平台使用NDK编译CMakeLists.txt需要进行一些修改:
2023-07-27 09:37:17 889
原创 基于onnx模型和onnx runtime推理stable diffusion
基于onnx模型和onnx runtime推理stable diffusion
2023-03-25 21:51:18 3082
原创 android NDK编译openblas和向量检索库faiss
android编译openblas和faiss库,android NDK build openblas and faiss
2022-10-26 19:32:11 1379 5
原创 深度学习性能优化之图优化
这里总结了深度学习模型常见的部分图优化,有一些现有的深度学习框架已经有了,有些是作者的独特发现,现有深度学习框架还没有。
2022-09-11 18:56:35 3486
原创 sublime text自定义clang format插件格式化C++代码
sublime text自定义clang format插件格式化C++代码。本文内容为在windows平台上通过sublime text开发自定义插件实现调用clang format对C/C++代码进行格式化。
2022-06-17 16:14:57 1308
原创 Android基于ndk和cmake开发C++命令行程序
Creating a simple Hello World application Using Android NDK with C++ · GitHubandroid Ndk学习笔记01之Hello World! - 简书https://developer.android.com/ndk/samples/sample_hellojni
2022-05-30 10:59:45 1967
原创 Winograd算法实现卷积原理
Fast Algorithms for Convolutional Neural NetworksWinograd算法实现卷积原理
2022-05-21 15:46:02 2368
原创 TensorFlow pb模型修改和优化
TensorFlow 模型训练完成后,通常会通过frozen过程保存一个最终的pb模型。保存的pb模型是以GraphDef数据结构保存的,可以序列化保存为二进制pb模型或者文本pbtxt模型。GraphDef本质上是一个DAG有向无环图,里面主要是存放了一个算子node list,每个算子具有名称,attr等内容,以及通过input包含了node之间的连接关系。整个GraphDef的输入节点是以Placeholder节点来标识的,模型参数权重通常是以Const节点来保存的。不同于onnx,G...
2022-05-11 20:00:17 2568
原创 Roof-line Model性能分析模型简介
refRoofline Model与深度学习模型的性能分析 - 知乎Roofline: An Insightful Visual Performance Model for Floating-Point Programs and Multicore Architectureshttps://people.eecs.berkeley.edu/~kubitron/cs252/handouts/papers/RooflineVyNoYellow.pdfRoof-line Model模型简介..
2022-05-07 17:30:50 2188
原创 windows下sublime text 3使用clang format格式化C++代码
ref:Windows下clang-format的安装_wanlong1215的博客-CSDN博客_clang-format windowshttps://gist.github.com/danielTobon43/51764026f95240bbd03991089f0380a8llvm下载:Download LLVM releases安装后在sublime text package control里面安装clang format插件然后设置该插件:Settin...
2022-04-25 09:06:19 2471
原创 PyTorch模型转onnx
pytorch模型转onnx有几种方式实际数据输入jit trace方式torch script方式example 1(optional) Exporting a Model from PyTorch to ONNX and Running it using ONNX Runtime — PyTorch Tutorials 1.11.0+cu102 documentation# Super Resolution model definition in PyTorchimp
2022-03-17 15:00:46 7255 10
原创 openNMT-py CTranslate2性能对比流程
https://github.com/OpenNMT/OpenNMT-pypip install OpenNMT-pypip install ctranslate2参考OpenNMT-py github主页链接下载Pretrained models基于WMT训练的English-German - Transformer
2022-03-15 19:03:45 3205 2
原创 深度学习模型DAG拓扑排序
【图论】有向无环图的拓扑排序 - Treant - 博客园图基本无序需要多久排序问题特殊性如果一个图的节点基本有序需要多少时间进行排序
2022-02-09 14:54:05 1314
原创 TensorFlow不重新编译源码使用C/C++ API推理
E tensorflow/core/common_runtime/session.cc:67] Not found: No session factory registered for the given session options: {target: "" config: } Registered factories are {}.create new session failed
2021-12-30 16:58:37 1799
DeepSpeed System Optimizations Enable Training Deep Learning
2021-10-23
Netron-Setup-4.5.0.zip
2020-09-12
cmake-3.17.2-win64-x64.zip
2020-05-23
伯克利 常用经典算法.pdf
2019-09-04
伯克利 常用经典算法.zip
2019-09-04
Practical data acquisition for instrumentation and control systems
2018-12-10
Protocol Buffer sublime text 3插件
2018-08-06
概率分布手册Hand-book on statistical distributions for experimentalists
2018-03-01
BFGS Optimization curve fitting 优化曲线拟合
2017-12-07
Handbook of Fluorescence Spectroscopy and Imaging
2017-11-23
CRLB 讲解PPT
2017-10-03
Principles of Optics 7th ed M.Born,E.Wolf.pdf 光学原理
2017-09-01
Principles of Fluorescence Spectroscopy Third Edition Joseph R Lakowicz.pdf
2017-08-13
免费高清屏幕录制软件FreeScreenVideoRecorder_3.0.45.1027
2016-11-10
深度学习 Deep Learning book, MIT, Ian Goodfellow, Aaron Courville, and Yoshua Bengio
2016-04-22
nnImplementationV2 神经网络C++实现
2016-04-21
sublime text 2 3 system verilog自动补充插件
2015-02-01
altera官方上海Quartus II时序分析相关三天培训教材练习实例_day3
2015-01-30
altera官方上海Quartus II时序分析相关三天培训教材练习实例_day2
2015-01-30
altera官方上海Quartus II时序分析相关三天培训教材练习实例_day1
2015-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人