microsoft/onnxruntime
微软打造的推理引擎,让用PyTorch或TensorFlow做出的AI模型能在几乎任何设备上快速运行
onnxruntime可以让用各种深度学习框架和传统机器学习库构建的模型,在不同硬件和操作系统上快速运行。它通过优化模型的计算图结构并调用硬件加速功能来提升推理速度。对于现有的PyTorch训练脚本,只需增加一行代码,就能利用多台英伟达GPU加速训练transformer模型。
它做什么
- 支持PyTorch、TensorFlow/Keras等深度学习框架的模型,也支持scikit-learn、LightGBM、XGBoost等传统机器学习库的模型
- 通过优化模型内部的计算图结构、自动调用对应硬件的加速能力来提升性能
- 只需在现有PyTorch训练脚本中加一行代码,就能借助多台英伟达GPU加速transformer模型的训练
- 设计上可在不同硬件、驱动和操作系统环境下保持一致的运行表现
为什么重要
模型训练时使用的框架和实际部署运行的环境经常不一致,onnxruntime弥合了这个差距,降低部署成本、提升响应速度。这个项目在GitHub上获得超过21000颗星,是被广泛使用的基础设施工具,对任何构建和上线AI产品的开发者都有实际影响。
本仓库术语
- ONNX · 用于统一表示不同深度学习框架所构建模型的开放格式
- 推理(inference) · 将新数据输入已训练好的模型以得到结果的过程
- 计算图优化 · 调整模型内部运算的顺序和结构,使其能更快得到相同结果
- 硬件加速器 · 如GPU、NPU等专门设计用来比普通CPU更快完成特定运算的硬件
仓库简介（英文）
ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator
在 GitHub 打开热门仓库
- vorssaint/vorssaint-utils一个免费菜单栏应用,顶替十几款付费Mac工具
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台
- NousResearch/hermes-agentNous Research推出的Hermes是一款越用越聪明的AI智能体
- virgiliojr94/book-to-skill把技术类书籍PDF变成AI编程助手随时可查阅的技能包
- VoltAgent/awesome-agent-skills把上千份让AI编程助手秒变专家的操作手册集中放在一个地方
- anthropics/claude-plugins-community一个把大家做的Claude插件集中起来供安装的仓库