OpenVINO
外观
| 開發者 | 英特尔 |
|---|---|
| 首次发布 | 2018年5月16日 |
| 当前版本 |
|
| 源代码库 | github |
| 编程语言 | C++ |
| 操作系统 | 跨平台 |
| 许可协议 | Apache License 2.0 |
| 网站 | openvino |
OpenVINO是由英特尔开发的开源软件工具包,用于优化和部署深度学习模型。它支持多种流行的模型格式[2]和工作负载,包括大型语言模型、计算机视觉、生成式人工智能、语音处理以及机器人策略部署[3]。
OpenVINO针对英特尔硬件进行了优化,但也支持ARM/ARM64处理器[2]。当与英特尔的Gaussian与神经加速器(GNA)配合时,它也被用于AI声音处理驱动。
OpenVINO基于C++,并为C和Python提供API支持,同时也支持Node.js。
OpenVINO是跨平台的,并在Apache License 2.0下免费使用[4]。
工作流程
[编辑]最简单的OpenVINO用法是获取一个模型并直接运行。但为获得最佳结果,建议采用更完整的流程:[5]
- 在某个受支持的框架中获取模型,
- 使用OpenVINO转换器工具将模型转换为OpenVINO IR,
- 使用OpenVINO的NNCF提供的训练时或训练后选项优化模型,[6]
- 通过指定多种推理模式之一,使用OpenVINO运行时执行推理。
OpenVINO模型格式
[编辑]OpenVINO IR[7]是用于运行推理的默认格式。它以一对文件保存,即*.bin和*.xml,分别包含权重和拓扑。可通过应用的API或专用转换器,将模型从受支持的框架之一转换而来。
受支持格式的模型也可以直接用于推理,而无需先转换为OpenVINO IR。这种方法更方便,但优化选项更少、性能更低,因为推理前会自动进行转换。一些预转换的模型可以在Hugging Face仓库中找到[8]。
受支持的模型格式包括:[9]
- PyTorch
- TensorFlow
- TensorFlow Lite
- ONNX(包括可序列化为ONNX的格式)
- PaddlePaddle
- JAX/Flax
操作系统支持
[编辑]OpenVINO可运行于Windows、Linux和macOS[10]。
参见
[编辑]参考资料
[编辑]- ^ 2026.4.0. 2026年9月16日 [2026年9月16日].
- ^ 2.0 2.1 OpenVINO Compatibility and Support. OpenVINO Documentation. 2024-01-24 (英语).
- ^ OpenVINO Physical AI. OpenVINO Documentation. 2026-08-04 [2026-08-05] (英语).
- ^ License. OpenVINO repository. 2018-10-16 (英语).
- ^ OpenVINO Workflow. OpenVINO Documentation. 2024-04-25 (英语).
- ^ openvinotoolkit/nncf. OpenVINO™ Toolkit. [2026-04-08] (英语).
- ^ OpenVINO IR. www.docs.openvino.ai. 2024-02-02 (英语).
- ^ Hugging Face OpenVINO Space. Hugging Face (英语).
- ^ OpenVINO Model Preparation. OpenVINO Documentation. 2024-01-24 (英语).
- ^ System Requirements. OpenVINO Documentation. 2024-02 (英语).