OpenVINO
外觀
| 開發者 | 英特爾 |
|---|---|
| 首次發布 | 2018年5月16日 |
| 當前版本 |
|
| 源代碼庫 | github |
| 編程語言 | C++ |
| 操作系統 | 跨平台 |
| 許可協議 | Apache License 2.0 |
| 網站 | openvino |
OpenVINO是由英特爾開發的開源軟件工具包,用於優化和部署深度學習模型。它支持多種流行的模型格式[2]和工作負載,包括大型語言模型、計算機視覺、生成式人工智能、語音處理以及機器人策略部署[3]。
OpenVINO針對英特爾硬件進行了優化,但也支持ARM/ARM64處理器[2]。當與英特爾的Gaussian與神經加速器(GNA)配合時,它也被用於AI聲音處理驅動。
OpenVINO基於C++,並為C和Python提供API支持,同時也支持Node.js。
OpenVINO是跨平台的,並在Apache License 2.0下免費使用[4]。
工作流程
[編輯]最簡單的OpenVINO用法是獲取一個模型並直接運行。但為獲得最佳結果,建議採用更完整的流程:[5]
- 在某個受支持的框架中獲取模型,
- 使用OpenVINO轉換器工具將模型轉換為OpenVINO IR,
- 使用OpenVINO的NNCF提供的訓練時或訓練後選項優化模型,[6]
- 通過指定多種推理模式之一,使用OpenVINO運行時執行推理。
OpenVINO模型格式
[編輯]OpenVINO IR[7]是用於運行推理的默認格式。它以一對文件保存,即*.bin和*.xml,分別包含權重和拓撲。可通過應用的API或專用轉換器,將模型從受支持的框架之一轉換而來。
受支持格式的模型也可以直接用於推理,而無需先轉換為OpenVINO IR。這種方法更方便,但優化選項更少、性能更低,因為推理前會自動進行轉換。一些預轉換的模型可以在Hugging Face倉庫中找到[8]。
受支持的模型格式包括:[9]
- PyTorch
- TensorFlow
- TensorFlow Lite
- ONNX(包括可序列化為ONNX的格式)
- PaddlePaddle
- JAX/Flax
操作系統支持
[編輯]OpenVINO可運行於Windows、Linux和macOS[10]。
參見
[編輯]參考資料
[編輯]- ^ 2026.4.0. 2026年9月16日 [2026年9月16日].
- ^ 2.0 2.1 OpenVINO Compatibility and Support. OpenVINO Documentation. 2024-01-24 (英語).
- ^ OpenVINO Physical AI. OpenVINO Documentation. 2026-08-04 [2026-08-05] (英語).
- ^ License. OpenVINO repository. 2018-10-16 (英語).
- ^ OpenVINO Workflow. OpenVINO Documentation. 2024-04-25 (英語).
- ^ openvinotoolkit/nncf. OpenVINO™ Toolkit. [2026-04-08] (英語).
- ^ OpenVINO IR. www.docs.openvino.ai. 2024-02-02 (英語).
- ^ Hugging Face OpenVINO Space. Hugging Face (英語).
- ^ OpenVINO Model Preparation. OpenVINO Documentation. 2024-01-24 (英語).
- ^ System Requirements. OpenVINO Documentation. 2024-02 (英語).