OpenVINO 端侧超低延迟本地向量检索 Skill

openvino-local-rag-enhancer 是一项专为 Intel AI PC 打造的生产力级 Agent 向量检索技能包。通过集成 Intel OpenVINO™ 推理框架，调动 Intel 酷睿处理器的 CPU 与 Iris Xe / Arc GPU 异构算力，在本地端侧毫秒级完成代码库及文档的向量计算（Embedding）与语义检索（Cosine Similarity Search），帮助 Qoder、WorkBuddy、TRAE Work 等 Agent 工具在无需上传核心源码至云端的情况下，实现高性能 Hybrid RAG 上下文增强。

环境依赖与前置约束 (Prerequisites & Dependencies)

[!IMPORTANT] 物理基座与运行环境要求：为发挥真实的 Intel AIPC 端侧异构加速性能，技能依赖以下 Python 运行库（见项目 requirements.txt）：

| 依赖库 (Package) | 推荐版本 | 说明 | | :--- | :--- | :--- | | openvino | >=2024.0.0 | 必须。Intel 官方端侧异构推理加速引擎（驱动 CPU/GPU/NPU） | | numpy | >=1.23.5 | 张量计算与矩阵预处理 |

一键依赖安装指令 (Setup Command)

pip install openvino numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

适用场景 (Use Cases)

代码库本地语义搜索 (Local Code Search)：根据自然语言描述，在本地源码库中毫秒级检索关联函数与模块。
私有文档离线问答增强 (Hybrid RAG)：本地计算文档 Embedding，仅将筛选后的干净上下文提供给大语言模型。
零源码泄露安全开发 (Zero Code Leakage)：核心业务代码全在 Intel AIPC 端侧完成向量化与匹配，不上云。

触发指令示例 (Prompt Examples)

"使用 OpenVINO 端侧检索本地代码库中关于用户鉴权和 JWT 校验的实现。"
"在 Intel GPU 加速下，搜索知识库中关于 OpenVINO 量化推理的相关文档段落。"
"检索当前工程中耗时优化的相关函数，输出相关度最高的 Top 3 代码片段。"

工具参数 (Parameters)

| 参数名 (Parameter) | 类型 (Type) | 必填 | 默认值 | 说明 | | :--- | :--- | :--- | :--- | :--- | | query | string | 是 | - | 检索查询词或自然语言问题 | | codebase_dir | string | 否 | . | 待索引与检索的本地代码/文档目录路径 | | device | string | 否 | AUTO | OpenVINO 推理设备：CPU, GPU, AUTO | | top_k | integer | 否 | 3 | 返回关联度最高的向量片段数量 | | output_format | string | 否 | json | 输出格式：json, markdown |

调用方式与示例 (Execution)

命令行调用 (CLI Execution)

python cli_runner.py --query "OpenVINO 异构算力加速设备绑定" --codebase_dir . --device GPU --top_k 3 --format markdown

JSON 输出示例 (Sample JSON Output)

{
  "status": "success",
  "tool_name": "openvino-local-rag-enhancer",
  "hardware_info": {
    "target_device": "GPU",
    "engine_backend": "OpenVINO Runtime v2024"
  },
  "performance": {
    "embedding_latency_ms": 4.15,
    "search_latency_ms": 0.82,
    "total_latency_ms": 4.97,
    "device_used": "GPU.0 (Intel Iris Xe Graphics)"
  },
  "query": "OpenVINO 异构算力加速设备绑定",
  "results_count": 3,
  "retrieved_context": [
    {
      "rank": 1,
      "score": 0.942,
      "file_path": "openvino_rag_engine.py",
      "snippet": "self.device = 'GPU' if 'GPU' in available_devices else 'CPU'"
    }
  ]
}