内容
# MCP视觉
一个本地、自治的AI代理，监控您的屏幕，理解视觉布局，并代表您执行原生操作系统命令（点击、输入）。**无需云API，无需订阅，且零数据离开您的机器。**
架构建立在一个简单的理念上：桥接本地视觉模型与标准操作系统自动化。流程捕获屏幕截图，通过Microsoft的OmniParser处理以生成交互元素的结构化地图，并将该布局馈送到Llama 3.2 Vision via Ollama。模型然后决定下一步行动，通过干净、可组合的模型上下文协议（MCP）服务器执行。
```mermaid
graph TD
A[开始任务] --> B[MSS: 捕获屏幕]
B --> C[OmniParser: YOLO元素检测]
C --> D[生成标注边界框图像]
D --> E[Ollama: Llama 3.2 Vision决策]
E --> F{模型响应}
F -->|工具调用| G[PyAutoGUI: 执行点击/输入/快捷键]
G -->|等待2秒| B
F -->|完成| H[任务完成]
```
---
## 执行流程
在初始执行周期中，代理捕获显示的当前状态并运行视觉解析器。它保存本地的带注释的参考截图，将每个检测到的UI元素和交互边界框映射到特定的ID坐标，然后传递给LLM。
*示例：代理在执行操作系统命令之前的内部视觉地图。*
---
## 当前状态与路线图
目前，`mcp-vision`高度能够执行简单、重复的日常操作系统任务，并自主导航静态UI布局。然而，作为v1版本，仍需要持续优化。未来的改进将集中在处理复杂、多步骤的工作流程、管理沉重的动态滚动以及减少推理延迟以加快执行周期。
MCP 市场