内容
<div align="center">
<img src="assets/banner.png" alt="视频视觉MCP — AI现在可以聆听和观看任何视频" width="100%" />
</div>
<div align="center">
<br/>
[](https://www.npmjs.com/package/@oamaestro/video-vision-mcp)
[](LICENSE)
[](https://nodejs.org)
[](https://modelcontextprotocol.io)
[](#setup)
<br/>
<h3>为你的AI赋予视觉和听觉，让它可以观看视频。</h3>
<p><em>YouTube、TikTok、Instagram Reels、X、本地文件，任何视频、任何平台，无需云服务。</em></p>
<br/>
</div>
---
你的AI可以阅读文档、编写代码、分析图像。
但在此之前，它无法**观看视频**。
**视频视觉MCP**解决了这个问题。
只需将YouTube链接、TikTok链接或屏幕录制粘贴到AI中 — 你的AI就可以看到每一帧画面、听到每一个字，并可以回答你提出的任何问题。无需Gemini API、无需OpenAI密钥、无需GPU。完全在你的笔记本电脑上运行，与你已经使用的任何AI工具兼容。
> 兼容 **Claude Code、Cursor、Cline、Windsurf、Continue** 和任何MCP兼容工具。
---
## 为什么这改变了一切
大多数AI工具都对视频视而不见。你粘贴一个链接，什么也不会发生。你必须手动转录、截图、描述，然后将所有内容粘贴到聊天中。这需要15分钟的工作时间，甚至还没开始提问。
视频视觉MCP将这段时间缩短为零。
一个URL，你的AI就可以观看它。完成。
---
## 实际发生了什么
每次你指向一个视频：
1. **下载视频** — YouTube、TikTok、Instagram、1000+平台 via yt-dlp。或从本地读取。
2. **检测场景变化** — 提取实际相关的帧，而不是每5秒一个。
3. **在帧中添加时间戳** — 每个帧都有可见的时间戳，让你的AI确切知道事件发生的时间。
4. **获取字幕** — 如果平台有字幕，立即获取。无需转录。
5. **没有字幕？** — 在CPU上本地运行 [Whisper](https://github.com/openai/whisper)。无需API密钥，无需云服务，无需设置。
6. **返回所有内容** — 帧网格 + 转录 + 元数据，一次获取。
你不需要配置任何这些。它会自动处理。
> **首次使用提示：** 如果视频没有字幕，Whisper会在第一次使用时下载一个约150MB的语音模型。需要大约一分钟。之后，它将永久缓存在 `~/.oamaestro/models/`，未来每次运行都是即时的。
---
## 设置
### 让你的AI为你设置
最简单的安装方法是直接将以下内容粘贴到你的AI聊天中：
```
请配置视频视觉MCP，以便您可以为我观看视频。该软件包是@oamaestro/video-vision-mcp，安装命令是：npx -y @oamaestro/video-vision-mcp — 在您的MCP设置中注册它，然后确认它已连接。
```
你的AI将处理其余部分。它知道如何为你正在使用的工具配置MCP服务器。
---
### 手动设置
**Claude Code** — 一个命令：
```bash
claude mcp add video-vision -- npx -y @oamaestro/video-vision-mcp
```
**Cursor / Cline / Windsurf / Continue / 任何MCP兼容工具：**
将以下内容粘贴到你的MCP配置文件中：
```json
{
"mcpServers": {
"video-vision": {
"command": "npx",
"args": ["-y", "@oamaestro/video-vision-mcp"]
}
}
}
```
| 工具 | 配置文件位置 |
|------|---------------------|
| **Cursor** | 设置 → 功能 → MCP服务器 |
| **Cline** (VS Code) | Cline扩展设置 → MCP服务器 |
| **Windsurf** | `~/.codeium/windsurf/mcp_config.json` |
| **Continue** | `~/.continue/config.json` |
| **Claude Desktop** | `~/Library/Application Support/Claude/claude_desktop_config.json` (Mac) · `%APPDATA%\Claude\claude_desktop_config.json` (Windows) |
无需API密钥。无需环境变量。无需“步骤11”。只需粘贴即可。
---
## 直接与它对话
```
"观看这个YouTube教程，并给我一个精确的步骤列表"
```
```
"我用手动方式记录了这个任务。观看它并编写自动化规范。"
```
```
"转录这个会议记录并提取所有行动项。"
```
```
"观看这个产品演示。列出显示的每个功能，按顺序，并附上时间戳。"
```
```
"提取这个编码教程中可见的每个终端命令。"
```
```
"比较这个屏幕录制与我们的Figma规范。"
```
```
"观看这个TikTok并告诉我他们如何编辑它 — 剪辑、过渡、效果。"
```
```
"总结这个1小时的会议演讲，分为5个要点。包括关键时刻的时间戳。"
```
---
## 支持的来源
**平台：** YouTube、TikTok、Instagram Reels、Twitter/X、Facebook、Vimeo、Reddit、Twitch剪辑、LinkedIn、Dailymotion — 以及通过yt-dlp支持的1000+其他平台。
**本地文件：** `.mp4` `.mov` `.avi` `.mkv` `.webm` `.m4v` `.flv` `.wmv` `.ts` `.mts`
---
## 工具
| 工具 | 功能 |
|------|-------------|
| `analyze_video` | 主要功能。下载 → 帧 → 转录 → AI |
| `extract_frames` | 帧到磁盘，完全模式控制 |
| `get_video_info` | 元数据，无需下载 |
| `get_transcript` | 仅字幕 — 快速，无需转录 |
| `transcribe_audio` | 本地Whisper转录 |
| `extract_frame_at` | 特定时间戳的单帧 |
| `create_frame_grid` | 将现有帧组成网格 |
| `cleanup` | 删除临时会话文件 |
### 分析模式
| 模式 | 工作方式 | 适用场景 |
|------|-------------|---------|
| `overview` *(默认)* | 14个均匀间隔的帧 | 快速总结、短视频 |
| `detailed` | 场景变化检测 | 教程、产品演示、有剪辑的任何内容 |
| `full` | 场景帧 + 强制Whisper | 需要最大准确性时 |
---
## 磁盘使用
分析过程中会创建临时文件，并在服务器停止时自动清理。或者随时调用 `cleanup`。
| 视频长度 | 近似临时磁盘占用 |
|---|---|
| 5 分钟 | ~42 MB |
| 30 分钟 | ~241 MB |
| 1 小时 | ~482 MB |
| 2 小时 | ~962 MB |
---
## 已知限制
- **身份验证门控内容** （某些TikTok、Instagram）需要通过 `cookies` 参数传递的 `cookies.txt` 文件
- **CAPTCHAs** 无法绕过 — 如果平台阻止下载，请手动获取文件并传递本地路径
- **长视频无字幕** 需要时间 — Whisper在CPU上运行，暂无GPU加速。使用 `start_time`/`end_time` 分析特定部分而非整个视频
- **ChatGPT / Claude.ai 网页** — 浏览器扩展即将推出（v2）
---
## 路线图
- [ ] **Chrome 扩展** — 直接在ChatGPT、Gemini、Claude.ai中分析视频
- [ ] **批量处理** — YouTube播放列表、本地文件文件夹
- [ ] **视频比较** — 观看两个视频并并排差异对比
- [ ] **GPU加速** — WebGPU Whisper用于更快的转录
---
## 贡献
欢迎PR。如果你发现了一个错误、有想法或想扩展平台支持 — 请提交问题或直接联系。
参见 [CONTRIBUTING.md](CONTRIBUTING.md) 获取指南。
---
<div align="center">
---
### 由 OA Maestro 构建
<p>我为创始人、创作者和构建者构建AI工具，他们没有时间等待大玩家赶上。</p>
<p>
如果这个工具节省了你的时间，帮助你交付成果，或只是让你大开眼界 —<br/>
我真的很想听到你的反馈。这就是我构建这些工具的全部原因。
</p>
**联系方式：**
[realoamaestro@gmail.com](mailto:realoamaestro@gmail.com)
**在以下平台找到我：** `@OAMaestro`
[GitHub](https://github.com/OAMaestro) · [YouTube](https://youtube.com/@OAMaestro) · [TikTok](https://tiktok.com/@OAMaestro) · [Instagram](https://instagram.com/OAMaestro) · [X / Twitter](https://x.com/OAMaestro)
<br/>
*如果你在项目中使用这个工具，正在构建一些酷的东西，或者想合作 — 请直接联系我。我总是乐于与正在做有趣事情的构建者联系。*
<br/>
**MIT 许可证** · 永久免费 · 使用它。构建它。交付它。
---
</div>
