内容
# TD-Codex Ultimate MCP
该仓库包含TD-Codex Ultimate MCP系统 - 一个开源的TouchDesigner AI控制层,允许Claude、Codex、Cursor、VS Code等MCP兼容代理:
- 理解TouchDesigner
- 从创意提示生成网络
- 修改现有的TouchDesigner项目
- 调试错误和验证场景完整性
- 分析和优化性能
- 创建演控系统(Art-Net、sACN、OSC、MIDI)
- 构建像素映射和LED显示工作流程
- 与外部媒体服务器集成(Millumin、Resolume、Unreal、Notch)
- 使用截图的视觉反馈进行自我纠正
- 构建可重用的组件和模板
## 已实现功能
根据`IMPLEMENTATION_PLAN.md`中的实施计划,已实现以下组件:
### ✅ 已在 td-codex-ultimate 中存在:
1. **运行时引擎** (`td-bridge/TD_mcp/`)
- 数百种直接的TouchDesigner控制工具
- 节点创建/删除,参数控制,连接,执行,DAT访问,布局/样式
2. **知识引擎** (`packages/knowledge/`)
- 操作员数据库和参考资料
3. **编译引擎** (`td-bridge/TD_mcp/modules/mcp/services/domain_builders.py`)
- 从高级目标生成蓝图
4. **验证器** (`td-bridge/TD_mcp/modules/mcp/services/api_service.py`)
- 场景验证和检查
### 🔧 最近添加的系统:
1. **视觉反馈系统** (`packages/vision/`)
- 截图捕获和分析
- 图片比较和纠正建议
- 用于自我纠正的视觉反馈环路
2. **性能分析器** (`packages/performance/`)
- 实时GPU/CPU监控
- 瓶颈检测和优化建议
- 性能报告和趋势分析
3. **演控系统** (`packages/showcontrol/`)
- Art-Net、sACN、OSC、MIDI工具
- 时间码(LTC/MTC)同步
- 网络协议管理器
4. **LED & 像素映射系统** (`packages/led-mapping/`)
- LED墙和体素网格创建器
- 像素映射工具
- 宇宙管理和通道映射导出
5. **媒体服务器集成** (`packages/media-server/`)
- Millumin、Resolume、Notch、Disguise连接器
- 双向通信桥梁
### 🔄 增强的MCP服务器
增强的MCP服务器 (`packages/mcp-server/enhanced_server.js`) 现已实现完整的架构流程:
- 提示 → 知识 → 编译器 → 验证器 → 运行时
- 可选的视觉反馈用于自我纠正
- 所有服务的REST API端点
- 用于兼容性的标准MCP JSON-RPC端点
## 创建/更新的文件
### 新服务文件:
- `packages/vision/vision-service.js`
- `packages/performance/performance-service.js`
- `packages/showcontrol/showcontrol-service.js`
- `packages/led-mapping/led-mapping-service.js`
- `packages/media-server/media-server-service.js`
### 更新的文件:
- `packages/mcp-server/enhanced_server.js` - 添加了所有服务集成
## 用法
要使用增强的MCP系统:
1. 启动MCP服务器:
```bash
cd packages/mcp-server
npm start
```
2. 将您的MCP客户端连接到:
```
http://127.0.0.1:3000/mcp
```
3. 使用创意提示端点进行完整工作流程:
```
POST http://127.0.0.1:3000/mcp/creative-prompt
```
## 视觉反馈集成
视觉反馈系统现已集成到创意提示端点中。要使用它:
- 在您的请求中设置 `useVisionFeedback: true`
- 系统将分析输出并在需要时建议纠正
## 性能监控
可以通过以下方式收集和分析性能指标:
- `POST /performance/collect-metrics` - 收集当前指标
- `POST /performance/analyze` - 分析趋势并检测问题
- `POST /performance/get-report` - 获取综合性能报告
## 演控
创建演控输出:
- Art-Net: `POST /showcontrol/create-artnet-output`
- sACN: `POST /showcontrol/create_sacn_output`
- OSC接收器: `POST /showcontrol/create-osc-receiver`
- OSC发送器: `POST /showcontrol/create-osc-sender`
- MIDI输入: `POST /showcontrol/create-midi-input`
- MIDI输出: `POST /showcontrol/create-midi-output`
- 时间码同步: `POST /showcontrol/setup-timecode-sync`
## LED & 像素映射
创建LED和像素映射系统:
- LED墙: `POST /ledmapping/create-led-wall`
- LED条: `POST /ledmapping/create-led-strip`
- 体素网格: `POST /ledmapping/create-voxel-grid`
- 像素映射器: `POST /ledmapping/create-pixel-mapper`
## 媒体服务器集成
连接到媒体服务器:
- Millumin: `POST /media/connect-millumin`
- Resolume: `POST /media/connect-resolume`
- Notch: `POST /media/connect-notch`
- Disguise: `POST /media/connect-disguise`
## 许可证
MIT