内容
# ESoC 2026 提案：适用于 sktime-mcp 的智能基准测试框架
## 概述
本项目旨在为评估 sktime-mcp 生态系统中智能体生成的流程开发一个统一的基准测试框架。
目标是创建一个标准化的评估层，使得智能体流程可以根据正确性、任务对齐性和预测性能进行比较。
## 现有工作
本提案直接建立在我正在进行的贡献之上：
- https://github.com/sktime/sktime-mcp/pull/396
## 当前进展
基准测试框架的初始版本已经实现并在本地测试（8/8 测试通过），为本提案奠定了基础。
---
## 动机
随着基于大型语言模型的智能体越来越多地生成机器学习流程，需要一种一致的方法来评估：
* 流程有效性
* 任务正确性
* 实际性能
目前，sktime-mcp 缺乏一个结构化的基准测试系统。
---
## 核心思想
一个具有 3 个评估维度的基准测试系统：
* **流程有效性（30%）**
* **任务对齐性（20%）**
* **性能（50%）**
---
## 关键特性
* 基于 YAML 的任务定义
* 用于执行流程的模块化运行器
* 用于评估的评分引擎
* 未来任务的可扩展设计
---
## 预期成果
* 将基准测试套件集成到 sktime-mcp 中
* 多任务覆盖（预测、分类、检测）
* 持续集成（CI）集成
* 智能体性能比较
---
## 为什么是我
我已经通过以下方式为 sktime 和 sktime-mcp 做出了贡献：
* 修复预测和依赖问题
* 改进估计器实用程序和测试覆盖率
* 设计和实现初始基准测试框架
---
## 示例用法
```python
from sktime_mcp.benchmark.runner import BenchmarkRunner
from sktime_mcp.benchmark.scorer import BenchmarkScorer
from sktime_mcp.benchmark.tasks import load_all_tasks
runner = BenchmarkRunner()
scorer = BenchmarkScorer()
all_results = runner.run_all()
for task in load_all_tasks():
scores = scorer.score_results(all_results[task.name], task)
print(scorer.summary(scores))
```
这演示了如何使用提出的基准测试框架在多个任务中执行和评估智能体生成的流程。
## 适合 ESoC
本项目扩展了我现有的贡献，旨在将当前原型转化为 sktime-mcp 中用于智能体流程的强大、CI 集成的基准测试系统。
## GitHub
https://github.com/Rohitstwt
MCP 市场