trustwise-mcp-server

# 🦉 Trustwise MCP Server **Trustwise MCP Server** 是一个 [Model Context Protocol (MCP)](https://modelcontextprotocol.io/introduction) 服务器，提供一套先进的评估工具，用于AI安全、对齐和性能评估。它使开发者和AI工具能够通过Trustwise的行业领先指标以编程方式评估LLM输出的质量、安全性和成本。 ## 💡 用例 - 评估LLM响应的安全性和可靠性。 - 测量AI生成内容的对齐性、清晰度和帮助性。 - 估算模型推理的碳足迹和成本。 - 将强大的评估集成到AI管道、代理或编排框架中。 ## 🛠️ 先决条件 - 一个Trustwise API密钥（[在这里获取](https://trustwise.ai)） - Docker；请按照 [安装说明](https://docs.docker.com/desktop/) 进行操作 ## 📦 安装与运行 ### Claude Desktop 要将Trustwise MCP Server连接到Claude Desktop，请在Claude Desktop设置中添加以下配置： ```json { "mcpServers": { "trustwise": { "command": "docker", "args": [ "run", "-i", "--rm", "-e", "TW_API_KEY", "ghcr.io/trustwiseai/trustwise-mcp-server:latest" ], "env": { "TW_API_KEY": "<YOUR_TRUSTWISE_API_KEY>" } } } } ``` 要指向特定的Trustwise实例 - 在`env`下，还可以设置以下可选环境变量： ``` TW_BASE_URL: "<YOUR_TRUSTWISE_INSTANCE_URL>" ``` 例如 `"TW_BASE_URL": "https://api.yourdomain.ai"` ### Cursor 要将Trustwise MCP Server连接到Cursor，请在Cursor设置中添加以下配置： ```json { "mcpServers": { "trustwise": { "command": "docker", "args": [ "run", "-i", "--rm", "-e", "TW_API_KEY", "-e", "TW_BASE_URL", "ghcr.io/trustwiseai/trustwise-mcp-server:latest" ], "env": { "TW_API_KEY": "<YOUR_TRUSTWISE_API_KEY>" } } } } ``` 将 `<YOUR_TRUSTWISE_API_KEY>` 替换为您的实际Trustwise API密钥。 ## 🧰 工具 Trustwise MCP Server 提供以下工具（指标）。每个工具可以使用指定的参数来评估模型响应。 ### 🛡️ Trustwise 指标 | 工具名称 | 描述 | |--------------------------|----------------------------------------------------------| | `faithfulness_metric` | 评估响应对其上下文的忠实度 | | `answer_relevancy_metric`| 评估响应与查询的相关性 | | `context_relevancy_metric`| 评估上下文与查询的相关性 | | `pii_metric` | 检测响应中的个人身份信息（PII） | | `prompt_injection_metric`| 检测提示注入风险 | | `summarization_metric` | 评估摘要质量 | | `clarity_metric` | 评估响应的清晰度 | | `formality_metric` | 评估响应的正式程度 | | `helpfulness_metric` | 评估响应的帮助性 | | `sensitivity_metric` | 评估响应的敏感性 | | `simplicity_metric` | 评估响应的简单性 | | `tone_metric` | 评估响应的语气 | | `toxicity_metric` | 评估响应的毒性 | | `refusal_metric` | 检测拒绝回答或遵循查询的情况 | | `completion_metric` | 评估对查询指令的完成度 | | `adherence_metric` | 评估对给定政策或指令的遵循程度 | | `stability_metric` | 评估多个响应的一致性 | | `carbon_metric` | 估算响应的碳足迹 | | `cost_metric` | 估算响应的成本 | > 有关更多示例和高级用法，请参见官方 [Trustwise SDK](https://pypi.org/project/trustwise/)。 ## 📄 许可证 本项目根据MIT开源许可证的条款进行许可。有关详细信息，请参见 [LICENSE](./LICENSE.md)。 ## 🔒 安全 - **请勿提交秘密或API密钥。** - 此存储库是公开的；在推送之前，请检查所有代码和文档以确保没有敏感信息。