awesome-ai-agent-governance

# 精彩的 AI 代理治理 [](https://awesome.re) [](https://github.com/systempromptio/awesome-ai-agent-governance/blob/main/CONTRIBUTING.md) [](https://github.com/systempromptio/awesome-ai-agent-governance/commits/main) > 最权威的 AI 代理治理工具、框架、标准和资源精选列表。 调用工具、编写代码、查询数据库和执行操作的 AI 代理需要与任何其他涉及生产基础设施的系统一样受到控制：身份验证、授权、审计跟踪、成本控制、策略执行和合规证据。 **范围：** AI 代理的运行时治理 — 策略执行、审计跟踪、访问控制、成本管理、合规工具和代理安全。不包括 AI 安全研究、对齐理论或一般负责任的 AI 伦理。 **为什么现在：** 欧盟 AI 法规的执行时间表已经启动，NIST AI RMF 已准备好投入使用，OWASP Agentic AI Top 10 文档了真实的攻击模式。Claude Code、Copilot、Cursor 和自主代理框架现在是企业软件团队的标准工具。治理不再是可选的。 贡献欢迎。 --- ## 目录 - [为什么治理很重要](#为什么治理很重要) - [国际标准](#国际标准) - [监管框架](#监管框架) - [行业标准和指南](#行业标准和指南) - [开源治理工具包](#开源治理工具包) - [免费治理工具](#免费治理工具) - [企业治理解决方案](#企业治理解决方案) - [Claude Code 和 MCP 治理](#claude-code-和-mcp-治理) - [策略引擎和授权](#策略引擎和授权) - [审计、可观察性和成本控制](#审计-可观察性和成本控制) - [安全、红队和威胁模型](#安全-红队和威胁模型) - [模型和数据治理](#模型和数据治理) - [代理架构模式](#代理架构模式) - [政府和机构指南](#政府和机构指南) - [学习资源](#学习资源) --- ## 为什么治理很重要 具有工具访问权限的 AI 代理的运行范围与权限范围不佳的 IAM 角色相同。它们可以读取不应该读取的文件、调用不应该调用的 API、产生无限制的成本并采取不可逆转的操作 — 所有这些都没有治理层。 提示注入导致代理执行攻击者控制的指令，通过不受信任的工具输出。过度的代理权限允许代理采取超出其预期范围的操作。无限制的成本出现在代理循环或调用昂贵的 API 而没有预算控制时。审计空白意味着当出现问题时，没有记录代理执行了什么或为什么。欧盟 AI 法、ISO 42001 和 NIST AI RMF 要求有文档记录的治理证据。 一个受管制的代理以最小特权工具访问运行，具有不可篡改的审计跟踪、预算执行和在任何不可逆操作之前触发的策略检查。 --- ## 国际标准 - [ISO/IEC 42001:2023](https://www.iso.org/standard/81230.html) - AI 管理系统的国际标准。规定了建立、实施、维护和持续改进组织内 AI 管理系统的要求。可认证。 - [ISO/IEC 23053](https://www.iso.org/standard/74438.html) - 使用机器学习的 AI 系统框架。定义了关键概念、组件和生命周期阶段。 - [ISO/IEC 23894](https://www.iso.org/standard/77304.html) - AI 风险管理的指南。ISO 42001 的配套文件，用于实施风险流程。 - [ISO/IEC TR 24028](https://www.iso.org/standard/77608.html) - AI 可信度的概述。涵盖准确性、鲁棒性、可靠性、安全性、安全性和隐私性。 ## 监管框架 - [欧盟人工智能法案](https://artificialintelligenceact.eu/) - 欧盟法规，按风险等级对 AI 系统进行分类，对高风险系统有强制性要求。通用 AI 模型义务于 2025 年 8 月生效。2026 年全面实施。 - [NIST AI 风险管理框架](https://www.nist.gov/artificial-intelligence/ai-risk-management-framework) - NIST 的自愿性 AI 风险管理框架。四个功能：治理、映射、衡量、管理。广泛采用为美国企业治理基准。 - [NIST AI RMF Playbook](https://airc.nist.gov/Docs/2) - 实际实施指南，映射每个 AI RMF 子类别到建议的行动、结果和衡量方法。 - [关于安全、可信和值得信赖的 AI 的行政命令 14110](https://www.federalregister.gov/documents/2023/11/01/2023-24283/safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence) - 美国联邦对 AI 安全测试、红队和前沿模型披露的要求。 - [AI 权利法案蓝图](https://www.whitehouse.gov/ostp/ai-bill-of-rights/) - 白宫关于影响美国人的 AI 系统的原则。非约束性，但对采购要求有影响。 - [英国 AI 安全研究所](https://www.gov.uk/government/organisations/ai-safety-institute) - 英国政府机构，负责评估先进 AI 模型的安全性。发布评估方法和结果。 ## 行业标准和指南 - [OWASP 大型语言模型应用 Top 10](https://owasp.org/www-project-top-10-for-large-language-model-applications/) - LLM 驱动应用的十大关键安全风险：提示注入、不安全输出处理、训练数据中毒、模型拒绝服务和供应链漏洞。 - [MITRE ATLAS](https://atlas.mitre.org/) - AI 系统的对抗威胁景观。战术、技术和针对 ML 和 AI 系统的攻击的真实案例研究，以 ATT&CK 为模型。 - [MITRE ATT&CK for AI](https://attack.mitre.org/) - 机器学习攻击技术映射到 ATT&CK 框架，以集成现有的威胁情报计划。 - [云安全联盟 AI 安全倡议](https://cloudsecurityalliance.org/research/topics/artificial-intelligence/) - 企业关于 AI 安全、治理和信任的指南。包括 AI 控制矩阵和评估工具。 - [ENISA AI 威胁景观](https://www.enisa.europa.eu/topics/artificial-intelligence-cybersecurity) - 欧盟网络安全局关于 AI 特定威胁、风险评估和欧盟组织指南的报告。 - [CISA 安全 AI 开发指南](https://www.cisa.gov/topics/artificial-intelligence) - 美国网络安全和基础设施安全局关于安全 AI 系统开发和部署的指南。 - [Anthropic 模型规范](https://www.anthropic.com/research/model-spec) - Anthropic 的 Claude 行为规范，包括操作员/用户信任等级、可纠正性和对治理层的遵从。 --- ## 开源治理工具包 - [systemprompt-template](https://github.com/systempromptio/systemprompt-template) - Claude Code 和 MCP 代理的自托管治理层。身份验证、授权、审计跟踪、成本控制和策略执行在一个编译的 Rust 二进制文件中。源代码可用 BSL-1.1。 - [CorvinOS](https://github.com/CorvinLabs/CorvinOS) - 自托管代理操作系统，具有哈希链的防篡改审计日志（GDPR 第 30/32 条）、每个用户同意门控（默认拒绝）、欧盟 AI 法案第 50 条机器人披露和 GDPR 第 17 条擦除协调器 — 所有这些都是作为负载承载架构约束。`pip install corvinos`。Apache-2.0。 - [微软代理治理工具包](https://github.com/microsoft/agent-governance-toolkit) - 跨 LangChain、CrewAI、AutoGen、OpenAI 代理、Semantic Kernel 和 15 多个框架的 AI 代理运行时安全。涵盖 OWASP Agentic Top 10 的所有 10 种风险，策略评估时间小于 0.1 毫秒。 - [OpenFirma](https://github.com/Firma-AI/openfirma) - 自主 AI 代理的调用级强制边界。拦截每个出站调用（HTTPS、系统调用、浏览器自动化）并在执行前评估 Cedar 策略。完全确定性，无需 SDK 集成，代理永远不会持有凭证。 - [开放策略代理](https://github.com/open-policy-agent/opa) - 使用 Rego 语言的云原生通用策略引擎。将策略与应用逻辑分离；越来越多地用于代理工具授权。 - [Cedar](https://github.com/cedar-policy/cedar) - AWS 策略语言和引擎，用于细粒度授权。正式验证的语义、表达性语法和高吞吐量，用于每个请求的代理权限决策。 - [Casbin](https://github.com/casbin/casbin) - 支持 ACL、RBAC、ABAC 和多租户模型的访问控制库。语言无关，具有 Go、Rust、Python、Java 和 Node.js 的生产实现。 - [Kakunin](https://github.com/nqzai/kakunin-core) - AI 代理的合规性和身份基础设施。为每个代理颁发 X.509 证书，根据滚动基线强制执行每个代理的操作范围，评估行为并在风险超过阈值时自动吊销凭证，具有防篡改审计跟踪，适用于 MiCA 和欧盟 AI 法案。平台 AGPL-3.0；SDKs Apache-2.0。 - [LiteLLM](https://github.com/BerriAI/litellm) - LLM API 调用的代理层，具有每个密钥的预算、速率限制、支出跟踪和跨所有主要提供商的模型路由。 - [hummbl-governance](https://github.com/hummbl-dev/hummbl-governance) - Python 包，具有 34 个 AI 代理运行时治理原语：杀死开关、断路器、成本治理、委托令牌、只追加审计日志、身份注册和到外部控制框架的工程映射。零第三方运行时依赖；`pip install hummbl-governance`。Apache-2.0。 - [Guardrails AI](https://github.com/guardrails-ai/guardrails) - LLM 响应的输入和输出验证框架。定义模式、验证器和自动纠正操作，在推理时强制执行结构和安全约束。 - [MAREF](https://github.com/maref-org/maref) - 开源代理治理操作系统，具有 TLA+ 正式验证、10 状态 Gray Code 治理状态机、每个代理的 Ed25519 身份、具有 HALT 吸收状态的断路器和 LoRA/本体双漂移检测。涵盖 OWASP Agentic Top 10 风险的 10/10。Apache 2.0。 - [NeMo Guardrails](https://github.com/NVIDIA/NeMo-Guardrails) - NVIDIA 的工具包，通过 Colang 配置语言为 LLM 驱动的系统添加可编程的防护栏。 - [AgentLock](https://github.com/webpro255/agentlock) - AI 代理工具调用的预操作授权。默认拒绝门控，具有五种决策类型、会话级行为评分、Ed25519 签名收据和哈希链审计。发布的对抗性基准和回归数据。 - [LlamaGuard](https://github.com/meta-llama/PurpleLlama/tree/main/Llama-Guard3) - Meta 的开源内容安全模型，用于根据安全策略对 LLM 输入和输出进行分类。 - [Presidio](https://github.com/microsoft/presidio) - 微软的 PII 检测和匿名 SDK。在 LLM 或审计日志到达之前识别和删除文本中的敏感数据。 - [ThumbGate](https://github.com/IgorGanapolsky/ThumbGate) - AI 编码代理的本地优先 PreToolUse 强制引擎。在工具调用执行前运行在代理的钩子系统中，以阻止机密数据外泄、破坏性删除和供应链攻击。将负反馈转换为自动提升的预防规则。与 Claude Code、Cursor、Codex、Gemini CLI、Amp、Cline 和 OpenCode 配合使用。MIT 许可，可通过 npm 安装。 --- ## 免费治理工具 交互式工具，回答常见的治理问题，无需注册。每个工具也可以通过 HTTP 由 AI 代理调用（`POST /api/v1/tools/{tool}/run` 并带有 `X-Agent-Id` 头），因此工程师在浏览器中运行的检查与在 CI 或编码代理内部运行的检查相同。 - [欧盟 AI 法案风险分类器](https://systemprompt.io/tools/eu-ai-act-risk-classifier) - 遍历附件 III 决策树并返回系统的风险类别（禁止、高风险、有限、最小）以及适用的具体文章。确定性，但不是法律建议。 - [CLAUDE.md 评分器](https://systemprompt.io/tools/claude-md-scorer) - 根据结构化评分标准对 CLAUDE.md 进行评分，并报告缺少的内容。可在 CI 中使用，以防止代理指令降低。 - [llms.txt 生成器和验证器](https://systemprompt.io/tools/llms-txt-generator) - 生成或检查 llms.txt，以便 AI 爬虫和代理获取网站的机器可读索引。 - [GitHub Actions 权限生成器](https://systemprompt.io/tools/github-actions-permissions) - 为工作流生成最小权限 `permissions:` 块，而不是默认的 write-all 令牌。 - [AI 投资回报率计算器](https://systemprompt.io/tools/ai-roi-calculator) - 使用明确的假设模拟 AI 投资回报率，为治理预算提供商业案例。 - [systemprompt.io 报告 MCP 服务器](https://systemprompt.io/tools/eu-ai-act-compliance-report) - 付费远程 MCP 服务器（`https://systemprompt.io/api/v1/mcp/systemprompt-reports/mcp`）返回决策就绪的欧盟 AI 法案合规报告（附件 III 分类、逐条义务差距、附件 IV 检查清单、补救计划）。付费，按次；发现和使用指南免费。 --- ## 企业治理解决方案 - [Certiv](https://certiv.ai/) - AI 代理的端点原生预执行安全和治理层。端点代理在设备上检查代理操作和工具调用，并在执行前强制执行策略，并具有允许和阻止操作的审计跟踪。 - [Credo AI](https://www.credo.ai/) - 全面的 AI 治理平台，涵盖风险评估、合规映射（欧盟 AI 法案、NIST AI RMF、ISO 42001）、模型卡和 AI 生命周期监控。 - [OneTrust AI 治理](https://www.onetrust.com/solutions/ai-governance/) - AI 系统的库存、风险评估和合规控制，嵌入更广泛的数据治理和隐私计划中。 - [Lumenova AI](https://www.lumenova.ai/) - AI 生命周期治理：风险评估、可解释性监控和合规报告，专注于模型透明度和监管证据。 - [Protect AI](https://protectai.com/) - MLSecOps 平台，涵盖模型扫描、供应链安全和 AI 和 ML 系统的运行时保护。 - [Robust Intelligence](https://www.robustintelligence.com/) - AI 安全平台，用于验证模型鲁棒性和检测生产中的对抗性输入。 - [HiddenLayer](https://hiddenlayer.com/) - AI 检测和响应平台。监控 AI 模型以防止对抗性攻击、数据提取尝试和策略违规。 - [Datadog LLM 可观察性](https://www.datadoghq.com/product/llm-observability/) - 生产环境 LLM 应用监控：延迟、成本、质量评分和跟踪捕获，与现有的 Datadog 基础设施集成。 - [Patronus AI](https://www.patronus.ai/) - 生产环境 LLM 自动评估和监控。检测幻觉、毒性、PII 泄露和自定义策略违规。 - [Proofpane](https://proofpane.com) - AI 编码代理和自动化平台的运行时治理网关（Claude Code、Cursor、Codex）。在执行路径中强制执行策略允许/拒绝/人工干预和 DLP 删除，并写入哈希链审计，可以导出为可离线验证的 Ed25519 签名证据包，映射到 NIST AI RMF、ISO 42001、欧盟 AI 法案、GDPR 和 SOC 2。 - [systemprompt.io](https://systemprompt.io) - 自托管 AI 治理基础设施：单个编译的 Rust 二进制文件，在您自己的系统上管理、记录和控制所有 AI 交互，涵盖所有提供商和客户端（Claude、Codex、Gemini 或您自己的代理）。身份验证、授权、审计跟踪、策略执行和提供商网关位于单个 /v1 端点后面。可空隙部署；此部分中唯一一个您完全在自己的基础设施上运行的条目。源代码可用 BSL-1.1 via [systemprompt-template](https://github.com/systempromptio/systemprompt-template)。 ## 克劳德代码与MCP治理 - [systemprompt-core](https://github.com/systempromptio/systemprompt-core) - MCP治理运行时。30个Rust crates的工作空间，处理MCP服务器交互的身份验证、授权、速率限制和日志记录。在`systemprompt-*`下发布到crates.io。 - [awesome-claude-code-security](https://github.com/efij/awesome-claude-code-security) - 关注克劳德代码加固的精选列表：MCP服务器安全、机密扫描、提示注入检测和红队框架。 - [awesome-claude-code](https://github.com/hesreallyhim/awesome-claude-code) - 克劳德代码社区规范列表，涵盖工具、钩子、斜杠命令、代理技能和工作流程。 - [克劳德代码文档](https://docs.anthropic.com/en/docs/claude-code) - Anthropic关于权限模型、CLAUDE.md配置、MCP服务器设置和钩子系统的文档。 - [MCP规范](https://spec.modelcontextprotocol.io/) - 模型上下文协议规范。理解该协议是治理它的前提。 - [Anthropic Cookbook](https://github.com/anthropics/anthropic-cookbook) - 来自Anthropic的参考实现和模式，包括代理架构、工具使用和安全模式。 - [ThumbGate](https://github.com/IgorGanapolsky/ThumbGate) - 基于预工具使用钩子的强制层，在执行前在本地控制克劳德代码的工具调用。硬阻止机密泄露、破坏性删除和供应链攻击。通过捕获的拇指反馈自我改进规则。 --- ## 策略引擎与授权 - [OPA Rego Playground](https://play.openpolicyagent.org/) - 用于编写和测试OPA/Rego策略的基于浏览器的环境，无需本地设置。 - [Cedar Policy Language](https://www.cedarpolicy.com/) - AWS设计的授权语言，具有正式验证的语义。人类可读的语法，用于高吞吐量的每个请求授权决策。 - [Casbin](https://www.casbin.org/) - 多模型访问控制库，支持ACL、带有层次和领域的RBAC、ABAC和RESTful模型，适用于10多种语言。 - [HashiCorp Sentinel](https://www.hashicorp.com/sentinel) - 用于Terraform、Vault、Consul和Nomad的策略即代码框架。适用于由AI代理配置的基础设施治理。 - [AWS Verified Permissions](https://aws.amazon.com/verified-permissions/) - AWS上的托管Cedar策略服务。集中式策略存储，代理操作授权的毫秒级评估延迟。 - [Ory Keto](https://github.com/ory/keto) - 开源权限服务器，实现Google Zanzibar的关系型访问控制模型，用于细粒度代理工具权限。 --- ## 审计、观测性和成本控制 - [HELM AI Kernel](https://github.com/Mindburn-Labs/helm-ai-kernel) - MCP工具调用的决策后、防篡改审计。每个ALLOW/DENY/ESCALATE决策都会产生一份加密签名的收据，捆绑成一个离线可验证的EvidencePack，以便您在日志可变的情况下，证明代理在哪个策略下执行了哪些操作。针对欧盟AI法案第12条和SOC 2证据需求。 - [LangFuse](https://langfuse.com/) - 开源LLM观测性。完整的跟踪捕获，包括跨度、生成、分数和成本。可与LangChain、LlamaIndex、OpenAI和Anthropic SDKs集成，自主托管。 - [Nobulex](https://github.com/arian-gogani/nobulex) - AI代理的加密收据层。Ed25519签名，JCS规范的双边收据（执行前/后），哈希链，独立可验证。符合欧盟AI法案第12条。`pip install nobulex` / `npm install @nobulex/core`。 - [OpenTelemetry](https://opentelemetry.io/) - CNCF分布式跟踪、指标和日志的标准。用于构建代理观测性管道的供应商中立的基础设施。 - [OpenLLMetry](https://github.com/traceloop/openllmetry) - 用于LLM应用的基于OpenTelemetry的仪表盘SDK。使用标准OTel跨度跟踪LLM调用，并与现有的观测性堆栈集成。 - [Helicone](https://github.com/Helicone/helicone) - 开源LLM观测性代理。请求日志记录、成本跟踪、缓存和速率限制，通过单个代理端点。自主托管。 - [Weights and Biases Weave](https://wandb.ai/site/weave) - LLM应用的跟踪和评估，与LangChain、LlamaIndex、OpenAI和Anthropic有强大的集成。 - [Portkey](https://portkey.ai/) - 具有统一API的AI网关，适用于250多种LLM，请求跟踪，语义缓存，负载均衡和预算控制。 - [Tuning Engines](https://www.tuningengines.com/) - AI控制和证据平面，用于模型、MCP、技能和代理流量。提供受控路由、策略决策、审批工作流、成本分析、跟踪摄入和运行时状态引用。 - [Evidently AI](https://www.evidentlyai.com/) - 开源ML和LLM监控。检测数据和模型漂移，生成监控报告，评估LLM输出质量。 - [WhyLabs AI Observatory](https://whylabs.ai/) - AI观测性平台，监控LLM应用的漂移、数据质量问题和生产中的策略违规。 - [CausalLayer MCP](https://github.com/smq9sn5jck-coder/causallayer-mcp) - 确定性AI责任归因引擎，暴露为远程MCP服务器。给定结构化的事件，返回一个CausalCertificateV1：一个签名、哈希链、比特币锚定的收据，分配AI供应商、部署者和终端用户之间的故障。 四因素评分， Shapley启发的多代理归因， 和司法管辖区感知的监管映射（欧盟AI法案，NIST AI RMF，澳大利亚AI伦理）。 --- ## 安全、红队和威胁模型 - [AI事件数据库](https://incidentdatabase.ai/) - 可搜索的700多个已记录的AI系统故障和部署危害的数据库。对于构建现实的威胁模型和风险评估至关重要。 - [Garak](https://github.com/NVIDIA/garak) - NVIDIA的LLM漏洞扫描器。探测部署的模型是否存在提示注入、越狱、数据泄露、幻觉和毒性。 - [PyRIT](https://github.com/Azure/PyRIT) - 微软的Python风险识别工具包，用于自动红队测试生成式AI系统，包括多轮和编排的代理攻击。 - [PromptBench](https://github.com/microsoft/promptbench) - 微软的LLM对抗鲁棒性统一评估框架。在字符、单词、句子和语义级别测试模型对抗对抗提示。 - [promptmap](https://github.com/utkusen/promptmap) - 自动提示注入测试工具。系统地测试LLM集成应用的注入漏洞。 - [Rebuff](https://github.com/protectai/rebuff) - 使用多层防御的提示注入检测器：启发式、基于LLM的检测、VectorDB金丝雀令牌和模型硬化信号。 - [LLM Guard](https://github.com/protectai/llm-guard) - LLM交互的安全工具包，带有输入和输出扫描器，用于提示注入、个人身份信息、毒性和敏感数据。 - [Vigil](https://github.com/deadbits/vigil-llm) - LLM提示注入和安全扫描器。实时检测注入尝试、越狱和敏感关键词模式。 - [awesome-ai-agent-attacks](https://github.com/webpro255/awesome-ai-agent-attacks) - 160多个已记录的AI代理安全事件、泄露和漏洞的精选时间线（2024-2026）。每个条目都有日期、来源和按攻击模式分类。 --- ## 模型和数据治理 - [模型卡](https://modelcards.withgoogle.com/about) - Google的AI模型特征、性能和局限性文档框架。透明模型披露的事实标准。 - [Hugging Face模型卡](https://huggingface.co/docs/hub/model-cards) - Hugging Face Hub上模型卡的实现指南和模板。 - [数据集说明书](https://arxiv.org/abs/1803.09010) - 微软研究院框架，用于记录数据集来源、组成、收集过程和推荐使用。 - [DVC](https://dvc.org/) - 适用于ML数据集和模型的Git-like版本控制。可复制的管道、实验跟踪和训练数据及模型工件的审计轨迹。 - [MLflow模型注册表](https://mlflow.org/docs/latest/model-registry.html) - 集中式模型存储，带有版本控制、阶段转换和审批工作流。 - [SLSA](https://slsa.dev/) - 软件工件的供应链级别，适用于ML模型和训练管道。定义了从基本到密封构建的四个保证级别。 - [Sigstore](https://www.sigstore.dev/) - 软件工件的加密签名基础设施。使模型验证来自受信任的构建过程成为可能。 - [Great Expectations](https://greatexpectations.io/) - 数据质量验证框架。定义训练和推理数据期望，并在数据超出治理边界时发出警报。 --- ## 代理架构模式 - [Anthropic：构建有效的代理](https://www.anthropic.com/research/building-effective-agents) - Anthropic关于安全代理系统的已发布指南：最小化占用、人工干预高风险操作、偏好可逆操作而非不可逆操作。 - [awesome-agentic-patterns](https://github.com/nibzard/awesome-agentic-patterns) - 生产代理模式的精选集合，包括沙盒、凭证管理、人工干预工作流和多代理协调。 - [12-Factor 代理](https://github.com/humanlayer/12-factor-agents) - 12-Factor应用方法的LLM代理适配版。涵盖配置、状态管理、日志记录和代理上下文中的可丢弃性。 - [HumanLayer](https://github.com/humanlayer/humanlayer) - 用于构建AI代理人工干预工作流的SDK。用审批门、审计轨迹和升级路径包装工具调用。 - [Lilian Weng：LLM驱动的自主代理](https://lilianweng.github.io/posts/2023-06-23-agent/) - 代理架构的综合调查，包括规划、记忆、工具使用和监督机制。 --- ## 政府和机构指导 - [NIST AI资源中心](https://airc.nist.gov/) - NIST AI治理资源的中央枢纽，包括AI RMF、TEVV指南和特定行业的剧本。 - [英国NCSC：安全AI系统开发指南](https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development) - 由NCSC（英国）、CISA（美国）、ACSC（澳大利亚）和其他15个国家网络安全机构共同编写。提供有关AI开发生命周期的实用安全指南。 - [谷歌安全AI框架](https://safety.google/cybersecurity-advancements/saif/) - 谷歌的AI系统安全框架，包含六个核心元素，涵盖基础、检测、响应和标准化。 - [OpenSSF AI/ML安全工作组](https://openssf.org/) - 开源安全基金会关于AI和ML供应链安全的 工作组。提供有关保护训练管道和模型工件的指南。 - [人工智能伙伴关系](https://partnershiponai.org/) - 多利益相关者组织，开展有关负责任的AI开发和部署实践的研究和指导。 --- ## 学习资源 - [欧盟AI法案合规检查器](https://artificialintelligenceact.eu/assessment/eu-ai-act-compliance-checker/) - 交互式工具，用于评估特定AI系统是否属于欧盟AI法案义务，并适用哪些要求。 - [Coursera：AI治理专业证书](https://www.coursera.org/professional-certificates/ai-governance) - 实用AI治理计划，涵盖风险评估、政策制定和合规实施。 - [AI治理状态报告](https://www.credo.ai/resources) - 来自Credo AI的年度企业调查，关于AI治理计划的成熟度、常见差距和实施模式。 - [SANS学院AI安全资源](https://www.sans.org/ai-cybersecurity/) - SANS培训和研究，关于AI/ML安全，涵盖对抗性攻击、模型安全和安全部署实践。 - [OWASP LLM AI安全和治理检查清单](https://genai.owasp.org/) - 适用于部署LLM驱动系统的团队的实用检查清单。 --- ## 相关列表 - [awesome-mcp-servers](https://github.com/punkpeye/awesome-mcp-servers) - 综合的MCP服务器实现目录。 - [AwesomeResponsibleAI](https://github.com/AthenaCore/AwesomeResponsibleAI) - 涵盖伦理、标准和监管框架的负责任AI的学术和政策资源。