Anti-Autoresearch

# 反自动研究 🛡️ [](#社区) · [](#引用) · [](https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep/stargazers) · [](https://arxiv.org/abs/2605.03042) · [](https://huggingface.co/papers/2605.03042) · [](https://mp.weixin.qq.com/s/tDniVryVGjDkkkWl-5sTkQ) · [](https://github.com/VoltAgent/awesome-agent-skills) · [](LICENSE) · [](README_CN.md) <div align="center"> ### 🔬 研究领域已经容忍了不可靠的自动研究太久了 —— Anti-Autoresearch 终于揭露了真相。 ***天下苦自动研究久矣 —— Anti-Autoresearch 替研究者们一眼看穿不靠谱的工作。*** </div> > 🏆 **建立在经过实战检验的基础之上： [ARIS](https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep)** （~12.5k★ · HuggingFace 每日论文 #1 · 7+ 平台上的 78+ 技能）。Anti-Autoresearch 将 ARIS 的生产审计 DNA（实验审计 · 论文声明审计 · 引用审计 · 论证审计）**向外** 扩展 —— 审计第三方提交的内容，而不是自己的。 自动研究已经成为主流，越来越多的内容在评审堆中是机器生成的 —— 而其中很多内容**站不住脚**：表格与文本不符，基线不存在，公开的代码无法重现论文结果。评审者、领域主席和诚实的作者越来越需要**验证**，而不仅仅是怀疑。 > 无论是*谁*或*什么*写了一篇论文，科学是否经得起推敲并反映其自身的证据？Anti-Autoresearch 审计提交内容的一致性和**虚假性**，并生成基于跨度锚点的、适用于评审者的报告。它**不是**一个不透明的 AI 文本分类器（没有作者身份概率，没有“AI 生成”的结论），也不判断不当行为 —— 它揭示了人类评审者应该调查的差异。另外，它在隔离的、**无判决权重**的部分中，以透明的、逐项的**AI 写作风格印象**列表（一个论文可以是完整且可信的，同时列出许多印象，因为评审者会做出反应）。 --- ## 📰 新闻 - **v0.5（2026-06）** — 新增 **AI 写作风格追踪（AIS）** （AI 写作风格印象）：13 个透明的、逐项的写作风格信号（防御性 hedging、LLM 措辞 tics、子句-公式墙、项目符号/粗体 spam、发明的代号、单一风格的图形……）在**单独的、无判决权重的部分**中报告 —— 一个论文可以是完整且可信的，同时列出许多。5 个纯风格模式从 F 家族转移到 AIS。分类法重构为 **46 个完整性模式（A-H）+ 13 个 AIS + 2 个建议**；新的 `/ai-style-impressions` 技能；裁决者现在*可证明*地从判决中排除了零权重发现（回归测试）。这些是透明的印象，绝不是作者身份判决 —— 我们不是一个不透明的 AI 文本分类器。 - **v0.4（2026-06）** — 分类法 v0.4：**8 个家族中的 51 个 hack 模式** —— A. 数值一致性（表内 · 表文 · 增量算术对得上） · B. 方法与范围（说的方法/范围≠实际做的） · C. 基线完整性（基线缺失 · 偏弱 · 不公平） · D. 实验完整性（假 GT · 幽灵结果 · 代码≠数字，需代码） · E. 引用完整性（伪造 · 张冠李戴 · 撤稿） · F. 表现与表面信号（排版 · 文风 · 配图） · G. 证明与推导完整性（漏证 · 循环论证 · 无效推导） · H. 评估设计与有效性（数据泄漏 · LLM 裁判可信度 · 选择性报告，新）。确定性评估门槛从 3→8 个模式（GRIM / GRIMMER / statcheck，以及一个保守的防御性 hedging 密度筛选）；新增 CI、`eval-design-forensics` 技能、`HP-INVENTED-CODENAME` 表面模式和先前艺术认可部分。两个可检查的一致性模式 —— `HP-ACRONYM-DRIFT`（B 家族）和 `HP-UNDEFINED-NOTATION`（G 家族）—— 从“vibe-paper tells”线程中提炼出来，同时拒绝其纯 stylometry 项目（我们不是 vibe 分类器）。 - **v0.1（2026-06）** — 初始发布：用于自动研究/AI 科学家论文的评审端完整性取证。提供证据账本、确定性裁决者和可观察性层级。不是 AI 文本检测器。 ## 🚀 快速开始 ### 代理工作流（正常使用） Anti-Autoresearch 作为 Claude Code 技能工作流运行 —— Python 工具是该工作流内部的确定性支柱，而不是通常的接口。 ```bash # 1) 安装技能 + 工作流（全局，或传递项目的 .claude/skills 目录） git clone https://github.com/wanshuiyin/Anti-Autoresearch.git ./Anti-Autoresearch/tools/install_anti_autoresearch.sh # → ~/.claude/skills # 项目本地：./Anti-Autoresearch/tools/install_anti_autoresearch.sh ./.claude/skills # 2) 连接跨模型评审者（最终状态：Claude Code 暴露 mcp__codex__codex） claude mcp add codex -- codex mcp-server claude mcp list # 3) 审计一篇论文 claude > /anti-autoresearch ~/papers/submission ``` 运行结果会生成 `REPORT.md` + `report.json` + `claims.json` + 每个技能的 `*.findings.json` 进入论文目录。把代码/结果工件与论文放在一起，以解锁 L2 检查；仅限 PDF/源代码运行的设计观察性有限。 ### 零判决权重 — AIS + 建议追踪（已报告，绝不影响判决） 三个技能产生**已报告但对完整性判决具有零权重**的输出 —— 补充报告的非完整性类别：**AIS** 写作风格追踪和**建议**备忘录。它们对人类评审者很重要（风格印象、最坏情况拒绝段落、先前工作重叠），因此报告在它们自己的部分中显示出来 —— 但确定性判决**仅**由 46 个完整性模式驱动。论文可以是`CLEAN_GIVEN_EVIDENCE`，同时列出许多。`/anti-autoresearch` 自动运行它们；要单独运行一个，请先构建账本（下一节），然后像任何审计员一样调用。 | 技能 | 它写入的内容 | |-------|----------------| | `/ai-style-impressions` | *(AIS · 单独的报告部分)* AI 写作风格印象：防御性 hedging、LLM 措辞 tics、子句-公式墙、项目符号/粗体 spam、发明的代号、单一风格的图形 | | `/adversarial-case-builder` | *(备忘录，无判决)* 对手评审者会写的单一最强证据绑定拒绝段落 | | `/novelty-duplication-advisory` | *(备忘录，无判决)* 先前工作重叠：琐碎组合（“缝合 / stapling”）和重复发布候选者，为人类评估而列出 | ### 单个技能使用 每个审计员也是一个独立的技能 —— 安装程序会释放所有这些技能和工作流，因此您可以仅运行您关心的轴。它们共享一个接口，因此请按顺序运行： ```text claude # 1) 构建证据账本 ONCE — 每个审计员都依赖于它。跳过它，任何审计员都会停止： NO_LEDGER: claims.json not found. Run /evidence-ledger FIRST > /evidence-ledger ~/papers/submission # → claims.json + 观察级别（L0/L1/L2） # 2) 然后针对该账本运行任何审计员 → <skill>.findings.json ``` **具有判决力的审计员** — 每个审计员都接受论文目录，读取账本，并提出由确定性裁决者转换为判决的基于跨度的发现（零权重 AIS + 建议技能在上一节中）： | 技能 | 它捕获的内容 | |-------|-----------------| | `/consistency-audit` | 论文与其自身的一致性：膨胀/不匹配的数字、方法与范围的偏移、附录与正文的矛盾 | | `/citation-forensics` | 引用：幻觉参考文献和实际论文被引用为其未做出的声明 | | `/baseline-comparison-audit` | 缺失/弱/失调的基线，隐藏在“SOTA”或“优于”声明背后 | | `/experiment-forensics` | *(L2 — 需要代码+结果)* 伪造/衍生的真实性、分数自我归一化、幽灵结果、占位符数据、代码输出≠报告的数字 | | `/proof-derivation-forensics` | *(L1 — 需要 LaTeX 源代码)* 书写证明：跳过义务、循环、无效步骤、符号偏移、走私假设 | | `/eval-design-forensics` | 评估的有效性：训练/测试泄漏、冲突或未经验证的 LLM 评估指标、选择性报告（放弃条件/切换指标） | | `/presentation-signals` | *(上限为`minor` → 至多 SOFT)* 可检查的表面线索：重复表格、遗留的管道/模板字符串、LLM 生成的图形、页面填充 — 上下文，绝不判决 | 单个技能**仅提出**基于跨度的发现 — 它绝不返回判决。要获得一个，请将发现提供给确定性裁决者（下一个部分中的 `python3 tools/adjudicate_findings.py … --ledger …` 命令）；模型绝不评分。两个注意事项：`consistency-audit`、`presentation-signals` 和 `ai-style-impressions` 也会写入一个 `*.deterministic.findings.json`（无需跨模型评审者）；并且 **`/anti-autoresearch`** 在一次运行中运行上述所有审计员，添加摄入（arxiv-id / pdf → 工作目录 + `pdftotext`）、自动可观察性、审计员自动选择和最终的跨维度判决 + `REPORT.md`。 ### 确定性核心（CI / 离线 / 零依赖） 这绕过了代理层，仅使用经过评估测试的确定性检查 — 在 CI、回归测试或没有跨模型评审者的环境中使用（Python 3 标准库，无需安装）： ```bash # 证明干净 + 损坏的固定件上的流水线（回归门） python3 eval/run_eval.py # clean / delta_inflate / dup_table / headline_inflate → all PASS # 注入缺陷召回率：100%（7 个确定性模式）· 干净的 FP：无 python3 tests/test_adjudicator.py # 门控单元测试（反斜坡保证） # 或在真实论文上手动运行流水线： python3 tools/build_claim_ledger.py --paper-id mypaper --latex main.tex sections/*.tex \ --observability-level 1 --out claims.json python3 tools/check_numeric_consistency.py --ledger claims.json --out findings.json python3 tools/adjudicate_findings.py --findings findings.json --ledger claims.json \ --paper-id mypaper --observability-level 1 --out report.json --md REPORT.md # --ledger 是必需的：发现必须引用一个逐字账本跨度，否则会关闭到信息。 ``` ## 🎯 为什么存在 机器生成的论文和评审现在在文献中占据了可衡量的份额，而对于评审主席来说，重要的失败很少是 *"这篇文章是由大型语言模型（LLM）写的吗？"* （人类可以写不诚实的论文；LLM可以写诚实的论文）。相反，重要的是：**论文是否自相矛盾，并且是否有证据支持？** 这就是为什么自动研究流程会出错——它们幻想出 *局部* 的一致性：一个摘要中的数字，而表格中没有报告；一个 "16% 的改进"，而运算结果显示只有 6%；一个引用的说法，而被引用的论文从未做出过这样的说法；一种方法被描述为一种方式，而被评估为另一种方式。 这些问题可以在声明的可观察性级别下进行检查。具体来说，分类法 v0.5 命名了 **8 个家族中的 46 个完整性模式** （数值自洽性 · 方法/范围 · 基线完整性 · 实验完整性 · 引用完整性 · 表示/表面信号 · 证明和推导完整性 · 评估设计和有效性）——存储库的 **覆盖词汇**，而不是检测器基准——以及一个 **13 信号的人工智能写作风格印象跟踪（AIS）** ，该跟踪带有 **零判决权重** 。 > **已发货 v0:** 确定性主干和 7 个 ✓-marked 模式（在下面的代表性列表和完整目录中）是 eval-tested；其他 39 个完整性模式是代理层合同（跨模型评审员提出 span-anchored 发现，确定性 adjudicator 评分或降级它们）- 不是捆绑评估检测器声明。 完整的目录，包括检测信号和假阳性案例，位于 [分类法](references/hack-pattern-taxonomy.md)。一个代表性的十个（✓ = 今天由确定性评估门控）： - `HP-NUM-INFLATE` — 摘要说是 85.3%，但表 2 从未超过 84.7%。 ✓ - `HP-DELTA-ERROR` — "16% 改善" 从 73.1% 到 78.0%，实际上是 6.7%。 ✓ - `HP-DUP-TABLE` — 两个表格带有相同的有序编号 — 通常是复制粘贴填充。 ✓ - `HP-METHOD-DRIFT` — 方法部分说 "没有标签"；评估悄悄地使用金标签校准。 - `HP-SCOPE-INFLATE` — "全面" 结果是两个数据集，一个领域，也许一个种子。 - `HP-MISSING-BASELINE` — SOTA 被声称，而明显的近期基线从未出现在表格中。 - `HP-FAKE-GT` — （L2）"参考" 目标是模型输出，然后报告为基本事实。 - `HP-PHANTOM-RESULT` — （L2）一个标题数字指向一个结果文件或指标键，它不存在。 - `HP-PROOF-CIRCULARITY` — （L1）"证明" 重述了声明，以不同的词语代替，并称其完成 — 它什么也没证明。 - `HP-CITE-HALLUC` — DOI / arXiv id / 场地 / 作者列表根本不存在。 <details> <summary><b>… 其他 36 个完整性模式 + 13 个 AIS 印象，完整</b></summary> **A · 数值自洽性** - `HP-AGG-DRIFT` — 他们写的是 "种子均值"，但数字实际上是最佳种子。 - `HP-DENOM-DRIFT` — 一个表格平均所有任务；结论悄悄地使用适用子集。 - `HP-UNIT-DIR-MISMATCH` — 积分静默地变成百分比，或较低的更好指标被向上庆祝。 - `HP-CAPTION-MISMATCH` — 字幕承诺 N=5 和方法 B；情节显示两者都没有。 - `HP-APPENDIX-CONTRA` — 附录重新运行相同的数量，并与正文不一致。 - `HP-GRANULARITY-IMPOSSIBLE` — "500 个项目上的 84.7%" 在算术上是不可能的 — 没有整数 k/500 接近它（GRIM）。 ✓ - `HP-VARIANCE-IMPOSSIBLE` — 报告的 SD 大于有界指标在该均值时可能具有的 SD（例如，SD 18% 在均值 98% — 上限 ≈15.7%）。 ✓ - `HP-STAT-INCONSISTENCY` — 报告的 p 值与其自身的测试统计量相矛盾，并高估了显著性（"z=1.10, p=.036" → 实际上 p≈.27）。 ✓ **B · 方法和范围** - `HP-ABLATION-ATTRIB` — 他们为组件 X 赋值，但每次消融都将 X 与 Y 捆绑在一起。 - `HP-THEOREM-SCOPE-DRIFT` — 摘要出售一个通用定理；假设实际上做了几乎所有工作。 - `HP-ARGUMENT-CHAIN-BREAK` — 一个实质性的缺失环节：动机的问题不是方法解决的问题，或者实验测量的是机制无法预测的东西。 - `HP-CAUSAL-EVIDENCE-LEAP` — 因果/等价关系是在没有论文实验实际变化或测试的情况下得出的结论。 - `HP-RESOURCE-IDENTITY-MISMATCH` — 命名的数据集/模型/基准测试被描述为与其公共记录相矛盾的属性（"ImageNet-1k, 5,000 类" — 它是 1,000）。 - `HP-ACRYONM-DRIFT` — 相同的负载承载组件/术语在论文中获得两个不兼容的名称或缩写扩展。 **C · 基线完整性** - `HP-WEAK-BASELINE` — 新方法获得调优和计算，而基线根本没有。 - `HP-SIG-OVERLAP` — 以微小优势 "优于"，误差条重叠或没有显示种子。 **D · 实验完整性** （需要代码/结果 — L2） - `HP-SELF-NORM` — （L2）分数接近 1.0，因为它除以模型自己的最大值。 - `HP-DEAD-METRIC` — （L2）存在一个指标函数，但没有调用站点和结果，但仍被讨论。 - `HP-SUSPICIOUS-REGULARITY` — （L2）行以可疑的干净偏移量不同 — 在调用它之前检查文件。 - `HP-PLACEHOLDER-DATA` — （L2）发布的代码仍然提供占位符/虚拟/假数据以提供报告的数字或图表。 - `HP-RESULT-ARTIFACT-MISMATCH` — （L2）发布的代码/工件在运行时产生的结果与论文中的数字不同。 - `HP-MISSING-REPRO-ARTIFACT` — （L2）实证论文发布了代码或其结果依赖的提示/配置。 **E · 引用完整性** - `HP-CITE-CONTEXT` — 真实论文，错误任务：被引用为一个它明确不做出的声明（包括语义幻觉 + 支持/对比/提及意图标签）。 - `HP-CITE-RETRACTED` — 一个负载承载的引用被解决为一个 **撤回** 的论文，但没有撤回的注释（Crossref / Retraction Watch）。 **F · 表示和表面信号** （上限为 `minor` — 永远不是判决） - `HP-THIN-FLOAT` — 一个 "广泛的实证研究" 竟然只有两个表格和一个孤独的图表。 - `HP-LLM-FIGURE` — "图表" 是装饰性模型艺术，而不是图表或真正的图表。 - `HP-PAGE-PADDING` — 大小浮动，重复文本或空散文进行页面计数工作。 - `HP-PIPELINE-ARTIFACT` — 剩余的流水线/模板字符串（"作为 AI 语言模型"， "重新生成响应"， "[插入 X]"）存活到成品文本。 ✓ （精确匹配，低 FP） **G · 证明和推导完整性** （L1 判决 - 来自书面数学） - `HP-PROOF-OBLIGATION-GAP` — （L1）一个必需的引理/案例/转换被跳过，并在 "显然" 跨越实际差距。 - `HP-DERIVATION-INVALID` — （L1）代数/概率/微积分步骤不正确（应用不当的不等式，错误限制）。 - `HP-SYMBOL-SEMANTIC-DRIFT` — （L1）符号/运算符/不等式方向在定义，公式和证明之间改变含义。 - `HP-ASSUMPTION-SMUGGLE` — （L1）证明依赖于一个假设（独立性，凸性...），定理陈述从未列出。 - `HP-UNDEFINED-NOTATION` — （L1）一个负载承载的符号用于关键方程/证明但从未定义且无法从标准惯例推断。 **H · 评估设计和有效性** （L0/L1 陈述 → L2 确认） - `HP-EVAL-LEAKAGE` — 训练/测试泄漏（预处理前分割，跨分割重复，时间泄漏，预训练污染）意味着分数可能无法衡量泛化。采用 Kapoor–Narayanan 泄漏分类法。 - `HP-JUDGE-VALIDITY` — 负载承载的指标是 LLM 评判者，它 **冲突** （与比较系统属于同一家族）或 **未经验证** （没有人工协议检查）。 - `HP-SELECTIVE-REPORTING` — 设置声明的条件（数据集/基线/指标/种子计数）被结果删除，或者切换指标以支持方法。 **AIS · 人工智能写作风格印象** （零判决权重 - 在单独的部分中报告，从不移动判决；印象，而不是完整性发现） - `AIS-NARRATIVE-ARC-BREAK` — 突然的 1-2¶ 简介/转储式摘要；没有背景 → 贡献 → 证据弧。 - `AIS-LLM-PHRASE-TICS` — LLM 短语特征（"值得注意的是"， "不仅... 而且"，陈词滥调的破折号/分号，华丽的副词）。 - `AIS-DEFENSIVE-HEDGE` — 普遍的 "我们不主张... / 不是 X 而是 Y" 而不是陈述已经完成的内容（确定性密度筛选）。 - `AIS-JARGON-STUFF` — 密集的术语填充，没有周围的内容。 - `AIS-INVENTED-CODENAME` — 未定义的，内部风味的运行/实验代号被用作已定义。 - `AIS-CLAUSE-FORMULA-WALL` — 一个短的从句然后是一堵公式墙，重复，没有连接性散文。 - `AIS-GRATUITOUS-PSEUDOCODE` — 伪代码只是重述散文/没有操作内容。 - `AIS-BULLET-LIST-OVERUSE` — 顺序逻辑扁平化为并行外观的项目符号。 - `AIS-BOLD-MODULE-SPAM` — 冗长的模块名称带有过多的粗体。 - `AIS-RESTATE-OVERCLAIM` — 修辞重复循环（"我们提出一个 X..." 被重复）。 - `AIS-FOCUS-DRIFT` — 高级动机转移到次要实现细节。 - `AIS-SINGLE-STYLE-FIGURES` — 图表共享一个通用的生成的视觉语法。 - `AIS-APPENDIX-DUMPING-GROUND` — 附录读起来像一个未集成的 AI 跟踪转储。 </details> **这不是假设的。** 从 NeurIPS 2026 周期的公共评审账户中转述（说明性，而不是引用），一个批次几乎一对一地映射到存储库编码的分类法： > - *论文 1* — "数据表与文本不匹配；几行数据对齐错误；看起来不像是实际运行的。" → 一致性 · `HP-SUSPICIOUS-REGULARITY` > - *论文 2* — "两个表格填满一页且相同；一个图表是 LLM 生成的；而且它 *仍然* 没有填满 9 页。" → `HP-DUP-TABLE` · 表示信号 > - *论文 3* — "公式推导不成立；实验看起来完整但数学无法得出这些结果。" → 证明-推导取证 · `HP-DERIVATION-INVALID` > - *论文 4* — "开源，写得很好，画得很好 — 但我运行了代码，它给出的结果与论文完全不同。" → 实验取证（L2） 第四个案例是存储库在一行中的论文：**表面抛光不是完整性。** ## 🔒 如何保持诚实（反"LLM-slop"设计） 对任何此类工具的明显驳斥是 *"一个 LLM 评判另一个 LLM 的论文只是噪音。"* 三个结构性防御，而不是免责声明： 1. **证据账本。** 一次确定性传递将论文转换为 `claims.json` — span-anchored, hashed 声明。每个发现必须引用 `claim_id` + 原文。 **没有 span → 它不能是一个高严重性发现。** 2. **LLM 从不评分。** 审计师 **提出** 发现；一个 **确定性 adjudicator** （`tools/adjudicate_findings.py`，纯规则）计算判决。相同的发现 → 相同的判决，没有模型在最终决策中。 3. **可观察性级别。** 运行声明它看到了什么（L0 仅 PDF → L2 存储库+结果）；需要代码的发现 **自动降级** 在仅 PDF 运行。你永远不能从 PDF 大喊 "欺诈"。参见 [references/observability-levels.md](references/observability-levels.md)。 **表面信号和人工智能写作风格印象有防火墙。** 家族-F 表面告诉（重复表格，LLM 生成的图表，页面填充，剩余的流水线字符串）仅作为 **高假阳性上下文** 报告； adjudicator 硬上限为 `minor` （`SURFACE_ONLY_SKILLS` / `SURFACE_PATTERNS`），因此它们最多达到 `SOFT_FLAGS`。纯 **人工智能写作风格印象** （AIS 跟踪 — 防御性对冲，LLM 短语特征...）更进一步：它们带有 **零判决权重** — 强制为 `info`，从 `overall_verdict` / 计数 / 维度中排除，并在单独的 "NOT integrity" 部分中呈现。论文可以是 `CLEAN_GIVEN_EVIDENCE`，同时列出许多。两个上限都在代码中强制执行（ `_is_zero_weight` + 仅限权重 1 的判决在 `tools/adjudicate_findings.py` 中），而不仅仅是承诺 — 并且经过回归测试。 和一个 **评估套件** （`eval/`）证明确定性核心在干净的 + 合成损坏的固定装置上 — 测量的假阳性率/召回率，而不是氛围。 ## 🏗️ 架构 ``` 输入（pdf | pdf+latex | pdf+repo+results） │ ▼ [证据账本] artifact_manifest.json (+ 可观察性级别) + claims.json ← 确定性 │ ▼ 审计器分发（每个读取账本，发出 span-anchored 发现）： 一致性审计 旗舰 · 论文 vs 自身 · ARIS 论文声明审计 引用取证 存在？ 正确？ 正确上下文？ · ARIS 引用审计 基线比较审计 丢失/弱/失调基线 · ARIS 论文声明审计 实验取证 L2：假 GT / 自我规范 / 幻影 · ARIS 实验审计 证明-推导取证 L1：证明间隙 / 循环性 / 无效步骤 · 有判决 · ARIS 证明检查器 评估设计取证 L0/L1：数据泄漏 / 冲突或未经验证的 LLM 评判 / 选择性报告 表示信号 可检查的表面告诉 · 辅助，限制为小 人工智能风格印象 人工智能写作风格印象 · 零判决权重 · 单独部分 逆向案例构建器 证据绑定备忘录，无判决 · ARIS 杀死论证 新颖性重复建议 先前工作重叠备忘录，无判决 · ARIS 新颖性检查 │ ▼ [adjudicate_findings.py] 规则，而不是模型 → REPORT.md + report.json ← 确定性 ``` | 路径 | 什么 | |------|------| | `skills/` | 十一个审计器/印象技能（LLM 提出发现，span-anchored） | | `workflows/anti-autoresearch/` | 端到端编织器 | | `工具/` | 确定性主干：清单/可观察性导出 · 账本构建 · 数值检查 · 判决裁定 | | `模式/` | JSON 协议：声明 · 发现 · 报告 · 清单 | | `引用/` | hack 模式分类法（核心贡献） · 可观察性级别 · 评审员独立性 · 取证合同 | | `评估/` | 干净 + 合成损坏的固定装置 + 回归测试套件 | | `测试/` | 判决裁定器单元测试（防斜杠不变式） | | `文档/` | 与现有工作的定位 · 限制 | ## ⚠️ 诚实的局限性 - **取证 ≠ 不法行为证明。** 输出是 **人类** 的标记，而不是指控。 - **仅限 PDF（L0）捕获不一致性 + 告诉，而不是所有伪造** - 它无法验证外部真相或运行代码。 - **假阳性存在**（合法的圆整数字，单一种子试点，刻意的范围选择）。因此，层级，假阳性风险标签和评估套件 - 不是二元的“有罪”。 - **分类法是一份活文档。** 敌人知道一个信号就可以绕过它；这是一个安全网，而不是保证。参见 [文档/局限性.md](docs/limitations.md)。 ## 🧬 源自 ARIS 的传承 [**ARIS — 自动睡眠研究**](https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep) 是一个 AI 研究代理技能平台，它运行端到端的研发流程（文献 → 想法 → 实验 → 论文） — **并带有完整性防护**，这使其成为审计员的可信赖基础： - 🛡️ **三层审计栈** 保持 ARIS 自身输出的诚实：`实验审计`（假 GT / 评分标准化 / 幻影结果），`结果到声明`（声明在科学上是否支持？），以及零上下文`论文声明审计` + `引用审计`（报告的数字和引用是否成立？）。Anti-Autoresearch 就是这些相同的审计 **指向输出**。 - 🔬 **跨模型对抗性评审** 是核心教义：执行器和评审员必须是不同的模型家族，因此永远不会有 LLM 评判自己的输出。Anti-Autoresearch 继承了这一点，并且强化了它 — 在这里，模型只 **提出** 发现；确定性 adjudicator 做出决定。 **同一枚硬币的两面。** ARIS 是如何 **负责任地** 进行自动研究的；Anti-Autoresearch 是如何标记 **未进行** 自动研究的。生成器发布自己的审计栈，精确地知道这些管道如何失败 — 因为它从内部设计了那些失败。 这就是存储库带来的视角。 👉 **ARIS 主存储库**：https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep **技能图谱如何** — Anti-Autoresearch 的技能是 ARIS 的审计技能，复制并重新定义为 **第三方审计未知提交** 而不是作者检查自己的工作：`一致性审计` ← `论文声明审计`，`实验取证` ← `实验审计`，`引用取证` ← `引用审计`，`基线比较审计` ← `论文声明审计`，`证明-推导取证` ← `证明检查器`，`对抗案例构建器` ← `杀死论证`，`新颖性-重复建议` ← `新颖性检查`，以及新的 `证据账本` 主干，`表示信号`，`评估设计取证`，以及权重为零的 `人工智能风格印象`（AIS 跟踪）。 ## 🤝 前沿研究与致谢 Anti-Autoresearch的设计借鉴了许多前沿研究的思想和分类结构，我们在此明确致谢。<br>**分类和思想经过改编并给予了相应的致谢；没有外部代码被直接使用** —— 对于GPL/AGPL许可的工具，我们重新实现了论文中描述的方法，而不是直接复制其源代码；对于专有工具，我们仅致谢其概念。 **确定性自洽性（最接近的方法学亲缘）。** - **statcheck** — Nuijten & Epskamp. 重新计算报告的NHST *p*-值；典型的"论文自检"。<br>*(GPL-3 — 方法在论文中重新实现，源代码未直接使用。)* 影响了 `HP-STAT-INCONSISTENCY`。 - **GRIM / GRIMMER** — Brown & Heathers（GRIM）；Anaya（GRIMMER）。测试报告的均值/标准差是否在给定的样本大小下算术上可能。<br>影响了 `HP-GRANULARITY-IMPOSSIBLE` / `HP-VARIANCE-IMPOSSIBLE`。 - **scrutiny** — Jung. 一个R工具包，封装了GRIM/GRIMMER风格的一致性测试。<br>*(MIT.)* 这些启发了分类家族A（数值自洽性）；`tools/check_stat_consistency.py`是一个独立的、纯标准库的实现。 **评估完整性与LLM评判有效性（模型为何从不评分）。** - **Leakage taxonomy** — Kapoor & Narayanan， *Leakage and the Reproducibility Crisis in ML-based Science*。计划的家族-H评估完整性模式的主要参考。 - **LLM-as-judge有效性** — Zheng等（评估LLM作为评判者），Panickssery等（评估者偏爱自己的生成结果），Wang等（立场/身份偏差）。<br>正是由于这些，我们的仲裁者是**确定性**的，而模型仅提出发现。 - **"Show Your Work"** — Dodge等。报告卫生学科背后的*计划*选择性报告检查。 **引用与声明完整性。** - **Retraction Watch** — retract-record项目；引用状态意识的概念基础。 - **Problematic Paper Screener** — Cabanac, Labbé, Magazinov. 大规模筛查特征字符串； `HP-PIPELINE-ARTIFACT`的基础。 - **scite** — 支持/对比引用上下文。<br>*(专有 — 概念致谢；影响HP-CITE-CONTEXT.)* - **SciFact** — Wadden等。科学声明验证数据集/模型，声明-证据框架的背后。<br> - **Fabricated-citation taxonomy** — Ansari。影响了 `HP-CITE-HALLUC` / `HP-CITE-CONTEXT`。 **可复制性检测** （前沿研究用于*计划*的L2可复制模式 — 尚未实现）。 - **ODDPub** — Riedel等。检测开放数据/开放代码声明。<br>*(AGPL-3 — 概念/方法先例；没有代码直接使用；任何实现将是独立的。)* - **RTransparent** — Serghiou等。大规模数据/代码共享透明度检测。<br>*(GPL-3 — 同上。)* - **SciScore** — 自动方法严谨性/可复制性检查。<br>*(专有 — 仅概念致谢。)* **作者端自我审计（评估，范围限定）。** - **academic-integrity-skill** — 1anj。一个作者端的、湿实验室/生物医学自我审计技能（图像法医重）。我们评估了其非图像确定性筛查 — 原始数据终端数字/完全复制法医（最后数字/Benford传统）和报告-vs-源协调 — 并未采用作为检查：数字法医需要原始样本表格，我们的审查端层级很少看到，而报告-vs-源重叠家族D。<br>*(MIT.)* Anti-Autoresearch自身的贡献不是这些检查中的任何一个，而是将它们**组合**成一个特定的、针对自动研究的分类，并在确定性仲裁和明确的可观察性层级下（参见 [docs/positioning.md](docs/positioning.md)）。 ## 🔭 相关项目 Anti-Autoresearch与邻近工具的关系（星标/最近更新截至2026-06-27；非排名）。 | 项目 | ★ | 更新时间 | 与Anti-Autoresearch的关系 | |---------|---|---------|-------------------------------| | [SakanaAI/AI-Scientist](https://github.com/SakanaAI/AI-Scientist) | 14.1k | 2025-12 | 我们审计其输出的生成器 — 此仓库构建的管道类别。 | | [karpathy/autoresearch](https://github.com/karpathy/autoresearch) | 88.8k | 2026-03 | 我们审计其输出的生成器；失败表面的命名来源。 | | [scienceverse/metacheck](https://github.com/scienceverse/metacheck) | 45 | 2026-06 | 最接近的表亲：模块化确定性论文检查。<br>我们添加了自动研究分类 + 可观察性层级 + 跨模型提案。 | | [MicheleNuijten/statcheck](https://github.com/MicheleNuijten/statcheck) | 189 | 2026-03 | 确定性自洽性（NHST *p*-值） — 狭窄，但确切符合我们的精神；影响家族A。 | | [lhdjung/scrutiny](https://github.com/lhdjung/scrutiny) | 8 | 2026-05 | GRIM/GRIMMER一致性测试（R）；相同的确定性自洽性家族。 | | [allenai/scifact](https://github.com/allenai/scifact) | 265 | 2023-10 | 声明验证与证据 — 声明-证据框架，用于外部文献而非论文本身。 | | [DEFENSE-SEU/FactReview](https://github.com/DEFENSE-SEU/FactReview) | 70 | 2026-06 | 最接近的**框架**邻居：一个LLM审查器，审计实证声明但**不**做出接受/拒绝的决定。<br>不同之处在于基于外部文献 + **执行仓库**（我们拒绝的L3操作）和模型生成的声明状态 — 而是我们确定性自洽性 + 可观察性分类。<br>*(AGPL-3.0)* | | [1anj/academic-integrity-skill](https://github.com/1anj/academic-integrity-skill) | 51 | 2026-05 | 最接近的**姐妹技能**，镜像立场：一个作者端的湿实验室/生物医学自我审计技能（图像法医重 — 斑点/显微镜/流动，我们排除）。<br>作者在提交前自我检查，与我们审计第三方自动研究输出相对应；其数值/引用筛查在作者的原始数据表格上运行，而非审查端PDF/LaTeX。<br>*(MIT)* | | [ahans30/Binoculars](https://github.com/ahans30/Binoculars) | 390 | 2024-05 | AI文本检测器 — **我们不是**：它回答“这是否由LLM编写？”，一个与完整性正交的问题。 | | [baoguangsheng/fast-detect-gpt](https://github.com/baoguangsheng/fast-detect-gpt) | 414 | 2026-02 | AI文本检测器 — 相同的边界；文体学 ≠ 完整性。 | 一些与框架相关的努力**没有开放仓库**，仅凭名称致谢：Pangram、GPTZero和Problematic Paper Screener。 <a id="community"></a> ## 💬 社区 **分类随着社区的发展而增长。** 发现了自动研究/AI-Scientist论文采用了[模式目录](references/hack-pattern-taxonomy.md)中尚未收录的技巧？这是最有价值的贡献 — 开一个问题，提供具体的例子，或发送一个包含评估装置和假阳性案例的PR，以避免过度触发。新审计员技能、仲裁门和腐败装置同样受欢迎。<br>**[CONTRIBUTING.md](CONTRIBUTING.md)** 解释了如何构建模式以及每个标志必须遵循的诚实规则（描述可检查的差异，从不推断不端行为或作者身份）。 加入微信群（与[ARIS](https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep)社区共享）以交流自动研究失败模式： <p align="center"> <img src="docs/wechat_group.jpg" alt="微信群二维码（与ARIS社区共享）" width="300"> </p> *（群二维码每周轮换 — 如果过期，请开一个问题，我们会发布新的二维码。）* <a id="citation"></a> ## 📖 引用 Anti-Autoresearch **源自ARIS** 并重用了其审计DNA。如果此仓库对您的研究/论文/评论有帮助，请引用ARIS方法论论文： ```bibtex @article{yang2026aris, title={ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration}, author={Yang, Ruofeng and Li, Yongcan and Li, Shuai}, journal={arXiv preprint arXiv:2605.03042}, year={2026} } ``` ## ⚖️ 许可证 MIT — 见 [LICENSE](LICENSE)。