内容
# MCP-webfetch
通过 SOCKS5 代理抓取网页内容的 MCP 服务器。基于 opencode 官方 webfetch 实现，添加了代理支持。
## 功能
- 通过 `127.0.0.1:10808` SOCKS5 代理获取网页
- 支持格式：markdown（默认）、text、html
- HTML→Markdown 转换（TurndownService）
- HTML→Text 提取（htmlparser2）
- 自动跟进重定向（防循环检测）
- Cloudflare 反爬检测 + 自动重试
- MIME 类型校验（图片/二进制自动拒绝）
- Body 大小限制（5MB）
## 安装
```bash
# 1. 克隆或复制本目录
cd D:\workplace\MCP-webfetch
# 2. 安装依赖（htmlparser2 + turndown）
npm install
```
## 配置 opencode
在 `opencode.json` 中添加：
```json
{
"mcp": {
"webfetch-proxy": {
"type": "local",
"command": ["node", "D:\\workplace\\MCP-webfetch\\webfetch-proxy.js"],
"enabled": true
}
},
"permission": {
"webfetch": "deny"
}
}
```
- **项目级**: 当前目录下的 `opencode.json`
- **全局级**: `~/.config/opencode/opencode.json`
### 禁止内置 webfetch（可选）
在 `permission` 中设置 `webfetch: "deny"`，让 AI 只能使用本 MCP 工具。
```json
{
"permission": {
"webfetch": "deny"
}
}
```
## 配置代理地址
编辑 `webfetch-proxy.js` 顶部：
```js
const PROXY_HOST = "127.0.0.1";
const PROXY_PORT = 10808;
```
## 重启 opencode
每次修改配置后需要重启 opencode 生效。
## 测试
```bash
node -e "
const { spawn } = require('child_process');
const proc = spawn('node', ['D:\\\\workplace\\\\MCP-webfetch\\\\webfetch-proxy.js']);
proc.stdin.write(JSON.stringify({jsonrpc:'2.0',id:1,method:'initialize',params:{protocolVersion:'2024-11-05',capabilities:{},clientInfo:{name:'t',version:'1'}}})+'\n');
setTimeout(() => {
proc.stdin.write(JSON.stringify({jsonrpc:'2.0',id:2,method:'tools/call',params:{name:'webfetch',arguments:{url:'https://httpbin.org/get',format:'text',timeout:5}}})+'\n');
}, 500);
setTimeout(() => { proc.kill(); process.exit(); }, 5000);
proc.stdout.on('data', (d) => { console.log(d.toString()); });
"
```
## 依赖
- `effect` — 函数式运行时（HttpClient、Stream、Effect）
- `htmlparser2` — HTML 解析（文本提取）
- `socks-proxy-agent` — SOCKS5 代理客户端
- `turndown` — HTML→Markdown 转换
