scraperapi-mcp-server

# 抓取API MCP服务器：完整设置指南 - 如何连接Claude、Cursor和Windsurf到实时网页数据，哪个计划值得购买，以及关于积分成本的鲜为人知的事实（附完整定价明细） 你听说过抓取API MCP服务器，现在你想知道：这个东西真的有效吗？如何设置它？哪个计划适合我？让我们一步一步地讲解清楚。 ## 什么是抓取API MCP服务器，为什么你应该关心？ 简而言之：你正在用AI构建某些东西 - Claude、Cursor、你自己的代理循环 - 在某些时候，它需要查看真实的网页。可能需要拉取产品价格、检查搜索结果、抓取文章内容。问题是AI模型无法独立浏览网页，为每个构建的代理定制抓取解决方案非常繁琐。 这正是抓取API MCP服务器填补的空白。 MCP代表模型上下文协议 - 它是Anthropic引入的一个开放标准，允许AI客户端直接与外部数据工具使用一致的接口。您不需要为每个服务编写定制的集成代码，只需在客户端配置中声明一个MCP服务器，您的AI就可以像使用其他功能一样调用其工具。 抓取API MCP服务器将您的LLM客户端转换为可以抓取任何公共网页、运行谷歌搜索、拉取亚马逊产品数据、爬取整个域名，甚至可以解析沃尔玛、eBay和Redfin的结构化数据 - 所有这些都可以通过一个简单的纯语言提示。无需手动代理管理。无需无头浏览器设置。无需CAPTCHA解决方法。 ## 两种模式：远程 vs. 本地 - 哪一个适合你？ 抓取API MCP服务器有两种版本，正确的版本取决于您要执行的操作。 **远程（托管）服务器** - 这需要零本地设置。抓取API在他们的基础设施上运行服务器；您只需将您的客户端指向它。当您的AI客户端需要它时，它会自动启动，您不需要安装Python或Docker。如果您正在使用Claude Desktop或希望在十分钟内完成设置，这就是您要选择的。 **本地（自托管）服务器** - 您自己运行服务器，通过Python或Docker。它为您提供更多控制（自定义速率限制、超时设置、图像大小上限），并且在完全离线或私有环境中工作。您需要Python 3.11+或Docker，但实际安装只需一个`pip install`命令。 对于大多数开发人员来说，一旦您完成了初始测试，本地服务器是更好的选择 - 它更可配置，设置确实只需要两分钟。 ## 如何设置抓取API MCP服务器（一步一步） ### 先决条件 - 抓取API账户和API密钥 - 您可以通过此链接获得[免费7天试用](https://www.scraperapi.com/?fp_ref=coupons) - Python 3.11+（适用于Python安装路径）或Docker - 您选择的AI客户端：Claude Desktop，Claude Code，Cursor，Windsurf，Cline或带有GitHub Copilot的VSCode ### 步骤1：安装MCP服务器包 bash pip install scraperapi-mcp-server 这就是安装的全部内容。 ### 步骤2：配置您的客户端 将以下JSON块添加到客户端的MCP配置文件中，将`<YOUR_SCRAPERAPI_API_KEY>`替换为您的实际密钥： json { "mcpServers": { "ScraperAPI": { "command": "python", "args": ["-m", "scraperapi_mcp_server"], "env": { "API_KEY": "<YOUR_SCRAPERAPI_API_KEY>" } } } } **如果您使用Docker：** json { "mcpServers": { "ScraperAPI": { "command": "docker", "args": [ "run", "-i", "-e", "API_KEY=${API_KEY}", "--rm", "scraperapi-mcp-server" ] } } } ### 步骤3：客户端特定设置路径 | 客户端 | 配置文件位置 | |---|---| | **Claude Desktop** | 设置 → 开发者选项卡 → 编辑配置 | | **Claude Code** | `.claude/settings.json`，或运行：`claude mcp add scraperapi -e API_KEY=... -- python -m scraperapi_mcp_server` | | **Cursor** | 设置 → 工具和集成 → 添加MCP服务器 → 手动 | | **Windsurf** | 设置 → 级联设置 → MCP服务器 → 齿轮图标 → `mcp_config.json` | | **Cline（VS Code）** | Cline面板 → MCP服务器图标 → 配置选项卡 → `cline_mcp_settings.json` | 一旦配置文件到位，您的客户端会在需要时自动启动服务器。 ### 步骤4：可选环境变量 MCP服务器通过环境变量有几个可调设置： | 变量 | 默认值 | 功能 | |---|---|---| | `API_KEY` | *（必填）* | 您的抓取API密钥 | | `API_TIMEOUT_SECONDS` | `70` | 每个请求的超时时间 | | `RATE_LIMIT_MAX_CALLS` | `10` | 速率限制窗口内最大工具调用次数 | | `RATE_LIMIT_WINDOW_SECONDS` | `60` | 速率限制窗口长度 | | `IMAGE_SIZE_LIMIT_BYTES` | `700000` | 最大内联图像大小 | ## 抓取API MCP服务器能做什么？ 这就是有趣的部分。服务器不仅仅是一个“获取此URL”的包装器 - 它公开了一整套功能，您的AI可以直接从自然语言中调用。 ### 核心抓取工具：`scrape` 基础。发送任何公共URL，获取页面内容。可选参数允许您： - 启用**JavaScript渲染** (`render=true`) 以获取React/Vue/Angular应用 - 每个请求额外消耗10积分 - 针对特定**国家** (`country_code`) 获取地理限制内容 - 使用**高级代理** (`premium=true`) 获取中等反机器人保护的网站 - 激活**超级高级模式** (`ultra_premium=true`) 获取最重Cloudflare和DataDome保护的网站 - 选择输出格式：`markdown` （默认）、`text`、`csv` 或 `json` - 使用 `autoparse=true` 将支持的网站解析为结构化数据 您实际上会输入到AI的示例提示： > *"抓取此URL并提取所有产品名称和价格。如果页面使用JavaScript，请启用渲染。"* ### 结构化数据端点（SDEs） 这些直接跳过原始HTML并返回干净的、预解析的JSON。适用于： - **谷歌** - 搜索结果、新闻、职位、购物、地图 - **亚马逊** - 按ASIN的产品详情、搜索结果、卖家报价 - **沃尔玛** - 产品搜索、产品详情、类别列表、客户评论 - **eBay** - 产品搜索和列表详情 - **Redfin** - 待售列表、租赁、搜索结果、代理人资料 每个端点都接受 `country_code`、`tld` 和 `output_format` 参数。对于需要结构化电子商务数据的团队来说，这些功能本身就值得订阅。 ### 异步爬虫 三个工具协同工作以进行全域爬取： - `crawler_job_start` - 从起始URL启动爬取，带有正则表达式过滤器以匹配要跟随的链接、最大深度或信用预算上限 - `crawler_job_status` - 轮询直到作业完成 - `crawler_job_delete` - 取消正在运行的爬取 爬虫作业还支持计划的重复（每小时、每天、每周、每月）和Webhook回调，以便结果可以发送到您需要的位置。 ### AI解析器 从几个示例URL构建可重用的提取模板，然后在无需重写提示的情况下将其应用于任何类似的页面结构。解析器作为一个两阶段的后台作业运行：创建它，等待它完成生成，然后将其指向任何匹配模板的URL。每个解析调用1个积分，它从您提供的示例中学习。 ## 2026年3月MCP更新：有什么变化 抓取API在2026年3月的发布中显著扩展了MCP服务器的功能。以下是一些值得注意的亮点： - **所有结构化数据端点** （谷歌、亚马逊、沃尔玛、eBay、Redfin）现在可以直接通过MCP调用 - 此前这些需要单独的API调用 - **完整的爬虫集成** 已添加，意味着您的代理现在可以在无需离开MCP上下文的情况下自主启动多页面爬虫 - **VSCode + GitHub Copilot** 获得了官方MCP支持，加入了Claude、Cursor、Windsurf和Cline - 新增了 **抓取API MCP技能** - 可通过 `npx skills add scraperapi/scraperapi-skills` 安装 - 为您的代理提供智能指导，告诉它为哪个任务调用哪个工具，自动检测抓取、搜索或爬虫请求的正确方法，并提供成本优化和分页的建议 要获取所有最新功能，只需升级：`pip install --upgrade scraperapi-mcp-server` ## 了解抓取API积分：最重要的一点 这件事往往让人们感到意外。您的计划附带每月积分预算，但并非每次请求都消耗相同数量的积分。 **基于域类型的基准积分成本：** | 域类型 | 每请求积分 | |---|---| | 标准页面（博客、文档等） | 1积分 | | 亚马逊 | 5积分 | | 谷歌/必应（所有子域名） | 25积分 | | LinkedIn | 30积分 | **参数附加项：** | 参数 | 额外积分 | |---|---| | `render=true` （JS渲染） | +10积分 | | `premium=true` | +10积分 | | `screenshot=true` | +10积分 | | `ultra_premium=true` | +30积分 | | `premium=true` + `render=true` 同时 | 25积分总计 | | `ultra_premium=true` + `render=true` 同时 | 75积分总计 | **反机器人绕过附加费：** | 防护系统 | 额外积分 | |---|---| | Cloudflare绕过 | +10积分 | | Cloudflare Turnstile绕过 | +10积分 | | DataDome绕过 | +10积分 | | PerimeterX / Human绕过 | +10积分 | 重要细节：**您只为成功的响应付费** （HTTP 200或404）。如果抓取API无法获取页面，您不会消耗积分。 在承诺某个计划之前，请使用仪表盘中的 **域名乘数工具** 来检查针对您特定的目标URL的实际每请求成本。 100,000积分的Hobby计划实际上可以覆盖100,000个普通博客请求 - 但仅覆盖约6,600个启用JS渲染的亚马逊抓取。 差距很大。 > **快速数学示例**：每月抓取5万个亚马逊产品页面并启用渲染 = 5万 × (5 + 10) = 75万积分。 这将使您稳居创业或商业领域。 ## 抓取API计划：完整比较表 所有计划均包含：JS渲染、高级代理、JSON自动解析、旋转代理池、自定义标头、CAPTCHA/反机器人绕过、自定义会话、自动重试、无限带宽和99.9％正常运行时间SLA。 | 计划 | 每月价格 | 年度价格（10％折扣） | 每月API积分 | 并发线程 | 地理定位 | 随用随付 | 操作 | |---|---|---|---|---|---|---|---| | **免费试用** | $0（7天） | — | 5,000（一次性） | 5 | 有限 | ❌ | [开始免费试用](https://www.scraperapi.com/?fp_ref=coupons) | | **爱好** | $49/月 | $44.10/月 | 100,000 | 20 | 仅限美国和欧盟 | ❌ | [获取爱好计划](https://www.scraperapi.com/?fp_ref=coupons) | | **创业** | $149/月 | $134.10/月 | 1,000,000 | 50 | 仅限美国和欧盟 | ❌ | [获取创业计划](https://www.scraperapi.com/?fp_ref=coupons) | | **商业** | $299/月 | $269.10/月 | 3,000,000 | 100 | 全球 | ❌ | [获取商业计划](https://www.scraperapi.com/?fp_ref=coupons) | | **扩展** ⭐ 最受欢迎 | $475/月 | $427.50/月 | 5,000,000 | 200 | 全球 | ✅ | [获取扩展计划](https://www.scraperapi.com/?fp_ref=coupons) | | **专业** | $975/月 | $877.50/月 | 10,500,000 | 300 | 全球 | ✅ | [获取专业计划](https://www.scraperapi.com/?fp_ref=coupons) | | **高级** | $1,975/月 | $1,777.50/月 | 21,500,000 | 500 | 全球 | ✅ | [获取高级计划](https://www.scraperapi.com/?fp_ref=coupons) | | **企业** | 自定义 | 自定义 | 22M+ | 500+ | 全球 | ✅ | [联系销售团队](https://www.scraperapi.com/?fp_ref=coupons) | **表格中未显示的几件事：** - **分析历史**：爱好和创业计划仅限30天的仪表盘历史记录。商业及以上的计划提供无限的历史记录。 - **随用随付溢出**仅在扩展及以上的计划中生效。在较低层级的计划中，达到信用额度上限意味着需要手动干预。 - **积分不会结转** - 未使用的积分在每个续期日期重置，因此过度购买不会带来帮助。 - 年度计费节省10％ - 在结账时自动应用，无需优惠码。 ## 你应该选择哪个计划？ **免费试用** - 总是从这里开始。无需信用卡，5,000积分，七天。将其指向您的实际目标URL，检查仪表盘中的积分成本，并根据实际数据调整计划，而不是凭空猜测。 **爱好（$49/月）** - 个人项目、副业、原型。如果您正在抓取没有重度反机器人保护的普通内容页面，100,000积分可以走很远。适合MCP初始实验，您正在摸索实际使用模式。 **创业（$149/月）** - 您已经从随意抓取中毕业。一个小型SaaS产品、一个自由职业数据工作流、一个为少数客户运行作业的代理。跳跃到1,000,000积分和50个并发线程是有意义的，并且您仍然低于$150/月。 **商业（$299/月）** - 转折点。这是全球地理定位解锁的地方，分析历史记录变得无限，并且您获得3,000,000积分和100个并发线程。如果您运行的生产工作负载依赖于产品的其他部分，这可能是最低要求。 **扩展（$475/月）** - 抓取API称之为最受欢迎的计划是有原因的。随用随付溢出意味着您永远不会在月中被硬停止，并且500万积分和200个线程处理大量数据。适合已经超越商业但尚未达到基础设施规模的团队。 **专业/高级/企业** - 到这一步，您已经超出了“哪个计划”的范畴，进入了“我们如何保持可预测和可扩展”的范畴。优先支持生效，随用随付是标准配置，信用池扩大到数千万。如果您处于这个量级，直接与他们的销售团队交谈是值得的。 ## 开发者实际评价抓取API Trustpilot（约4.5/5）和G2（约4.4/5）上的模式是一致的：干净的文档，真正简单的集成，响应式支持。从管理自己的代理基础设施的开发者那里反复提到，替换掉一个API调用的简单性是主要的价值主张 - 您用一个API调用替换了代理库，基础设施的头痛消失了。 最常见的摩擦点不是可靠性 - 而是积分乘数系统比标题数字显示的更复杂。人们购买100,000积分，开始抓取亚马逊并启用渲染，当余额快速下降时感到困惑。仪表盘的域名乘数工具解决了这个问题，但需要您知道去查找它。 性能也取决于目标。抓取API通常很好地处理主流网站（亚马逊、标准电子商务、GitHub、新闻网站）。具有频繁旋转、激进反机器人系统的网站（某些金融科技平台、重度Cloudflare企业部署）可能更具可变性。 ## 开始使用MCP服务器的实用提示 一旦您的服务器配置完成，这里有一些提示，您可以直接将其粘贴到Claude、Cursor或您正在使用的任何客户端： > *"请抓取此URL：[URL]。如果您收到500服务器错误，请识别网站的地理定位并添加相应的`country_code`。如果错误继续，请升级到`premium=true`。对于持续的失败，请激活`ultra_premium=true`。"* > *"您可以抓取[URL]以提取[特定数据]吗？如果请求返回缺失或不完整的数据，请设置`render=true`以启用JS渲染。"* > *"在谷歌上搜索[查询]并返回前10个有机结果，包含标题、网址和片段。"* > *"获取亚马逊ASIN B08N5WRWNW的产品详情，格式为JSON。"* > *"启动[域]的爬虫，匹配[正则表达式]模式的链接，最大深度为3。完成后请报告。"* ## 底线 抓取API MCP服务器是一种工具，它以干净的方式解决了真正令人烦恼的问题。如果您正在构建需要实时网络数据的AI代理 - 而且越来越多的有用代理确实需要 - 将MCP连接起来而不是定制API调用是一个更明智的方法。一个配置文件，您的AI可以抓取、搜索、爬虫和从长长的平台列表中提取结构化数据，全都来自自然语言。 设置很快。工具覆盖范围很广。并且一旦您了解倍率，信用系统实际上是相当公平的 - 您只为成功的结果付费，而不是尝试。 从免费试用开始。将您的实际目标运行通过它。检查信用成本。然后选择与您的实际使用情况相匹配的计划，而不是凭空猜测。 👉 [使用5,000免费试用积分开始 - 无需信用卡](https://www.scraperapi.com/?fp_ref=coupons)