读完就能用的 AI 知识文章

让 Agent 批量采集网页数据，Scrapling 到底好不好用？

本文实测用开源 Python 网页采集框架 Scrapling 搭配其 MCP Server，把 HTTP 请求、浏览器渲染、解析与批量抓取封装成工具，交给 Claude Code / WorkBuddy 等 Agent 调度。原则是能用 HTTP 解决就不开浏览器，仅回传目标字段以省 token 与上下文。通过天气、豆瓣 Top250、科幻 200 本、B站与知乎四个案例，验证了分页并发、限速分批、反爬穿透与 Agent 自愈选路（优先走 API）。结论：批量读取公开网页、分页提取字段并落结构化文件选 Scrapling；登录后台、点击填表类任务仍用浏览器自动化。