爬虫示例输出:6 个场景打包下载

用你自己 VPS 上的 Crawl4AI 跑出来的 6 个典型场景示例,打包成一个压缩包,直接下载就能看。

📦 点击下载:爬虫示例输出(约 500KB)

里面有什么

文件夹场景产物
01-文章转Markdown网页 → 干净正文同一篇文章的「正文版」和「完整版(raw)」对比,看 Filter 到底做了什么
02-结构化数据网页 → 表格60 本书的书名/价格/库存,CSV + JSON(Excel 直接打开)
03-AI智能处理让 DeepSeek 读网页AI 智能筛选结果 + 对文章提问的回答
04-整站深爬批量抓一个站Python 官方文档 8 个页面,817KB Markdown
05-截图与PDF存档页面存证两个站点各一张 PNG 截图 + 一份 PDF
06-链接清单批量提链接IT之家首页全部外链清单

一条实测结论(跟直觉不一样)

Crawl4AI 的 Filter:不填就等于 fit(已去掉导航页脚),raw 才是内容更多的版本(保留链接和侧栏)。所以抓正文用默认就行,只有需要链接时才选 raw。bm25 按关键词筛,关键词没匹配上会返回空;llm 则让大模型读完再挑,最聪明但慢、且花 token。

怎么复现

入口在 https://crawl4ai.ligen.site:8443/playground/,命令行用 crwl。压缩包里的 README.md 写了每个场景的具体生成方式和命令。

滚动至顶部