用你自己 VPS 上的 Crawl4AI 跑出来的 6 个典型场景示例,打包成一个压缩包,直接下载就能看。
里面有什么
| 文件夹 | 场景 | 产物 |
|---|---|---|
| 01-文章转Markdown | 网页 → 干净正文 | 同一篇文章的「正文版」和「完整版(raw)」对比,看 Filter 到底做了什么 |
| 02-结构化数据 | 网页 → 表格 | 60 本书的书名/价格/库存,CSV + JSON(Excel 直接打开) |
| 03-AI智能处理 | 让 DeepSeek 读网页 | AI 智能筛选结果 + 对文章提问的回答 |
| 04-整站深爬 | 批量抓一个站 | Python 官方文档 8 个页面,817KB Markdown |
| 05-截图与PDF存档 | 页面存证 | 两个站点各一张 PNG 截图 + 一份 PDF |
| 06-链接清单 | 批量提链接 | IT之家首页全部外链清单 |
一条实测结论(跟直觉不一样)
Crawl4AI 的 Filter:不填就等于 fit(已去掉导航页脚),raw 才是内容更多的版本(保留链接和侧栏)。所以抓正文用默认就行,只有需要链接时才选 raw。bm25 按关键词筛,关键词没匹配上会返回空;llm 则让大模型读完再挑,最聪明但慢、且花 token。
怎么复现
入口在 https://crawl4ai.ligen.site:8443/playground/,命令行用 crwl。压缩包里的 README.md 写了每个场景的具体生成方式和命令。