SelfHostSelfHost

Scraperr 实用攻略：小白也能轻松上手的网页数据抓取神器

a year ago

Scraperr 是什么？

简单说，Scraperr 就是个帮你从网页上"偷"数据的工具。别担心，这里说的"偷"是合法的数据抓取 😄。

想象一下，你要收集某个购物网站上所有商品的价格信息，手动复制粘贴得复制到天荒地老，而 Scraperr 可以帮你几分钟搞定。

核心优势：

  • 🎯 精准定位：用XPath选择器精确抓取你想要的内容
  • 🚀 简单易用：网页界面操作，不需要写复杂代码
  • 📦 自托管：数据安全掌握在自己手里
  • 🔄 批量处理：一次提交多个抓取任务
  • 📊 结果可视化：抓取的数据直接在表格里展示

https://appstore.lazycat.cloud/#/shop/detail/top.j0k3r.scraperr

实战攻略

应用安装后，打开即主页面

image.png

先注册一个账号

image.png

登录进去，左下角会有提示

image.png

以老王的博客为例https://manateelazycat.github.io/index.html

image.png

理解XPath（别被吓到，真的很简单）

XPath 就像是网页元素的"地址"。比如你要找某个商品的标题，XPath 会告诉程序："去第3个div里面的第2个span标签找"。

实用XPath技巧：

  1. 右键大法：在网页上右键点击你想抓取的内容 → 检查元素 → 右键选择"Copy XPath"，直接复制现成的路径

  2. 常用模式：

    • 抓取所有链接：//a/@href
    • 抓取所有图片：//img/@src
    • 抓取特定class的文本：//div[@class='product-title']/text()
    • 抓取包含特定文字的元素：//span[contains(text(), '价格')]

以老王博客为例

URL：老王的博客地址为 https://manateelazycat.github.io/index.html Name：因为是抓标题，所以输入了 文章标题 XPath：可以在浏览器中获取到/html/body/div[1]/ul

点击提交 image.png

左下角会提示创建了一个Job

image.png

到左侧Job里可以看到

image.png

它有一定概率会失败，如果成功后会显示complete 点击 showresult

image.png

点进去，可以看到内容都抓到了

image.png

还可以下载下来

image.png

image.png

我下载的csv中文乱码了

image.png

markdown没问题

image.png

注意事项（重要！）合规使用

  1. 检查robots.txt：访问网站域名/robots.txt看看是否允许抓取
  2. 遵守使用条款：不要抓取明确禁止的内容
  3. 控制频率：不要太频繁请求，给服务器留点喘息空间

总结

Scraperr 是个不错的工具，特别适合需要定期抓取数据但又不想写复杂爬虫代码的朋友。界面清爽，功能齐全，而且支持自托管，数据安全有保障。

有了这个工具，以后收集数据就轻松多了。不过记得合规使用，做个有素质的数据收集者 😊

提示：本文仅为技术交流，使用时请遵守相关法律法规和网站使用条款。

作者
天天