SpiderFlow

SpiderFlow是一个通过拖拽流程图就能完成数据抓取的开源神器。它能自动处理JS动态渲染页面，支持外接推送至MySQL/MariaDB存储数据，自带定时任务和代理IP功能，可以通过插件实现OCR识别、邮件通知等高级操作。 SpiderFlow特别适合需要快速搭建数据采集系统的团队，虽然项目已停止更新，但其成熟度完全能满足日常需求。对于需要复杂反爬策略的场景，建议配合代理IP服务使用。