Commit Graph

2 Commits

Author SHA1 Message Date
dmy
4f37b0fb61 refactor: 重构前端代码,拆分组件并优化README文档 2026-01-12 14:37:18 +08:00
dmy
3454d9d07f feat: 新增电能e招采平台爬虫
- 新增 EspicCrawler 爬虫类,支持电能e招采平台招标信息抓取
- 目标平台:https://ebid.espic.com.cn,专注于电力行业电子招投标
- 智能 URL 生成:使用 getUrl() 方法动态生成带时间戳的分页链接
- 增强反 WAF 功能:等待人机识别检测通过,避免被防火墙拦截
- 多重选择器策略:使用多种选择器组合查找下一页按钮,提高翻页成功率
- 使用正则表达式提取招标信息,支持标题、URL和发布日期解析
- 添加完整的人类行为模拟功能(鼠标移动、滚动)降低检测风险
- 支持分页抓取,最多抓取5页数据
- 添加完整的单元测试文件,确保爬虫功能正常
- 统一的错误处理机制,单个爬虫失败不影响整体任务执行
2026-01-12 00:01:38 +08:00