feat: 增强华能电商平台爬虫的反检测能力和数据结构

- 在 BidItem 实体中添加 priority 和 unit 字段,扩展数据结构
- 将爬虫浏览器模式改为非无头模式(headless: false)便于调试
- 为 ChngCrawler 添加人类行为模拟功能:
  * 模拟鼠标随机移动,增加移动步数和停顿时间
  * 模拟人类滚动行为,包括随机滚动距离和停顿
  * 添加 navigator 属性伪装,包括语言、插件等
- 在关键节点添加截图功能(bing.png, newPage.png, huaneng.png)用于调试
- 优化反检测策略,降低被目标网站识别为机器人的风险
This commit is contained in:
dmy
2026-01-11 21:35:24 +08:00
parent 07a7301968
commit 044fd770f7
3 changed files with 79 additions and 2 deletions

View File

@@ -20,6 +20,12 @@ export class BidItem {
@Column({ default: false })
isRead: boolean;
@Column({ default: 0 })
priority: number;
@Column({ nullable: true })
unit: string;
@CreateDateColumn()
createdAt: Date;