bidding_watcher

facat/bidding_watcher

Fork 0

Commit Graph

Author	SHA1	Message	Date
dmy	6d626a0946	feat: 新增多个电力集团采购平台爬虫 - 新增4个电力集团采购平台爬虫： * 中国大唐集团电子商务平台 (CdtCrawler) * 大连能源采购平台 (CeicCrawler) * 华润守正采购交易平台 (SzecpCrawler) - 更新 BidCrawlerService，集成新的爬虫到爬虫任务中 - 添加环境变量示例文件 .env.example，包含数据库和代理配置 - 优化 .env 文件，添加代理配置示例 - 为所有新爬虫添加完整的单元测试文件 - 使用与现有爬虫相同的反检测策略（人类行为模拟） - 支持分页抓取，每个平台最多抓取5页数据 - 统一的错误处理机制，单个爬虫失败不影响其他爬虫执行	2026-01-11 22:34:38 +08:00
dmy	07a7301968	feat: 添加华能集团电子商务平台爬虫功能 - 新增 ChngCrawler 爬虫类，支持华能集团电子商务平台招标信息抓取 - 更新 BidCrawlerService，集成 ChngCrawler 到爬虫任务中 - 添加代理配置支持，从环境变量读取代理设置 - 优化爬虫逻辑，支持多个爬虫并行执行 - 新增 ChngCrawler 的单元测试文件 - 改进错误处理，单个爬虫失败不影响其他爬虫执行 - 更新 chdtp_target.ts，添加代理认证支持	2026-01-11 18:20:43 +08:00

Author

SHA1

Message

Date

dmy

6d626a0946

feat: 新增多个电力集团采购平台爬虫

- 新增4个电力集团采购平台爬虫：
  * 中国大唐集团电子商务平台 (CdtCrawler)
  * 大连能源采购平台 (CeicCrawler)
  * 华润守正采购交易平台 (SzecpCrawler)
- 更新 BidCrawlerService，集成新的爬虫到爬虫任务中
- 添加环境变量示例文件 .env.example，包含数据库和代理配置
- 优化 .env 文件，添加代理配置示例
- 为所有新爬虫添加完整的单元测试文件
- 使用与现有爬虫相同的反检测策略（人类行为模拟）
- 支持分页抓取，每个平台最多抓取5页数据
- 统一的错误处理机制，单个爬虫失败不影响其他爬虫执行

2026-01-11 22:34:38 +08:00

dmy

07a7301968

feat: 添加华能集团电子商务平台爬虫功能

- 新增 ChngCrawler 爬虫类，支持华能集团电子商务平台招标信息抓取
- 更新 BidCrawlerService，集成 ChngCrawler 到爬虫任务中
- 添加代理配置支持，从环境变量读取代理设置
- 优化爬虫逻辑，支持多个爬虫并行执行
- 新增 ChngCrawler 的单元测试文件
- 改进错误处理，单个爬虫失败不影响其他爬虫执行
- 更新 chdtp_target.ts，添加代理认证支持

2026-01-11 18:20:43 +08:00

2 Commits