6d626a0946
- 新增4个电力集团采购平台爬虫： * 中国大唐集团电子商务平台 (CdtCrawler) * 大连能源采购平台 (CeicCrawler) * 华润守正采购交易平台 (SzecpCrawler) - 更新 BidCrawlerService，集成新的爬虫到爬虫任务中 - 添加环境变量示例文件 .env.example，包含数据库和代理配置 - 优化 .env 文件，添加代理配置示例 - 为所有新爬虫添加完整的单元测试文件 - 使用与现有爬虫相同的反检测策略（人类行为模拟） - 支持分页抓取，每个平台最多抓取5页数据 - 统一的错误处理机制，单个爬虫失败不影响其他爬虫执行
11 lines
226 B
Bash
11 lines
226 B
Bash
DATABASE_TYPE=mariadb
|
|
DATABASE_HOST=127.0.0.1
|
|
DATABASE_PORT=23306
|
|
DATABASE_USERNAME=root
|
|
DATABASE_PASSWORD=410491
|
|
DATABASE_NAME=bidding
|
|
DATABASE_SYNCHRONIZE=true
|
|
|
|
# 代理配置（可选）
|
|
PROXY_HOST=127.0.0.1
|
|
PROXY_PORT=3211 |