dmy
|
61520e9ebf
|
feat: 添加 AI 推荐功能
新增 AI 推荐模块，包括前端界面和后端服务
添加 OpenAI API 密钥配置
实现工程数据分析和推荐功能
|
2026-01-12 18:36:08 +08:00 |
|
dmy
|
3e6456e120
|
feat: 全面升级系统日志和反爬虫功能
- 新增专业日志系统：集成 Winston 日志框架，支持按天轮转和分级存储
- 增强反爬虫能力：集成 puppeteer-extra-plugin-stealth 插件，提升隐蔽性
- 新增独立爬虫脚本：可通过 npm run crawl 命令单独执行爬虫任务
- 优化前端日期筛选：添加日期范围选择器，支持3天/7天快速筛选
- 改进爬虫统计功能：详细记录每个平台的成功/失败情况和执行时间
- 移除默认关键词初始化：避免重复创建预设关键词
- 扩展环境配置：新增 LOG_LEVEL 日志级别配置选项
- 增强.gitignore：添加日志目录、构建产物等忽略规则
- 升级执行时间限制：将最大执行时间从1小时延长至3小时
- 完善错误处理：更好的异常捕获和日志记录机制
|
2026-01-12 10:46:10 +08:00 |
|
dmy
|
6d626a0946
|
feat: 新增多个电力集团采购平台爬虫
- 新增4个电力集团采购平台爬虫：
* 中国大唐集团电子商务平台 (CdtCrawler)
* 大连能源采购平台 (CeicCrawler)
* 华润守正采购交易平台 (SzecpCrawler)
- 更新 BidCrawlerService，集成新的爬虫到爬虫任务中
- 添加环境变量示例文件 .env.example，包含数据库和代理配置
- 优化 .env 文件，添加代理配置示例
- 为所有新爬虫添加完整的单元测试文件
- 使用与现有爬虫相同的反检测策略（人类行为模拟）
- 支持分页抓取，每个平台最多抓取5页数据
- 统一的错误处理机制，单个爬虫失败不影响其他爬虫执行
|
2026-01-11 22:34:38 +08:00 |
|
dmy
|
d9105797f4
|
第一次提交
|
2026-01-09 23:18:52 +08:00 |
|