dmy
|
bfac194c14
|
feat: 添加爬虫统计信息页面和功能
新增爬虫统计信息页面，展示各来源的爬取数量、最新更新时间、错误信息等统计指标
后端添加爬虫统计信息存储和查询接口，记录每次爬取的结果
支持按关键词过滤招标信息查询
|
2026-01-12 22:00:39 +08:00 |
|
dmy
|
61520e9ebf
|
feat: 添加 AI 推荐功能
新增 AI 推荐模块，包括前端界面和后端服务
添加 OpenAI API 密钥配置
实现工程数据分析和推荐功能
|
2026-01-12 18:36:08 +08:00 |
|
dmy
|
f2630ed01c
|
feat: 添加更新数据源脚本
|
2026-01-12 15:29:45 +08:00 |
|
dmy
|
b1435523e8
|
feat: 为爬虫测试添加代理支持并通过环境变量配置
添加dotenv依赖，创建jest配置文件和setup文件
修改所有爬虫测试文件以支持通过环境变量配置代理
将jest配置从package.json移动到独立文件
|
2026-01-12 15:19:54 +08:00 |
|
dmy
|
1b28a3462a
|
feat: 全面优化爬虫系统和数据处理能力
- 增强数据重试机制：对数据为0的爬虫自动重试，提高数据完整性
- 优化前端筛选逻辑：改进日期筛选，只限制开始时间，更灵活的数据查看
- 新增最近数据接口：添加 /api/bids/recent 获取30天内最新招标数据
- 改进统计展示：实时显示筛选结果数量，优化用户体验
- 完善日志系统：确保日志目录自动创建，避免启动错误
- 增强独立脚本：使用自定义logger，完善错误处理和程序关闭
- 优化主程序：集成自定义日志服务，统一日志格式
- 扩展npm脚本：新增 web 命令用于构建前端
- 改进大唐爬虫：延长等待时间到60秒，提高页面加载成功率
- 优化数据筛选：今日招标改为使用独立接口，提升性能
|
2026-01-12 12:28:37 +08:00 |
|
dmy
|
3e6456e120
|
feat: 全面升级系统日志和反爬虫功能
- 新增专业日志系统：集成 Winston 日志框架，支持按天轮转和分级存储
- 增强反爬虫能力：集成 puppeteer-extra-plugin-stealth 插件，提升隐蔽性
- 新增独立爬虫脚本：可通过 npm run crawl 命令单独执行爬虫任务
- 优化前端日期筛选：添加日期范围选择器，支持3天/7天快速筛选
- 改进爬虫统计功能：详细记录每个平台的成功/失败情况和执行时间
- 移除默认关键词初始化：避免重复创建预设关键词
- 扩展环境配置：新增 LOG_LEVEL 日志级别配置选项
- 增强.gitignore：添加日志目录、构建产物等忽略规则
- 升级执行时间限制：将最大执行时间从1小时延长至3小时
- 完善错误处理：更好的异常捕获和日志记录机制
|
2026-01-12 10:46:10 +08:00 |
|
dmy
|
d9105797f4
|
第一次提交
|
2026-01-09 23:18:52 +08:00 |
|