facat/bidding_watcher
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
72 Commits 1 Branch 0 Tags
300e930c64cab6ef94dc5db3937e917796026a20
Commit Graph

10 Commits

Author SHA1 Message Date
dmy
300e930c64 feat(auth): implement API key authentication and enhance request handling 
- Add AuthGuard to validate API key for public access.
- Create AuthModule to provide the AuthGuard globally.
- Update API request interceptor to automatically include API key for non-localhost requests.
- Modify .env and .env.example to include API_KEY configuration.
- Enhance API request handling with improved error logging and client IP detection.
 2026-01-16 11:26:02 +08:00
dmy
e8beeec2b9 chore(env): update log level to debug and modify .gitignore 
- Change log level from 'info' to 'debug' for enhanced logging during development.
- Add '.cursor' to .gitignore to prevent tracking of cursor files.
 2026-01-15 23:48:07 +08:00
dmy
3033eb622f feat(deploy): implement new deployment script using ssh2-sftp-client 
- Replace PowerShell deploy script with TypeScript-based deploy script
- Add SSH2 SFTP client for secure file uploads to remote server
- Include error handling and logging for deployment process
- Update package.json to reflect changes in deploy command and add new dependencies
 2026-01-15 21:02:36 +08:00
dmy
af78fd0682 chore: 更新数据库连接配置 2026-01-15 02:20:04 +08:00
dmy
740c11527f feat: 更新数据库配置并添加同步脚本 
将数据库配置从本地MariaDB切换为腾讯云MySQL
添加数据库同步脚本命令到package.json
禁用数据库自动同步功能
 2026-01-14 20:58:07 +08:00
dmy
3f6d10061d feat: 添加单源爬取功能并优化数据库同步 
新增单源爬取功能，支持在界面上单独更新每个数据源
添加数据库同步脚本，支持主从数据库结构同步和数据同步
优化华能集团爬虫的页面导航和稳定性
新增系统托盘功能，支持最小化到托盘
 2026-01-14 16:25:01 +08:00
dmy
61520e9ebf feat: 添加 AI 推荐功能 
新增 AI 推荐模块，包括前端界面和后端服务
添加 OpenAI API 密钥配置
实现工程数据分析和推荐功能
 2026-01-12 18:36:08 +08:00
dmy
3e6456e120 feat: 全面升级系统日志和反爬虫功能 
- 新增专业日志系统：集成 Winston 日志框架，支持按天轮转和分级存储
- 增强反爬虫能力：集成 puppeteer-extra-plugin-stealth 插件，提升隐蔽性
- 新增独立爬虫脚本：可通过 npm run crawl 命令单独执行爬虫任务
- 优化前端日期筛选：添加日期范围选择器，支持3天/7天快速筛选
- 改进爬虫统计功能：详细记录每个平台的成功/失败情况和执行时间
- 移除默认关键词初始化：避免重复创建预设关键词
- 扩展环境配置：新增 LOG_LEVEL 日志级别配置选项
- 增强.gitignore：添加日志目录、构建产物等忽略规则
- 升级执行时间限制：将最大执行时间从1小时延长至3小时
- 完善错误处理：更好的异常捕获和日志记录机制
 2026-01-12 10:46:10 +08:00
dmy
6d626a0946 feat: 新增多个电力集团采购平台爬虫 
- 新增4个电力集团采购平台爬虫：
  * 中国大唐集团电子商务平台 (CdtCrawler)
  * 大连能源采购平台 (CeicCrawler)
  * 华润守正采购交易平台 (SzecpCrawler)
- 更新 BidCrawlerService，集成新的爬虫到爬虫任务中
- 添加环境变量示例文件 .env.example，包含数据库和代理配置
- 优化 .env 文件，添加代理配置示例
- 为所有新爬虫添加完整的单元测试文件
- 使用与现有爬虫相同的反检测策略（人类行为模拟）
- 支持分页抓取，每个平台最多抓取5页数据
- 统一的错误处理机制，单个爬虫失败不影响其他爬虫执行
 2026-01-11 22:34:38 +08:00
dmy
d9105797f4 第一次提交 2026-01-09 23:18:52 +08:00