158 lines
4.8 KiB
Markdown
158 lines
4.8 KiB
Markdown
|
||
|
||
# 投标信息智能监控系统 - 需求说明书
|
||
|
||
## 项目概述
|
||
开发一个基于TypeScript的Web应用，用于自动爬取商务投标平台的最新信息，将符合条件的投标项目突出显示，为用户提供精准的投标信息监控服务。
|
||
|
||
## 技术栈要求
|
||
- **主语言**: TypeScript (4.0+)
|
||
- **后端框架**: **NestJS** (推荐理由：完整的TypeScript支持、模块化架构、内置依赖注入、与数据库ORM良好集成)
|
||
- **前端框架**: React (集成在NestJS中，使用SSR或API模式)
|
||
- **数据库**: MySQL/PostgreSQL (通过TypeORM或Prisma操作)
|
||
- **爬虫库**: 使用axios
|
||
- **任务调度**: @nestjs/schedule
|
||
- **UI组件库**: Ant Design (提供企业级UI组件，支持TypeScript)
|
||
|
||
## 核心功能需求
|
||
|
||
### 1. 智能爬虫模块
|
||
- 定时访问指定商务投标平台(初始配置为：至少3个主流招标网站)
|
||
- 每30分钟执行一次爬取任务
|
||
- 识别并提取以下信息：
|
||
- 投标项目标题
|
||
- 详细页面URL
|
||
- 发布时间
|
||
- 招标单位
|
||
- 截止日期
|
||
- 实现智能防封策略：
|
||
- 随机请求间隔(3-8秒)
|
||
- 轮换User-Agent
|
||
- 异常检测与自动重试机制
|
||
|
||
### 2. 数据处理与存储
|
||
- 投标信息数据模型：
|
||
```typescript
|
||
interface BidItem {
|
||
id: string;
|
||
title: string;
|
||
url: string;
|
||
publishDate: Date;
|
||
source: string;
|
||
keywordsMatched: string[]; // 匹配的关键词
|
||
priority: number; // 优先级，基于关键词匹配
|
||
createdAt: Date;
|
||
updatedAt: Date;
|
||
}
|
||
```
|
||
- 增量存储逻辑：
|
||
- 通过URL哈希值判断是否为新数据
|
||
- 仅存储当天和最近7天的历史数据
|
||
- 每日自动清理30天前的数据
|
||
|
||
### 3. 关键词智能监控
|
||
- 预设关键词：["山东", "海", "建设", "工程", "采购"]
|
||
- 支持用户自定义关键词：
|
||
- 通过Web界面添加/删除关键词
|
||
- 可设置关键词权重(1-5级)
|
||
- 匹配逻辑：
|
||
- 标题完全匹配和部分匹配
|
||
- 多关键词叠加权重
|
||
- 支持正则表达式高级匹配
|
||
|
||
### 4. Web展示界面
|
||
- 仪表盘设计：
|
||
- 顶部：高优先级投标信息(匹配自定义关键词)
|
||
- 中部：今日新增投标列表(按时间倒序)
|
||
- 底部：历史投标信息
|
||
- 交互功能：
|
||
- 关键词管理面板
|
||
- 按日期/来源/关键词筛选
|
||
- 信息标记已读/未读状态
|
||
- 邮件订阅提醒(基础框架)
|
||
- 响应式设计：适配桌面和移动设备
|
||
|
||
## 系统架构
|
||
|
||
```
|
||
src/
|
||
├── common/
|
||
│ ├── decorators/ # 自定义装饰器
|
||
│ ├── filters/ # 异常过滤器
|
||
│ └── utils/ # 工具函数
|
||
├── crawler/ # 爬虫模块
|
||
│ ├── services/
|
||
│ │ ├── bid-crawler.service.ts # 爬虫核心服务
|
||
│ │ └── anti-ban.strategy.ts # 防封策略
|
||
│ └── crawler.module.ts
|
||
├── database/ # 数据库模块
|
||
│ ├── entities/ # 实体定义
|
||
│ ├── migrations/ # 数据库迁移
|
||
│ └── database.module.ts
|
||
├── bids/ # 投标业务模块
|
||
│ ├── entities/
|
||
│ ├── dto/ # 数据传输对象
|
||
│ ├── controllers/
|
||
│ ├── services/
|
||
│ │ ├── bid.service.ts
|
||
│ │ └── keyword-analyzer.service.ts # 关键词分析
|
||
│ └── bids.module.ts
|
||
├── keywords/ # 关键词管理模块
|
||
├── schedule/ # 定时任务
|
||
│ └── tasks/
|
||
│ └── bid-crawl.task.ts # 定时爬取任务
|
||
├── app.controller.ts
|
||
├── app.module.ts
|
||
└── main.ts # 应用入口
|
||
```
|
||
|
||
## API接口设计
|
||
|
||
### 后端API
|
||
- `GET /api/bids` - 获取投标列表(支持分页、筛选)
|
||
- `GET /api/bids/high-priority` - 获取高优先级投标
|
||
- `GET /api/keywords` - 获取所有关键词
|
||
- `POST /api/keywords` - 添加新关键词
|
||
- `DELETE /api/keywords/:id` - 删除关键词
|
||
|
||
### 前端路由
|
||
- `/` - 仪表盘(默认页面)
|
||
- `/bids` - 全部投标信息
|
||
- `/keywords` - 关键词管理
|
||
- `/settings` - 系统设置
|
||
|
||
## 非功能性需求
|
||
|
||
1. **性能要求**：
|
||
- 首屏加载时间 ≤ 2秒
|
||
- 爬虫任务执行时间 ≤ 5分钟/站点
|
||
- 支持至少1000条投标记录的快速检索
|
||
|
||
2. **安全要求**：
|
||
- 防XSS攻击(对爬取内容进行消毒)
|
||
- API访问权限控制
|
||
- 环境变量管理敏感信息
|
||
|
||
3. **可维护性**：
|
||
- 100% TypeScript类型覆盖
|
||
- 模块化设计，低耦合
|
||
- 完整的Jest单元测试(覆盖率≥80%)
|
||
|
||
4. **部署要求**：
|
||
- 环境配置分离(开发/测试/生产)
|
||
- 日志集中管理
|
||
|
||
## 配置项
|
||
- 爬取目标网站列表(可配置)
|
||
- 定时任务执行频率(默认30分钟)
|
||
- 数据保留策略(默认30天)
|
||
- 关键词匹配规则(默认包含匹配)
|
||
|
||
## 交付物
|
||
1. 完整的TypeScript源代码
|
||
|
||
|
||
## 备注
|
||
- 数据库连接使用连接池
|
||
|
||
请基于此需求说明书实现该系统，确保代码质量符合企业级应用标准。 |