┌─────────────────────────────────────────────────────────────────┐
│                        测试流程总览                               │
└─────────────────────────────────────────────────────────────────┘

Phase 1: 测试数据准备 (Python)
┌──────────────────────────────────────┐
│  1. 加载知识库文档                    │
│  2. 使用 Ragas 生成测试集             │
│     - 自动生成问题                    │
│     - 生成参考答案                    │
│     - 生成 ground_truth 上下文        │
│  3. 保存为标准格式 (JSON)             │
└──────────────────────────────────────┘
           ↓
Phase 2: RAG 系统调用 (Python ↔ Spring AI)
┌──────────────────────────────────────┐
│  4. 通过 HTTP API 调用 Spring AI      │
│     - 发送问题                        │
│     - 接收检索上下文                  │
│     - 接收生成答案                    │
│  5. 记录响应数据                      │
└──────────────────────────────────────┘
           ↓
Phase 3: 评估与分析 (Python)
┌──────────────────────────────────────┐
│  6. 使用 Ragas 计算指标               │
│     - Context Precision              │
│     - Context Recall                 │
│     - Faithfulness                   │
│     - Answer Relevancy               │
│  7. 生成评估报告                      │
│  8. 可视化分析结果                    │
└──────────────────────────────────────┘


// Controller 示例
@RestController
@RequestMapping("/api/rag")
public class RagTestController {
    
    // 1. 向量检索接口
    @PostMapping("/search/vector")
    public SearchResponse vectorSearch(@RequestBody SearchRequest request) {
        // 使用 Elasticsearch 向量检索
        List<String> contexts = vectorSearchService.search(
            request.getQuestion(), 
            request.getTopK()
        );
        return new SearchResponse(contexts, "vector");
    }
    
    // 2. BM25 检索接口
    @PostMapping("/search/bm25")
    public SearchResponse bm25Search(@RequestBody SearchRequest request) {
        // 使用 Elasticsearch BM25
        List<String> contexts = bm25SearchService.search(
            request.getQuestion(), 
            request.getTopK()
        );
        return new SearchResponse(contexts, "bm25");
    }
    
    // 3. 混合检索接口
    @PostMapping("/search/hybrid")
    public SearchResponse hybridSearch(@RequestBody SearchRequest request) {
        // 向量 + BM25 混合
        List<String> contexts = hybridSearchService.search(
            request.getQuestion(), 
            request.getTopK(),
            request.getVectorWeight(),  // 默认 0.7
            request.getBm25Weight()      // 默认 0.3
        );
        return new SearchResponse(contexts, "hybrid");
    }
    
    // 4. 完整 RAG 接口 (检索 + 生成)
    @PostMapping("/qa")
    public RagResponse ragQuery(@RequestBody RagRequest request) {
        // 1. 检索
        List<String> contexts = retrievalService.search(
            request.getQuestion(),
            request.getSearchType()  // vector/bm25/hybrid
        );
        
        // 2. 生成答案
        String answer = generationService.generate(
            request.getQuestion(),
            contexts
        );
        
        return new RagResponse(
            request.getQuestion(),
            answer,
            contexts,
            System.currentTimeMillis() - startTime
        );
    }
}

// 请求/响应模型
class SearchRequest {
    private String question;
    private Integer topK = 5;
    private Double vectorWeight = 0.7;
    private Double bm25Weight = 0.3;
}

class RagRequest {
    private String question;
    private String searchType; // "vector", "bm25", "hybrid"
    private Integer topK = 5;
}

class RagResponse {
    private String question;
    private String answer;
    private List<String> contexts;
    private Long responseTime;
}


pythonProject6/
├── data/                          # 测试数据
│   ├── source_docs/              # 原始文档
│   └── testsets/                 # 生成的测试集
│       ├── testset_v1.json
│       └── testset_ground_truth.json
├── src/
│   ├── testset_generator.py      # 测试集生成器
│   ├── spring_ai_client.py       # Spring AI HTTP 客户端
│   ├── ragas_evaluator.py        # Ragas 评估器
│   └── test_runner.py            # 测试执行器
├── results/                       # 测试结果
│   ├── evaluation_results.csv
│   ├── comparison_report.html
│   └── metrics_visualization.png
├── config/
│   └── test_config.yaml          # 测试配置
└── run_full_test.py              # 主入口


# run_full_test.py
1. 加载测试集
2. For each question:
   a. 调用 Spring AI API (向量/BM25/混合)
   b. 获取 contexts 和 answer
   c. 记录结果
3. 使用 Ragas 批量评估
4. 生成对比报告
5. 输出结果和建议


# continuous_monitor.py
1. 定期执行测试 (每天/每周)
2. 记录历史指标
3. 检测性能退化
4. 自动告警


测试组：
1. 向量检索 Only
2. BM25 Only
3. 混合检索 (0.7 vector + 0.3 BM25)
4. 混合检索 (0.5 vector + 0.5 BM25)
5. 混合检索 (0.3 vector + 0.7 BM25)

评估维度：
- 各项 Ragas 指标
- 响应时间
- 不同问题类型的表现


question,search_type,answer,contexts,context_precision,context_recall,faithfulness,answer_relevancy,response_time


基于测试结果自动生成优化建议

https://github.com/kangxinhui1234/rag.git

Ragas库实现RAG知识库自动化评估系统

软件开发

人工智能

后端

测试

RAG知识库测试方案详解：采用SpringAI+Elasticsearch架构，通过Python+Ragas实现测试集生成与评估。方案包含测试数据准备、系统调用、评估分析三阶段，支持向量检索、BM25及混合检索对比测试。评估指标涵盖检索质量（召回率、精确度）和生成质量（忠实度、相关性），并提供可视化报告和优化建议。

Elasticsearch 

集成测试

A/B测试

Python

JSON

4核4G3M云服务器 新用户低至38元/年！

lighthouse

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Ragas库实现RAG知识库自动化评估系统-腾讯云开发者社区-腾讯云

Ragas库实现RAG知识库自动化评估系统

Ragas库实现RAG知识库自动化评估系统

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐