Skip to content

mock-demo-run — RAG Evaluation Report

  • Timestamp: 2026-07-13T08:57:42.361212+00:00
  • Dataset: examples/dataset.sample.jsonl (20 samples)

Aggregate Metrics

Metric Value
recall@5 0.700
precision@5 0.367
mrr 0.550
hit_rate@5 0.800
citation_coverage 1.000
citation_validity 1.000
avg_latency_ms 90.800
error_rate 0.000

Per-Sample Results

ID Question Metrics Latency (ms) Error
q001 什么是检索增强生成（RAG）？ recall@5=1.00 precision@5=0.67 mrr=1.00 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 44 -
q002 向量数据库在 RAG 系统中的作用是什么？ recall@5=1.00 precision@5=0.67 mrr=1.00 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 44 -
q003 如何评估 RAG 系统的检索质量？ recall@5=0.00 precision@5=0.00 mrr=0.00 hit_rate@5=0.00 citation_coverage=1.00 citation_validity=1.00 72 -
q004 什么是幻觉（hallucination）问题？ recall@5=0.50 precision@5=0.33 mrr=1.00 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 47 -
q005 Spring AI 支持哪些向量存储？ recall@5=1.00 precision@5=0.33 mrr=0.50 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 65 -
q006 什么是混合检索（Hybrid Retrieval）？ recall@5=0.50 precision@5=0.33 mrr=0.50 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 33 -
q007 如何实现文档的分块（chunking）策略？ recall@5=1.00 precision@5=0.67 mrr=1.00 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 129 -
q008 什么是 ReAct 框架？ recall@5=0.00 precision@5=0.00 mrr=0.00 hit_rate@5=0.00 citation_coverage=1.00 citation_validity=1.00 101 -
q009 多租户 RAG 系统如何实现数据隔离？ recall@5=1.00 precision@5=0.67 mrr=1.00 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 50 -
q010 什么是 LLM-as-judge 评估方法？ recall@5=0.50 precision@5=0.33 mrr=0.33 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 86 -
q011 如何在 CI 流水线中集成 RAG 评测？ recall@5=0.00 precision@5=0.00 mrr=0.00 hit_rate@5=0.00 citation_coverage=1.00 citation_validity=1.00 40 -
q012 什么是引用溯源（citation）？ recall@5=1.00 precision@5=0.67 mrr=0.50 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 86 -
q013 Ollama 如何用于本地大模型推理？ recall@5=1.00 precision@5=0.33 mrr=1.00 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 196 -
q014 什么是 pgvector？ recall@5=1.00 precision@5=0.33 mrr=1.00 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 24 -
q015 如何衡量 RAG 答案的忠实度（faithfulness）？ recall@5=1.00 precision@5=0.67 mrr=0.50 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 156 -
q016 什么是 MRR（Mean Reciprocal Rank）？ recall@5=0.00 precision@5=0.00 mrr=0.00 hit_rate@5=0.00 citation_coverage=1.00 citation_validity=1.00 31 -
q017 异步文档入库流水线的优势是什么？ recall@5=1.00 precision@5=0.33 mrr=0.50 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 154 -
q018 什么是 Resilience4j？ recall@5=1.00 precision@5=0.33 mrr=0.33 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 154 -
q019 如何用 Docker Compose 部署 RAG 系统？ recall@5=1.00 precision@5=0.33 mrr=0.33 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 92 -
q020 知识图谱在 RAG 中的作用是什么？ recall@5=0.50 precision@5=0.33 mrr=0.50 hit_rate@5=1.00 citation_coverage=1.00 citation_validity=1.00 212 -

Generated by ragproof