Synonym List
| 题目表达 | 原文表达 | 关系 | 备注 |
|---|---|---|---|
| feel it is unlikely that they will return | once-in-a-lifetime visit | 同义词：否定之否定 | |
IELTS Skill
LLM · RAG常见数据集
常见数据集
经典 Open-Domain QA / RAG 原始论文常用
| 数据集 | 主要用途 | 简介与特点 |
|---|---|---|
| Natural Questions, NQ | 开放域 QA、检索器训练、RAG 端到端评测 | Google 真实搜索问题 + Wikipedia 页面标注，含 long answer / short answer。NQ 是 DPR、REALM、RAG 等论文的核心基准之一。原始数据约 307k train、7.8k dev、7.8k hidden test。适合测“能不能从大规模 Wikipedia 找到证据并回答”。来源：Google NQ |
| TriviaQA | 开放域 QA、检索增强问答 | 约 95k trivia 问答，超过 650k question-answer-evidence triples；问题更复杂，答案和证据句常有较大词面差异。常用于训练/评估 dense retriever 和 RAG。来源：TriviaQA paper |
| WebQuestions | 短答案 factoid QA | 基于 Freebase 的自然语言问题，规模小但历史上很常用；RAG 原始论文用它评估 open-domain QA。缺点是 Freebase 过时、规模小，今天更多作为经典对照。 |
| CuratedTREC / TREC QA | 小规模事实问答 | 常见于 DrQA、DPR、RAG 早期论文，问题多为简短 factoid。优点是历史可比性强；缺点是规模小、容易受模型记忆影响。 |
| SQuAD / SQuAD-Open | 阅读理解转开放域检索 QA | SQuAD 原本是给定段落抽取答案，约 100k+ Wikipedia 问题；SQuAD-Open 会把上下文移除，要求系统先检索再回答。来源：SQuAD |
| MS MARCO | passage retrieval、reranking、abstractive QA | 来自 Bing 查询日志，约 1M 问题、8.8M passage。RAG 论文常用它测“真实搜索式问题 + 生成式答案”。也是训练检索器、reranker 的核心工业级数据。来源：MS MARCO |
多跳推理 / 信息整合类 RAG
| 数据集 | 主要用途 | 简介与特点 |
|---|---|---|
| HotpotQA | multi-hop QA、supporting facts 检索 | 113k Wikipedia 多跳问答，要求跨多个文档推理，并标注 sentence-level supporting facts。RAG 里常用来测“检索多篇证据 + 合成答案”。有 distractor 和 fullwiki 两种设定。来源：HotpotQA |
| 2WikiMultiHopQA | 多跳推理、路径解释 | 基于 Wikidata + Wikipedia 构造，强调 reasoning path，常用于测 query decomposition、多跳检索、graph/RAG。来源：2WikiMultiHopQA |
| MuSiQue | 更难的 2-4 hop QA | 25k 多跳问题，专门减少 shortcut，使单跳模型难以投机。适合测复杂 RAG pipeline 的分解、迭代检索、证据组合。来源：MuSiQue |
| StrategyQA | 隐式多跳推理 | 2,780 个 yes/no 问题，推理步骤不会直接写在问题中，并提供 decomposition 和 Wikipedia evidence。适合测 RAG 是否会规划检索策略。来源：StrategyQA |
| QAMPARI | 多答案聚合 QA | 问题答案是实体列表，分散在多个段落中；适合测 RAG 的 broad retrieval、coverage、去重和答案聚合能力。来源：QAMPARI |
| ASQA | 歧义问题 + 长答案综合 | 面向 ambiguous questions，要求生成能覆盖多种解释的长答案。常被 citation/RAG 论文用来测综合能力和可验证性。来源：ASQA |
| ELI5 | 长答案生成 | Reddit “Explain Like I’m Five” 约 270k threads，答案长、开放、解释型；RAG 论文用来测 long-form generation 与证据支持。来源：ELI5 |
检索基准 / Retriever 评测
| 数据集 / Benchmark | 主要用途 | 简介与特点 |
|---|---|---|
| BEIR | zero-shot retrieval 统一评测 | RAG 论文常先测 retriever，再测 generator。BEIR 集成 MS MARCO、NQ、HotpotQA、FiQA、TREC-COVID、NFCorpus、ArguAna、Touché、CQADupStack、Quora、DBPedia、SCIDOCS、FEVER、Climate-FEVER、SciFact 等，覆盖新闻、科学、金融、医疗、论坛、事实核查。指标常用 nDCG@k、Recall@k、MRR、MAP。来源：BEIR |
| KILT | 统一 knowledge-intensive NLP + provenance | 把 FEVER、AIDA、T-REx、zsRE、NQ、HotpotQA、TriviaQA、ELI5、Wizard of Wikipedia 等任务统一到同一个 Wikipedia knowledge source 和 evidence/provenance 格式。非常适合端到端 RAG、可溯源生成。来源：KILT |
| MIRACL / MIRAGE-Bench | 多语言检索与多语言 RAG | MIRACL 常用于多语言 dense retrieval；MIRAGE-Bench 在此基础上做 multilingual RAG arena-style 评测。适合中文/多语言 RAG。来源：MIRAGE-Bench |
事实核查、可归因、幻觉检测
| 数据集 | 主要用途 | 简介与特点 |
|---|---|---|
| FEVER | fact verification + evidence retrieval | 185,445 条 Wikipedia claims，标签为 supported/refuted/not enough info，并标注证据句。RAG 原始论文也用 FEVER 测分类式 retrieval-augmented generation。来源：FEVER |
| SciFact | 科学事实核查 | 科学 claim + paper abstract evidence，常在 BEIR/RAG 评测中用于 scientific RAG。规模小但证据要求高。 |
| Climate-FEVER | 气候事实核查 | 气候相关 claims + evidence，常用于检索鲁棒性、争议性事实、领域 RAG。 |
| ALCE | 带引用生成评测 | Automatic LLMs’ Citation Evaluation，要求系统检索证据并生成带 citation 的答案；常用 ASQA、QAMPARI、ELI5。评估 fluency、correctness、citation quality。来源：ALCE |
| HAGRID | attributed generative search | 面向生成式信息检索，要求生成解释并给出可归因引用；基于 MIRACL English 构建。来源：HAGRID |
| RAGTruth | RAG 幻觉标注 | 约 18k RAG 生成回答，带 case-level 和 word-level hallucination annotation；适合训练/评估 hallucination detector。来源：RAGTruth |
专门为 RAG 设计的新 benchmark
| 数据集 | 主要用途 | 简介与特点 |
|---|---|---|
| RGB | RAG 基础能力诊断 | 中英双语，测试 noise robustness、negative rejection、information integration、counterfactual robustness。很适合分析“检索到噪声/错误证据时 LLM 会不会被带偏”。来源：RGB |
| CRAG | 真实动态 QA + API/RAG | Comprehensive RAG Benchmark，4,409 个 factual QA，含 mock web / KG APIs，覆盖 5 个领域、8 类问题、实体流行度和时间动态性。KDD Cup 2024 相关，适合测现代 agentic/web RAG。来源：CRAG |
| RAGBench | 工业 RAG 质量评测 | 100k examples，覆盖多个行业语料和 RAG 任务，带可解释标签，用于评估 retrieval relevance、answer faithfulness、context utilization 等。来源：RAGBench |
垂直领域常见数据集
| 领域 | 常见数据集 | 用法 |
|---|---|---|
| 科学论文 RAG | QASPER、SciFact、SCIDOCS、LitQA | QASPER 是 NLP paper full-text QA，约 5,049 questions / 1,585 papers；适合论文问答、证据定位、长文档 RAG。来源：QASPER |
| 医疗 / 生物 | BioASQ、PubMedQA、TREC-COVID、NFCorpus | 用于 biomedical retrieval、medical QA、COVID 文献检索。BEIR 中也包含 BioASQ、TREC-COVID、NFCorpus。 |
| 金融 | FiQA | 金融问答/意见检索，常用于 BEIR 检索泛化和金融 RAG。 |
| 对话式知识 | Wizard of Wikipedia、Doc2Dial / MultiDoc2Dial | 测知识型对话、对话状态下的检索与回答。KILT 收录 Wizard of Wikipedia。 |
数据集的选择
- 测 retriever：
BEIR + MS MARCO + NQ/HotpotQA - 测端到端 QA：
NQ + TriviaQA + HotpotQA + WebQuestions/CuratedTREC - 测多跳/综合：
HotpotQA + MuSiQue + 2WikiMultiHopQA + QAMPARI + ASQA - 测引用/可验证性：
ALCE + ASQA + QAMPARI + ELI5 + HAGRID - 测幻觉/鲁棒性：
RGB + CRAG + RAGTruth + FEVER/SciFact - 做中文或多语言 RAG：优先看
RGB、MIRACL/MIRAGE-Bench，再补中文问答/领域私有数据。
LLM · 评价指标
评价指标
常用
- 分类、选择题：Accuracy
- 短答案问答：EM / F1
- 摘要：ROUGE + Faithfulness
- 翻译：BLEU / COMET
- RAG：Recall@k + Faithfulness + Answer Relevancy
- 代码：pass@k / Test Pass Rate
- 对话模型：Win Rate / Human Preference
- 安全模型：Refusal Accuracy / Jailbreak ASR / Toxicity
- 部署系统：Latency / Throughput / Cost
通用正确性指标
| 指标 | 含义 | 适用场景 |
|---|---|---|
| Accuracy | 准确率，答对样本数 / 总样本数 | 选择题、分类、判断题、数学题最终答案 |
| Exact Match, EM | 模型答案和标准答案完全一致才算对 | 开放域问答、抽取式问答、短答案任务 |
| Precision | 模型给出的内容中，有多少是正确的 | 信息抽取、检索、实体识别 |
| Recall | 标准答案中，有多少被模型覆盖到了 | 检索、召回、长答案覆盖度 |
| F1 | Precision 和 Recall 的调和平均 | 问答、信息抽取、开放域 QA |
F1 = 2 * Precision * Recall / (Precision + Recall)
论文 · LightRAG：Simple and Fast Retrieval-Augmented Generation
论文 · MemoRAG：Boosting Long Context Processing With Global Memory-Enhanced Retrieval Augmentation
基础信息
- 论文标题：MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
- 作者：Hongjin Qian, Zheng Liu, Peitian Zhang, Kelong Mao, Defu Lian, Zhicheng Dou, Tiejun Huang
- 会议：WWW 2025
核心贡献：MemoRAG 用轻量长程 memory model 先为超长上下文形成全局记忆，并在任务到来时生成 draft answer clues 来引导检索，再由较强 generator 基于检索证据生成最终答案，从而缓解传统 RAG 对显式查询和良好结构化知识的依赖，在长上下文 QA、总结和复杂领域任务上超过标准 RAG、GraphRAG、HyDE 以及直接读全文的长上下文 LLM。