Ting BLOG🐈

论文 · Smooth Reading: Bridging the Gap of Recurrent LLM to Self-Attention LLM on Long-Context Understanding

Ting published on 2026-07-08 included in 论文阅读

基础信息

论文：Smooth Reading: Bridging the Gap of Recurrent LLM to Self-Attention LLM on Long-Context Understanding
作者：Kai Liu, Zhan Su, Peijie Dong, Fengran Mo, Jianfei Gao, Shaoting Zhang, Kai Chen
会议：ICLR 2026
主题：Recurrent LLM, long-context understanding, End-to-End Multi-Round inference, architecture-inference co-design
核心贡献：本文认为 Recurrent LLM 长上下文表现差并非只因架构记忆不足，而是 One-Round inference 与固定大小记忆不匹配；提出 Smooth Reading，将 Recurrent LLM 与 End-to-End Multi-Round inference 结合，通过 chunk reading、contextual summary、hidden memory preservation 和 early stopping，在保持线性复杂度的同时接近或超过 Self-Attention LLM 的长上下文表现。

Q1. 研究动机

Self-Attention LLM 长上下文能力强，但计算复杂度随长度二次增长；Recurrent LLM 线性计算、常数内存，更适合超长上下文，却在 LongBench 等任务上落后。以往研究主要改架构、增大记忆容量，但仍未追平 Self-Attention。作者认为问题在于传统 One-Round inference 把整个长上下文一次性塞入固定记忆，导致 memory overwhelm。

IELTS Skill

Ting published on 2026-07-08 included in 工具使用

使用

Skill	干啥	触发词
`/ielts`	路由入口 + 摸底 + 给建议	「我要备考雅思」「IELTS」
`/ielts-writing`	写作四维批改 + 改写对比 + 审题	「批改作文」「帮我看看这篇」
`/ielts-reading`	同义替换提取 + T/F/NG 拆解 + 错题诊断	「分析阅读」「这道为什么错」
`/ielts-speaking`	5 个万能故事覆盖 80% Part 2 话题	「口语素材」「Part 2 准备」

LLM · RAG常见数据集

Ting published on 2026-07-07 included in LLM基础概念

常见数据集

经典 Open-Domain QA / RAG 原始论文常用

数据集	主要用途	简介与特点
Natural Questions, NQ	开放域 QA、检索器训练、RAG 端到端评测	Google 真实搜索问题 + Wikipedia 页面标注，含 long answer / short answer。NQ 是 DPR、REALM、RAG 等论文的核心基准之一。原始数据约 307k train、7.8k dev、7.8k hidden test。适合测“能不能从大规模 Wikipedia 找到证据并回答”。来源：Google NQ
TriviaQA	开放域 QA、检索增强问答	约 95k trivia 问答，超过 650k question-answer-evidence triples；问题更复杂，答案和证据句常有较大词面差异。常用于训练/评估 dense retriever 和 RAG。来源：TriviaQA paper
WebQuestions	短答案 factoid QA	基于 Freebase 的自然语言问题，规模小但历史上很常用；RAG 原始论文用它评估 open-domain QA。缺点是 Freebase 过时、规模小，今天更多作为经典对照。
CuratedTREC / TREC QA	小规模事实问答	常见于 DrQA、DPR、RAG 早期论文，问题多为简短 factoid。优点是历史可比性强；缺点是规模小、容易受模型记忆影响。
SQuAD / SQuAD-Open	阅读理解转开放域检索 QA	SQuAD 原本是给定段落抽取答案，约 100k+ Wikipedia 问题；SQuAD-Open 会把上下文移除，要求系统先检索再回答。来源：SQuAD
MS MARCO	passage retrieval、reranking、abstractive QA	来自 Bing 查询日志，约 1M 问题、8.8M passage。RAG 论文常用它测“真实搜索式问题 + 生成式答案”。也是训练检索器、reranker 的核心工业级数据。来源：MS MARCO

多跳推理 / 信息整合类 RAG

数据集	主要用途	简介与特点
HotpotQA	multi-hop QA、supporting facts 检索	113k Wikipedia 多跳问答，要求跨多个文档推理，并标注 sentence-level supporting facts。RAG 里常用来测“检索多篇证据 + 合成答案”。有 distractor 和 fullwiki 两种设定。来源：HotpotQA
2WikiMultiHopQA	多跳推理、路径解释	基于 Wikidata + Wikipedia 构造，强调 reasoning path，常用于测 query decomposition、多跳检索、graph/RAG。来源：2WikiMultiHopQA
MuSiQue	更难的 2-4 hop QA	25k 多跳问题，专门减少 shortcut，使单跳模型难以投机。适合测复杂 RAG pipeline 的分解、迭代检索、证据组合。来源：MuSiQue
StrategyQA	隐式多跳推理	2,780 个 yes/no 问题，推理步骤不会直接写在问题中，并提供 decomposition 和 Wikipedia evidence。适合测 RAG 是否会规划检索策略。来源：StrategyQA
QAMPARI	多答案聚合 QA	问题答案是实体列表，分散在多个段落中；适合测 RAG 的 broad retrieval、coverage、去重和答案聚合能力。来源：QAMPARI
ASQA	歧义问题 + 长答案综合	面向 ambiguous questions，要求生成能覆盖多种解释的长答案。常被 citation/RAG 论文用来测综合能力和可验证性。来源：ASQA
ELI5	长答案生成	Reddit “Explain Like I’m Five” 约 270k threads，答案长、开放、解释型；RAG 论文用来测 long-form generation 与证据支持。来源：ELI5

检索基准 / Retriever 评测

数据集 / Benchmark	主要用途	简介与特点
BEIR	zero-shot retrieval 统一评测	RAG 论文常先测 retriever，再测 generator。BEIR 集成 MS MARCO、NQ、HotpotQA、FiQA、TREC-COVID、NFCorpus、ArguAna、Touché、CQADupStack、Quora、DBPedia、SCIDOCS、FEVER、Climate-FEVER、SciFact 等，覆盖新闻、科学、金融、医疗、论坛、事实核查。指标常用 nDCG@k、Recall@k、MRR、MAP。来源：BEIR
KILT	统一 knowledge-intensive NLP + provenance	把 FEVER、AIDA、T-REx、zsRE、NQ、HotpotQA、TriviaQA、ELI5、Wizard of Wikipedia 等任务统一到同一个 Wikipedia knowledge source 和 evidence/provenance 格式。非常适合端到端 RAG、可溯源生成。来源：KILT
MIRACL / MIRAGE-Bench	多语言检索与多语言 RAG	MIRACL 常用于多语言 dense retrieval；MIRAGE-Bench 在此基础上做 multilingual RAG arena-style 评测。适合中文/多语言 RAG。来源：MIRAGE-Bench

事实核查、可归因、幻觉检测

数据集	主要用途	简介与特点
FEVER	fact verification + evidence retrieval	185,445 条 Wikipedia claims，标签为 supported/refuted/not enough info，并标注证据句。RAG 原始论文也用 FEVER 测分类式 retrieval-augmented generation。来源：FEVER
SciFact	科学事实核查	科学 claim + paper abstract evidence，常在 BEIR/RAG 评测中用于 scientific RAG。规模小但证据要求高。
Climate-FEVER	气候事实核查	气候相关 claims + evidence，常用于检索鲁棒性、争议性事实、领域 RAG。
ALCE	带引用生成评测	Automatic LLMs’ Citation Evaluation，要求系统检索证据并生成带 citation 的答案；常用 ASQA、QAMPARI、ELI5。评估 fluency、correctness、citation quality。来源：ALCE
HAGRID	attributed generative search	面向生成式信息检索，要求生成解释并给出可归因引用；基于 MIRACL English 构建。来源：HAGRID
RAGTruth	RAG 幻觉标注	约 18k RAG 生成回答，带 case-level 和 word-level hallucination annotation；适合训练/评估 hallucination detector。来源：RAGTruth

专门为 RAG 设计的新 benchmark

数据集	主要用途	简介与特点
RGB	RAG 基础能力诊断	中英双语，测试 noise robustness、negative rejection、information integration、counterfactual robustness。很适合分析“检索到噪声/错误证据时 LLM 会不会被带偏”。来源：RGB
CRAG	真实动态 QA + API/RAG	Comprehensive RAG Benchmark，4,409 个 factual QA，含 mock web / KG APIs，覆盖 5 个领域、8 类问题、实体流行度和时间动态性。KDD Cup 2024 相关，适合测现代 agentic/web RAG。来源：CRAG
RAGBench	工业 RAG 质量评测	100k examples，覆盖多个行业语料和 RAG 任务，带可解释标签，用于评估 retrieval relevance、answer faithfulness、context utilization 等。来源：RAGBench

垂直领域常见数据集

领域	常见数据集	用法
科学论文 RAG	QASPER、SciFact、SCIDOCS、LitQA	QASPER 是 NLP paper full-text QA，约 5,049 questions / 1,585 papers；适合论文问答、证据定位、长文档 RAG。来源：QASPER
医疗 / 生物	BioASQ、PubMedQA、TREC-COVID、NFCorpus	用于 biomedical retrieval、medical QA、COVID 文献检索。BEIR 中也包含 BioASQ、TREC-COVID、NFCorpus。
金融	FiQA	金融问答/意见检索，常用于 BEIR 检索泛化和金融 RAG。
对话式知识	Wizard of Wikipedia、Doc2Dial / MultiDoc2Dial	测知识型对话、对话状态下的检索与回答。KILT 收录 Wizard of Wikipedia。

数据集的选择

测 retriever：BEIR + MS MARCO + NQ/HotpotQA
测端到端 QA：NQ + TriviaQA + HotpotQA + WebQuestions/CuratedTREC
测多跳/综合：HotpotQA + MuSiQue + 2WikiMultiHopQA + QAMPARI + ASQA
测引用/可验证性：ALCE + ASQA + QAMPARI + ELI5 + HAGRID
测幻觉/鲁棒性：RGB + CRAG + RAGTruth + FEVER/SciFact
做中文或多语言 RAG：优先看 RGB、MIRACL/MIRAGE-Bench，再补中文问答/领域私有数据。

LLM · 评价指标

Ting published on 2026-07-07 included in LLM基础概念

评价指标

常用

分类、选择题：Accuracy
短答案问答：EM / F1
摘要：ROUGE + Faithfulness
翻译：BLEU / COMET
RAG：Recall@k + Faithfulness + Answer Relevancy
代码：pass@k / Test Pass Rate
对话模型：Win Rate / Human Preference
安全模型：Refusal Accuracy / Jailbreak ASR / Toxicity
部署系统：Latency / Throughput / Cost

通用正确性指标

指标	含义	适用场景
Accuracy	准确率，答对样本数 / 总样本数	选择题、分类、判断题、数学题最终答案
Exact Match, EM	模型答案和标准答案完全一致才算对	开放域问答、抽取式问答、短答案任务
Precision	模型给出的内容中，有多少是正确的	信息抽取、检索、实体识别
Recall	标准答案中，有多少被模型覆盖到了	检索、召回、长答案覆盖度
F1	Precision 和 Recall 的调和平均	问答、信息抽取、开放域 QA

F1 = 2 * Precision * Recall / (Precision + Recall)

论文 · LightRAG：Simple and Fast Retrieval-Augmented Generation

Ting published on 2026-07-06 included in 论文阅读

基础信息

论文标题：LightRAG: Simple and Fast Retrieval-Augmented Generation
作者：Zirui Guo, Lianghao Xia, Yanhua Yu, Tu Ao, Chao Huang
版本信息：arXiv:2410.05779v3，2025-04-28

核心贡献：LightRAG 通过图结构文本索引、低层实体检索与高层主题检索相结合的双层检索，以及增量更新机制，在保持较低检索成本的同时提升复杂语义查询下的 RAG 回答质量。

论文 · MemoRAG：Boosting Long Context Processing With Global Memory-Enhanced Retrieval Augmentation

Ting published on 2026-07-06 included in 论文阅读

基础信息

论文标题：MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
作者：Hongjin Qian, Zheng Liu, Peitian Zhang, Kelong Mao, Defu Lian, Zhicheng Dou, Tiejun Huang
会议：WWW 2025

核心贡献：MemoRAG 用轻量长程 memory model 先为超长上下文形成全局记忆，并在任务到来时生成 draft answer clues 来引导检索，再由较强 generator 基于检索证据生成最终答案，从而缓解传统 RAG 对显式查询和良好结构化知识的依赖，在长上下文 QA、总结和复杂领域任务上超过标准 RAG、GraphRAG、HyDE 以及直接读全文的长上下文 LLM。