返回论文列表
Paper Detail
SPA: A Simple but Tough-to-Beat Baseline for Knowledge InjectionSPA:一种简洁但难以超越的知识注入基线方法
cs.CL大语言模型Transformer热门获取
Anonymous
2026年03月24日
arXiv: 2603.22213v1

作者人数

1

标签数量

3

内容状态

含 PDF

原文 + 中文

同页查看标题和摘要的双语信息

PDF 预览

直接在详情页阅读或下载论文全文

深度分析

继续下钻到 AI 生成的结构化解读

摘要 / Abstract

This paper addresses the challenge of incomplete knowledge coverage in large language models, particularly in specialized and data-scarce domains. The authors propose SPA (Scaling Prompt-engineered Augmentation), a method that uses carefully designed prompts to generate large-scale synthetic training data for knowledge injection. Through systematic comparisons, SPA demonstrates superior performance over strong baselines. The research identifies key limitations in existing approaches: RL-based methods suffer from diversity collapse at scale, while multi-stage prompting advantages disappear after careful tuning. These findings provide valuable insights for optimizing knowledge injection strategies in language models.

本文探讨了大语言模型在知识覆盖方面的不足,特别是在专业性强且数据稀缺的领域。针对这一问题,作者提出了SPA方法(基于提示工程扩展的数据增强),通过精心设计的提示词生成大规模合成训练数据来实现知识注入,并在与强基线的系统比较中展现出优越性能。研究同时揭示了现有方法的局限:基于强化学习的方法在大规模应用时会出现多样性崩溃,而多阶段提示的优势在经过精细调优后逐渐消失。

PDF 预览
1
在 arXiv 查看下载 PDF

分类 / Categories

cs.CLcs.AI

深度分析

AI 深度理解论文内容,生成具有洞见性的总结