大语言模型下游任务的有效性能高度依赖于训练后数据的多样性。现有方法多采用基于文本的指标来衡量数据多样性，但这些指标仅能捕捉语言层面的变化，对决定下游性能的任务相关特征提供的信号较弱。

本研究引入了特征激活覆盖率（FAC），作为一种在可解释的特征空间内衡量数据多样性的新指标。基于此指标，研究人员进一步提出了一个名为FAC Synthesis的多样性驱动数据合成框架。该框架首先使用稀疏自编码器从种子数据集中识别缺失的特征，然后生成明确反映这些特征的合成样本。

实验表明，该方法在包括指令遵循、毒性检测、奖励建模和行为引导在内的多种任务上，都能持续提升数据多样性和下游性能。一个有趣的发现是，研究识别出了跨模型家族（如LLaMA、Mistral和Qwen）共享的可解释特征空间，这使得跨模型的知识迁移成为可能。

这项工作为探索以数据为中心的大语言模型优化提供了一种坚实且实用的方法论。通过直接在特征空间进行操作，FAC框架能够更精准地补充模型所需的知识，从而以更少的数据实现更优的性能提升。