大语言模型下游任务性能的有效性，高度依赖于后训练数据的多样性。现有方法多采用基于文本的指标来衡量数据多样性，但这些指标仅能捕捉语言层面的变化，对决定下游性能的任务相关特征只能提供微弱信号。

为此，研究人员引入了特征激活覆盖率（FAC），这是一种在可解释的特征空间中衡量数据多样性的新指标。基于此指标，研究进一步提出了一个名为FAC Synthesis的多样性驱动数据合成框架。该框架首先使用稀疏自编码器从种子数据集中识别缺失的特征，然后生成明确反映这些特征的合成样本。

实验表明，该方法在包括指令遵循、毒性检测、奖励建模和行为引导在内的多种任务上，能持续提升数据多样性和下游性能。一个有趣的发现是，研究识别出了跨模型家族（如LLaMA、Mistral和Qwen）共享的可解释特征空间，这为跨模型知识迁移提供了可能。

这项工作为探索以数据为中心的大语言模型优化，提供了一种坚实且实用的方法论。