≡ AI百科

什么是NSA(Native Sparse Attention) – AI百科知识

分类:AI百科
什么是NSA(Native Sparse Attention) – AI百科知识

NSA(Native Sparse Attention)是DeepSeek提出的一种新型稀疏注意力机制,通过算法创新和硬件优化提升长文本建模的效率。NSA的核心在于动态分层稀疏策略,结合粗粒度的Token压缩和细粒度的Token选择,同时保留全局上下文感知能力和局部精确性。