Gated Attention Text Connector

Gated Attention，一种在缩放点积注意力（SDPA）后应用可学习的输入依赖型门控机制的技术，能显著提升模型的训练稳定性和长上下文泛化能力。