Jamba是什么

Jamba是由AI21 Labs推出的首个基于Mamba架构的生产级别的大语言模型，目前大部分的大模型（如GPT、Gemini 和 Llama）都是基于 Transformer 结构。而 Jamba 结合了 Mamba 结构化状态空间模型（SSM）和 传统Transformer 架构，兼具了高质量输出、高吞吐量和低内存占用的优点。该混合结构的模型提供了256K的上下文窗口，显著提升了处理长文本时的吞吐量和效率。

Jamba 以开放权重的形式发布，遵循Apache 2.0开源许可，鼓励社区进行进一步的研究和优化。目前，Jamba 目前作为研究模型发布，没有必要的商业用途保障。AI21 Labs 计划在未来几周内发布一个经过微调、更安全的版本。