“Transformer完全不能支撑我们下一步，尤其是在Agent时代走向下一步。”12月18日，90后AI大牛、阶跃星辰首席科学家张翔雨公布了自己最新的研究结论，直指当前AI领域核心架构Transformer的技术瓶颈。 Transformer架构是当前人工智能，特别是生成式AI和大语言模型的基石。它是2017 年由谷歌团队在论文《Attention Is All ...

TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。 今天，阿布扎比支持的技术创新研究所 (TII) 开源了全球第一个通用的大型Mamba架构模型——Falcon Mamba 7B。

在圆桌论坛环节，当主持人把话筒递给阶跃星辰首席科学家张祥雨，询问关于模型架构未来时，这位学术大牛抛出了一枚“深水炸弹”：现有的Transformer架构无法支撑下一代Agent。

The transformer, today's dominant AI architecture, has interesting parallels to the alien language in the 2016 science fiction film "Arrival." If modern artificial intelligence has a founding document ...