编辑|PandaTransformer 是当前 LLM 大发展的核心基础,但也有不少顶尖研究者更愿意探索其它道路。在这其中,甚至包括 Transformer 的创造者之一、Sakana AI 创始人联创兼 CTO Llion Jones。他今天还在 Sakana 的官推上发了一篇博客,题目便赫然是《为什么 Transformer 的这位创造者受够了 Transformer》。https://x.c ...
谷歌研究科学家 David Ha:Transformer 是新的 LSTM。 2017 年 6 月谷歌发布论文《Attention is All You Need》时,我们或许都没有意识到它提出的 Transformer 架构将带来多少惊喜。 在诞生至今不足四年的时间里,Transformer 不仅成为自然语言处理领域的主流模型(基于 Transformer ...