一篇名为《Scaling Transformer to 1M tokens and beyond with RMT》（Paper）最近在技术圈引发热议

1. 15:44 · Apr 26, 2023 · Wed

   

   ×

   

   一篇名为《Scaling Transformer to 1M tokens and beyond with RMT》（Paper）最近在技术圈引发热议。有推友用chatgpt给这篇论文做了一个通俗易懂的总结。| 地址
   
   该论文提出一种名为 RMT 的新技术，或许可将 Transform 的 Token 上限扩展至 100 万，甚至更多。
   
   而目前最强的 GPT-4-32k，其 Token 上限也才 3.2 万，这就导致了它并不能很好的处理长文内容。像文档、书籍、代码这种大块内容，往往需要先对内容进行切割，分多次喂给 GPT，但 GPT 本身能理解的上下文内容有限，这就很容易导致结果偏离预期。
   
   如果未来 Token 的上限能够不断突破，将会创造出更多 AI 应用场景。包括之前所畅想的，训练一个无限接近自己人格的 AI 聊天机器人。