Giraffe是一个新的模型系列，它们是从已发布的基础LLaMA和LLaMA2模型进行微调的，其中包括了从LLaMA微调的4k Giraffe和16k Giraffe，以及从LLaMA2微调的32k Giraffe，并将它们的权重发布在HuggingFace上。Giraffe-32k在开源LLM领域成为一股强大的力量，Giraffe-32k可以执行更复杂的检索操作，出错更少，对于维护长时间对话或要求LLM帮助处理大型现有代码库至关重要。该研究强调了用于上下文长度探索的两种新方法。值得注意的是，ABACUS. AI的一种技术，称为truncation（截断），表现出极具潜力的结果。
Blog | Paper | 项目地址
