Skip to main content

StarCoder模型是一个15.5B参数模型，使用80多种编程语言的GitHub代码进行训练

  1. StarCoder模型是一个15.5B参数模型，使用80多种编程语言的GitHub代码进行训练。

    该模型采用了多查询注意力和8192个Token的上下文窗口，使用了1万亿个Token的填充中间目标进行训练。可用于生成代码片段，但生成的代码不保证有效、没有漏洞或不包含漏洞 | github