DeepSeek Coder：当大型语言模型遇到编程时-代码智能的兴起

图1|DeepSeek-Coder的性能Abstract*核心贡献者，按名称字母顺序排序。arXiv:2401.14196v2[cs.SE]2024年1月26日大型语言模型的快速发展已彻底革新了软件开发中的代码智能。然而，主要依赖闭源模型限制了广泛的研究与开发。为解决这一问题，我们推出了DeepSeek-Coder系列开源代码模型，其规模从13亿到330亿不等，并从2万亿个标记中从头开始训练。这些模型预先在高质量的项目级代码语料库上进行训练，并采用16K窗口的填空任务来增...