DeepSeek Coder：当大型语言模型遇到编程时

《DeepSeek Coder：当大型语言模型遇到编程时》一文详细介绍了 DeepSeek-Coder 系列开源代码模型，探讨其在软件开发中的应用，展示了该模型在代码生成等任务上的优势，为相关研究和应用提供重要参考。

研究背景与模型介绍：大型语言模型推动软件开发变革，但开源模型与闭源模型存在性能差距 。DeepSeek-Coder 系列模型为解决这一问题而推出，涵盖多种规模，从 13 亿到 330 亿参数不等，且均为开源，旨在为研究和开发提供更有力的支持 。

数据收集与处理：训练数据来源广泛，包括 87 种编程语言的源代码、英语代码相关自然语言语料库和中文自然语言语料库 。在数据处理过程中，经过爬取、过滤、依赖解析、去重和质量筛选等步骤，以确保数据的高质量和相关性，为模型训练奠定坚实基础 。

模型训练策略：采用 Next Token 预测和 Fill-in-the-middle（FIM）等训练方法 。FIM 通过随机打乱文本顺序并让模型预测缺失部分，提升模型处理代码结构和生成中间内容的能力。实验表明，50% 的 PSM 率在 FIM 训练中效果较好 。使用 HuggingFace Tokenizer 库进行标记化，模型基于 DeepSeek-AI 框架构建，采用旋转位置嵌入（RoPE）和分组查询注意力（GQA）等技术提升性能 。

实验结果与分析：在代码生成任务中，DeepSeek-Coder 在 HumanEval 和 MBPP 等基准测试中表现出色，超越了许多现有开源模型，甚至在部分指标上超过了闭源的 GPT-3.5-Turbo 。在跨文件代码完成任务中，该模型也展现出优势，能有效处理跨文件依赖关系 。在程序辅助数学推理任务上，DeepSeek-Coder 同样表现良好，在多个基准测试中取得较高准确率 。

模型优势与应用案例：DeepSeek-Coder 的优势在于其开源特性，允许研究人员和开发者自由使用、修改和扩展 。通过多轮对话构建数据库、分析数据以及解决 LeetCode 问题等应用案例，展示了该模型在实际编程场景中的有效性和实用性 。