继此前在2023年8月推出基于Llama 2大模型打造的开源代码模型Code Llama后,日前Facebook母公司Meta方面宣布推出Code Llama的70B版本。并表示,Code Llama 70B可以处理更多的内容,更好地帮助开发者处理编程时遇到的问题,是“Code Llama家族中体量最大、性能最好的模型版本”。
据悉,Code Llama 70B能够高效准确地生成多种编程语言的代码,包括Python、C++、Java等。其在HumanEval基准测试中的准确率达到了53%,超过GPT-3.5的48.1%,但距离OpenAI论文中给出的GPT-4的准确率(67%)还有一段差距。
据了解,Code Llama 70B保持着与Code Llama相同的许可协议,即同样支持免费商用。而且与Code Llama一样,Code Llama 70B也分为原版、针对自然语言指令微调的Instruct版,以及针对Python微调的Python版。
对此Meta CEO扎克伯格表示,“编写和编辑代码已成为当今大模型最重要的用途之一。编码的能力也被证明对于大模型更严格、更有逻辑地处理其他领域的信息非常重要”。值得一提的是,扎克伯格还希望这些成果能够应用到Llama 3中。
不久前扎克伯格曾证实,Llama 3已在训练中,并称其将具备更强的代码生成能力、更高级的推理和规划能力。同时扎克伯格还透露,预计到2024年底,Meta将拥有庞大的AI算力资源,包括350000块H100,如果将其他GPU包括在内,其算力将相当于近60万块H100。
此外Meta AI部门还进行了调整,包括将原本独立运作的AI基础研究团队Facebook AI Research(FAIR)并入产品部门。对此,Meta首席产品官Chris Cox曾表示,“通过这一变化,我们提高了AI研究的重要性,将其视为公司和产品长期成功的重要组成部分”。
【以上内容转自“三易生活网”,不代表本网站观点。如需转载请取得三易生活网许可,如有侵权请联系删除。】
延伸阅读:
- Meta展示AI构建工具Builder Bot,仅依靠语音指令就能构建场景
- The Verge:Meta计划2024年发布兼容“神经腕带”的AR智能眼镜
未经允许不得转载:零时古怪 - 中国第一时事资讯综合门户 » Meta方面发布并开源代码大模型Code Llama 70B