机锋资讯:近日,Meta 公司开发的全新语言大模型 Code Llama,为开源项目,可以支持所有人的研究与使用,预计最快可能在本周内推出。
根据最新的消息,这套新的编码模型将与 OpenAI 打造的 Codex 正面抗衡,并基于 Meta 的 Llma 2 软件——这是一种能够理解并生成会话文本的大语言模型。
这场革命性的对决,可能对于AI编程这个项目又是一次全新的巨大突破。
大家对于GPT肯定已经不在陌生,那么我为大家解释一下什么是Code Llama。
Code Llama是基于Llama 2 编码的一种全新大型AI框架,并且由于其开源的性质,对于所有人都是公开且免费的,不需要像open AI 谷歌newbing那样有专门的平台,可能还需要支付一定的费用。
并且这种开源的性质是史无前例的,这意味着可以无缝衔接所有的AI语音助手,不需要麻烦琐碎的节点建立过程,这一举措,将会从目前的大模型生成平台中夺取大量的原生用户。
有网友将这俩个模型进行了编码比赛,实测得出,目前Code Llama 距离GPT4.0还有一些距离
于是不久后,基于 Code Llama 微调的 WizardCoder 34B,在 HumanEval 基准上,直接打败了 GPT-4。
关于目前的Code Llama,暂且只有以下信息。
1. Code Llama 在 500B 的 token 上训练而来,而 Llama 2 是在 2T 的 token 上训练而来。
由于 Code Llama 训练的数据和 Llama 2 相比只有 1/4,可能因为没有足够的训练数据,再加上 LLM 的 Scaling Laws 的限制,导致 CodeLlama70B 性能不太行。
2. Code Llama 模型支持 100k 的上下文大小,这个能力在处理代码任务时非常有用。
关于Code Llama的最新消息,机锋网也会持续保持关注,作为一款开源的大模型,我们都期待着它能为AI生成平台带来全新的变革。