百川智能发布Baichuan 2，王小川：全面领先LLaMA 2
腾讯云、阿里云、火山方舟、华为、联发科等众多知名企业均参加了本次发布会并与百川智能达成了合作。
作者丨韩文静
从今年4月成立后，百川智能相继推出便相继发布了Baichuan-7B、Baichuan-13B两款开源免费可商用的中文大模型后，这次他们推出了新的产品。9月6日，百川智能宣布正式开源微调后的Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat与其4bit量化版本，并且均为免费可商用。这款大模型进化到什么程度？百川智能CEO王小川表示，这款大模型全面超越了LLaMA2的性能。“Baichuan7B 70亿参数模型在英文评测级上就已经能够去齐平LLaMA2130亿参数的模型。因此，我们说以小博大，小模型相当于大模型，我们有同尺寸大的模型就可以得到更高的性能，全面超越了LLaMA2的性能。”值得一提的是，百川智能同时开源了模型训练的Check Point，并宣布将发布 Baichuan 2技术报告，内容涵盖了Baichuan 2的训练细节，帮助大模型学术机构、开发者以及企业用户更深入的了解其训练过程，更好地推动大模型学术研究和社区的技术发展。基于 2.6万亿高质量多语言数据进行训练，Baichuan2-7B-Base 和 Baichuan2-13B-Base保留了上一代开源模型良好的生成与创作能力，流畅的多轮对话能力以及部署门槛较低等众多特性的基础上，两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。这其中，Baichuan2-13B-Base相比上一代13B模型，数学能力提升49%，代码能力提升46%，安全能力提升37%，语义理解能力提升15%，逻辑推理能力提升25%。
在MMLU、CMMLU、GSM8K等几大权威评估基准中，以绝对优势领先LLaMA2，相比其他同等参数量大模型，性能大幅度优于LLaMA2等同尺寸模型竞品。
此外，值得注意的是，据MMLU等多个权威英文评估基准评分 Baichuan2-7B以70亿的参数在英文主流任务上与130亿参数量的LLaMA2持平。据了解，Baichuan2-7B和Baichuan2-13B不仅对学术研究完全开放，开发者也仅需邮件申请获得官方商用许可后，即可免费商用。国内首创全程开源模型训练Check Point，助力学术研究百川智能开源了模型训练从220B到2640B全过程的 Check Ponit，这对于科研机构研究大模型训练过程、模型继续训练和模型的价值观对齐等极具价值，同时也将极大推动国内大模型的科研进展。
为帮助从业者深入了解Baichuan 2的训练过程和相关经验，更好地推动大模型社区的技术发展。百川智能在发布会上宣布，公开Baichuan2的技术报告，内容涵盖了Baichuan 2 训练的全过程，包括数据处理、模型结构优化、Scaling law、过程指标等。事实上，百川智能成立不到四个月，便相继发布了Baichuan-7B、Baichuan-13B两款开源免费可商用的中文大模型，以及一款搜索增强大模型Baichuan-53B。自成立之初，百川智能就将通过开源方式助力中国大模型生态繁荣作为公司的重要发展方向。
据悉，凭借行业领先的基础大模型研发和创新能力，此次开源的两款Baichuan 2大模型，与腾讯云、阿里云、火山方舟、华为、联发科等众多知名企业达成了合作。（首图来源：企业供图）
