说米网

除了计算资源和练习数据这些硬实力外，Llama3模型开源的练习思路覆盖了LLM模型的悉数生命周期，提供了各种开源生态系统下的东西。
Llama3的开源，再次掀起了一场大模型的热战，各家争相测评、比照模型的才能，也有团队在进行微调，开发衍生模型。
图片
最近，Meta的AI产品总监Joe Spisak在Weights & Biases举办的会议上，针对Llama系列模型的前史、Llama3的练习思路、开源生态系统、安全方面的作业、相关代码库，以及未来的规划进行了具体介绍。
视频链接:https://www.youtube.com/watch?v=r3DC_gjFCSA
视频总结

Llama系列模型开展前史
实际上，早在2023年2月，Meta就组织了一个团队，这个团队集结了公司内从SysML到模型开发、再到数据处理，集结了各个领域中的尖端研究员，还另外聘请了一些创新型的人才。
图片
Llama2模型在2023年7月份发布，可供商业运用，参数规划从7B到70B，(企业邮箱托管)在其时现已算是最早进的成果了;随后在8月和本年1月，Meta发布了Code Llama;12月推出Purple Llama项目，主要重视模型的安全和信赖问题。
图片
Llama3模型介绍
研究人员运用了至少7倍于Llama2的数据（大约2T个token）来练习Llama3模型(超越15T个token);
在微调方面，Llama2模型的SFT中有一百万条人类标明数据，而在Llama3中，Meta将微调数据量增加了10倍。
图片
Llama3还包含了更大的词汇表，一个新的tokenizer，运转效率更高，功用更强，而且上下文窗口也加倍了。
Joe着重，现在发布的其实是Llama3的十分前期版别，团队原本打算将这些模型称为预发布或预览版别，由于模型并不具有计划中包含的悉数功用。
图片
研制团队针对后练习模型（即指令模型），以及根底模型本身都进行了评价，能够看到8B和70B的指令模型都优于同级比照模型，根底模型Llama370B在各方面也都优于Gemini Pro1.0模型，甚至也优于最近发布的Mistral8*22B，总之模型的功用体现十分强劲。
Meta团队在人类评价上也做了很多作业，标明了一个包含1800个提示词的数据集，提示词根据真人运用的提示词，覆盖了12个关键的用例。
图片
Meta在GitHub上发布了细节，然后向用户询问模型的体现怎么，从试验成果的胜率、平率和负率中能够看到，用户喜爱Llama3远超Llama2，也胜过了其他比照模型。
Llama3背后的开发思路
研制团队在最高层面上考虑的问题主要有四个方面:
图片
模型架构
Llama3运用的是稠密自回归Transformer，在模型中加入了群组查询注意力（grouped query attention，GQA）机制，又添加了一个新的分词器，团队表明会在行将发布的论文中具体介绍这个问题。
练习数据和计算资源
由于练习进程运用了超越15万亿的token，因而需求大量的计算资源，团队自己搭建了计算集群（两个24k H100GPU）用于练习模型。
指令微调
尽管大部分研制团队都更喜爱议论预练习，但实际上模型的效果主要取决于后练习阶段，也是最耗费时刻精力的当地。
Meta团队扩展了人工标明SFT数据的规划（1000万），将GPU数量也扩展到了数万个，还采用了诸如回绝采样、PPO、DPO等技术来尝试在这些模型的可用性、人类特征以及预练习中的大规划数据之间找到平衡。
增强模型的安全性
模型在实用性和安全性之间，必需求进行取舍:Meta团队尝试提高模型的实用性，包含多用途、回答问题的才能、事实上的准确性等，但也需求在安全性方面进行权衡，理解模型在面对诸如完整性类型提示词等情况时的反应。
图片
红队测试在安全领域中也是十分重要的，Meta团队投入了大量的时刻，但挑战和标准一直在改变，关于红队观点也在不断改变。
图片
Meta在未来的研究方向是开发出紫色的Llama（交融了红色和蓝色），即红队和蓝队，也就是进犯方和防御方，开发团队从网络安全领域借鉴了命名方式，也是内部网络安全/生成式AI团队的一位科学家提出的。
研究人员期望最大化模型的价值，也体现出了一种共同思想方式:在Llama2项目中，Meta构建了十分安全的模型，在模型本身包含微调等方面投入了十分多，但模型经常会过度回绝某些内容，体现得「过于安全」，尽管能够保证制造的模型十分安全，但一起，研制团队也期望能有一些灵活性，包含输入和输出的维护办法，让用户能够根据需求定制运用方式。
图片
从微观的视点来看，能够将这个进程看作一个作业流，用户的运用情况会影响到模型的设计和练习:首要需求预备数据来练习模型，然后针对或许导致的不同的危险进行评价。如果发现了一些不理想的当地，再进一步微调模型或采取办法来减轻这些问题。
最后能够将模型部署到如推理阶段，进行提示过滤等作业，涉及到像Llama Guard和Code Shield相似的东西。
图片
团队在上一年12月发布的网络安全防护系统Cybersec Eval现在现已进入了第二个版别，功用有了显著的扩展，而且悉数开源:能够对提示注入、自动防护冒犯性内容、乱用代码解释器等进犯进行识别。
图片
从成果来看，Llama38B的功用十分超卓，在回绝率和违规率之间都达到了理想的方位;而70B模型更连接、更聪明，能够发现:模型越强大，违规的或许性就越大，就需求采取缓解办法。
图片
比较之下，Code Llama70B的回绝率相当高，或许会让用户感到困扰，也是团队计划鄙人一代模型中改正的问题。
下面这个图表展示了模型在对立提示词注入进犯的体现，如重复Token进犯、压服进犯、虚拟化进犯等。
图片
上一年12月，团队发布了 Llama Guard v1，根据 Llama27B，在亚马逊SageMaker、Together等多个渠道上部署过，包含Databricks，相似于内容检查 API，但用户能够自由定制，而且免费。
最近发布的Llama Guard2根据 Llama3，在基准测试中，与GPT-4仍是其他一些API比较，该模型都更强，而且公开可用。
图片
Code Shield基本是一个在模型推理进程中用于网络安全的输入输出维护东西，能够过滤大言语模型生成的不安全代码，如过滤「生成网络钓鱼进犯代码」等
许可证
Llama3在许可证方面没有什么大的改变，能够用于研究和商业用途，能够直接运用，也能够创造一些衍生品，但有一个关于700万每月活泼用户的规则，如果是一个十分大规划的公司来用，需求和Meta进行合作。
开发团队还为品牌制定了一些指导方针，由于有很多公司想要运用Llama，所以需求正确地标明品牌，这些也被写进了许可证。
图片
生态系统
Llama相关的公司十分多，包含硬件供货商，如Nvidia、Intel和Qualcomm，还有各种下流企业和渠道提供商。
图片
Llama还有一个庞大的开源社区，开发团队与GGML团队等也有着亲近的合作关系，还包含Yarn项目（能够扩展上下文长度）等林林总总的相关开源项目。
图片
其他亮点
torchtune是一个朴实的PyTorch微调库，能够很容易地对LLM进行微调，没有各种依靠项，支撑Llama3，现在现已与HuggingFace和其他一些库进行了集成。
图片
Github上还有一些Llama3和Llama的相关资料，有很多入门笔记，LangChain、RAG、提示工程等。
图片
Meta团队也正在练习一个更大的模型Llama3400B+，现在只是抓取了4月15日的checkpoint进行了微调后比照:MMLU达到了86.1，GSM-8K达到了94.1
图片
Llama3之后
团队想要推出更大更好的模型，支撑多种言语:Facebook（FOA）的家庭应用程序现已覆盖了近40亿的用户，多言语对于Llama方针实现的AI场景，以及多模态功用都至关重要，包含在Ray-Ban智能眼镜上实现AI，需求理解周围的全部，不或许只是经过文字来实现，所以多模态功用在未来必定也会推出。
图片
最后，Meta也承诺将持续重视安全问题，将持续开源所有的安全办法，并围绕这些办法建立社区，保证安全性的标准化，并表明一定会坚持下去!