说米网

来自新加坡科技设计大学和新加坡办理大学的研究人员发布了一篇题为《LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models》的论文。该论文介绍了一种名为 LLM-Adapters 的适配器系列，用于大型言语模型的参数高效微调。该适配器系列可在不影响模型功用的情况下削减微调所需的参数数量，从而提高微调功率。
image.png
代码:https://github.com/AGI-Edgerunners/LLM-Adapters
LLM-Adapters 结构包含了最早进的敞开拜访大型言语模型，如 LLaMA、BLOOM、OPT 和 GPT-J，以及广泛运用的适配器，具体如下:
1、串联适配器（Series Adapter）:在每个Transformer块的多头自注意力层和前馈层后串联地增加瓶颈前馈层，如图1(a)所示。
image.png
2、并行适配器（Parallel Adapter）: 如图1(b)所示，将瓶颈前馈层与每个Transformer层的多头自注意力层和前馈层并行地集成。
image.png
3、LoRA:如图1（c）所示，向现有层中注入低秩可练习矩阵，完成参数高效微调。
image.png
LLM-Adapters结构设计在研究、efficient、模块化和可扩展方面表现良好，允许集成新的适配器和用新的更大规划的言语模型进行评价。
为了评价 LLM-Adapters 中的适配器的有效性，作者在6个数学推理数据集进步行了试验。试验结果表明，在简单的数学推理使命上,厦门，（厦门域名注册）运用较小规划言语模型的参数高效微调仅需要很少的可练习参数，就能达到强壮言语模型在零样本揣度中可比的功用。总体而言，LLM-Adapters 结构供给了一个有希望的结构来微调大型言语模型用于下流使命。
核心功用:
适配器集成:将各种适配器（如 LoRA、AdapterH、AdapterP、Parallel）集成到 LLMs 中，供给灵活的模型适配才能。
参数高效微调:运用适配器进行参数高效微调，削减参数量，节省练习时间和核算资源。
支撑多种使命:适用于各种 NLP 使命，如言语生成、问答、机器翻译等。
供给预练习模型:集成了 LLaMa、OPT、BLOOM 和 GPT-J 等最早进的预练习模型，可直接运用。
简化模型练习和推理:供给练习和推理代码示例，简化模型练习和推理流程。
LLM-Adapters 是一个强壮的工具，可协助用户快速搭建和优化大型言语模型，并在各种 NLP 使命上取得优异的功用。
（举报）