说米网

EleutherAI最近发布了一款新的T5模型，名为Pile-T5，旨在处理原始T5模型在处理代码相关使命时的局限性，以及其分词器或许遗漏重要代码标记的问题。Pile-T5模型的推出，标志着在自然言语处理（NLP）和代码了解范畴的一个严重进步。
image.png
模型特点
练习量增加:Pile-T5模型的练习量是原始T5模型的两倍，达到了200万步或2万亿个token。这种大规模的练习使得模型可以学习到更加丰富的言语形式和代码结构，从而提高了其对代码的了解才能。
新的预练习数据集:Pile-T5替代了原始T5模型的预练习数据集，采用了新的LLAMA分词器。(什么是dns)这种分词器专门针对代码和文本的混合输入进行了优化，可以更精确地处理代码相关的使命。
练习过程:在练习过程中，Pile-T5使用了与原始T5相同的超参数，并利用了T5x的技能。这种技能答应模型在练习过程中更有效地利用数据，(机房)提高了练习效率和模型功能。
微调下流使命:Pile-T5在微调下流使命时表现出明显的改善，尤其是在代码使命上。这表明Pile-T5在了解和生成代码方面具有更强的才能。
功能评价
SuperGLUE基准测验:Pile-T5在SuperGLUE基准测验中表现出色，即便在token-matched设置中也大大超过了T5-v1.1。SuperGLUE是一个用于评价模型在多个NLP使命上的功能的基准测验，包括问答、自然言语推理等使命。Pile-T5的优异表现证明了其在这些使命上的强壮才能。
CodeXGLUE “代码到文本”子使命:Pile-T5在CodeXGLUE的”代码到文本”子使命上也显示出明显的功能提高。CodeXGLUE是一个专心于评价模型在代码了解和生成方面功能的基准测验。Pile-T5在这一使命上的提高，进一步证实了其在代码相关使命上的优势。