说米网

自 Meta 发布开源大模型 Llama2以来，围绕着该模型的「二创」项目便多了起来。
此前7月，特斯拉前 AI 总监、重回 OpenAI 的 Andrej Karpathy 运用周末时刻，做了一个关于 Llama2的有趣项目 llama2.c，让用户在 PyTorch 中练习一个baby Llama2模型，然后运用近500行纯 C、无任何依赖性的文件进行推理。
今天，在 Karpathy llama2.c 项目的基础上，又有开发者创建了一个发动 Llama2的演示操作体系，以及一个调用用户形式帮手进行 Llama2推理的内核模块。该项目名为 Llama2Everywhere（简称为 L2E）。
不过，作者也表明，当前的体系要求是512MB RAM 和 x86_64（64位）PC，可用性有待提高。
同时，这个项目还藏有一些彩蛋，比方《消灭兵士》游戏，不过有必要解答谜题才能找到它。
图片
项目地址:https://github.com/trholding/llama2.c
Andrej Karpathy 也转发了这个新项目，表明它具有了「独立运转、二进制、便携和可发动」等特性。他估计自己的 llama2.c 项目将走向成功，这个新项目扩展了想象力。
图片
哈尔滨域名注册,L2E 得到了各路网友的认可，有人表明，这真是太棒了。基本上能够在任何旧笔记本上发动，并且能够仅在 CPU 上运转，8G 内存就够了，16G 更好。
图片
也有人觉得该项目十分像为上帝开发的操作体系 TempleOS（它由已故天才程序员 Terry Davis 独自开发），但项目作者表明自己只是对 Terry 和 TempleOS 的问候。
L2E 只是运用 Linux 内核和一些常识构建了一个操作体系，与 Terry 从头开始构建的操作体系存在天壤之别。
图片
接下来了解一下 L2E 项目的初衷、Demo 和特性。
L2E 项目介绍
项目作者表明，L2E 旨在确保其在各种设备上的兼容性，比方在 chromebook 上发动、在企业高密度 unikernel 上布置。
未来，经过运用很多具有适度硬件要求的网络化、分布式和自和谐的小规模专业 LLM，该项目有潜力开释逾越单个大规模 LLM 的集体智慧。
目前，L2E 显著的用例是在不同文本源上练习小规模模型，包含教科书、敞开书本和 SlimPajama 语料库等。这些经过练习的模型运用 L2E 进行布置，然后作为可发动实例在老旧过时的校园核算机上运转。这种布置计划可在互联网连接有限或网络不可用的校园图书馆或教室中发挥重要价值。
项目的最终目标是创建一个包容性的 AI 生态体系，能够习惯多样化的环境，并在全球范围内为个人和社区赋能。
此外经过运用各种硬件遥测数据练习，期望模型能够学会解说传感器输入并依据从传感器输入中收集的 insight 来操控执行器。这一研究方向或许会在自动化、太空、机器人和物联网等范畴发挥作用，而 L2E 将对弥合 AI 和物理体系之间的距离发挥关键作用。
L2E Demo 展现
项目作者展现了发动 Llama2的一些示例。
如下为 Linux 内核的 L2E 操作体系，现在能够在核算机上真正发动并推理 Llama2模型了。
图片
图片
此外能够做 cat /dev/llama 并回显 “Sudo make me a sandwich!” > /dev/llama 等指令，或许传递一个内核参数 l2e.quest=”What is the meaning of life?”。
图片
最后还能够在大型企业服务器上发动并推理一组1000个 Virtural Baby Llama2模型。
图片
L2E 具有很强的便携性，能够在任何 x86_64操作体系上运转单个可执行文件，比方 Windows、GNU Linux、GNU/Systemd、NetBSD、OpenBSD 等。独立性则表现在能够经过 ZipOS （cosmocc）、INCBIN、strliteral 嵌入模型和 tokenizer。L2E 能够在 CPU/GPU 上运转。
图片
更多细节内容请参阅原项目。