说米网

OnnxStream是一款专注于削减内存占用、进步推理功率的机器学习推理引擎。它的设计方针是在资源受限的环境中运转深度学习模型，如树莓派Zero2，该设备只有512MB的RAM。
通过OnnxStream，用户现在能够在这种低功耗设备上运转复杂的算法，这关于需要在移动环境中处理很多数据的用户来说是一个重大突破。
image.png
项目地址:
https://github.com/vitoplantamura/OnnxStream/tree/846da873570a737b49154e8f835704264864b0fe
现在，OnnxStream的源代码已经在GitHub上开源，任何感兴趣的用户都能够检查和运用。这一创新为在资源有限的环境中运转深度学习算法供给了新的可能性，关于技术爱好者和开发者来说是一个令人振奋的消息。
中心功能:
1. 内存占用极低:OnnxStream的最大特色之一是其超卓的内存管理能力。它能够将内存占用降低到极低的水平，乃至能够在RAM只有512MB的树莓派Zero2上运转大型深度学习模型，如Stable Diffusion XL1.0。
2. 权重加载器:OnnxStream供给了权重加载器（WeightsProvider）的接口，用户能够依据自己的需求完成不同的权重加载逻辑。默许情况下，OnnxStream供给了两种加载器:DiskNoCache和DiskPrefetch，别离用于不缓存和预加载权重数据。
3. 注意力切片:在运转UNET模型时，OnnxStream支撑注意力切片（Attention Slicing），这能够显著削减计算中的内存占用，从而使模型在资源受限的设备上运转愈加顺畅。
4. 动态量化和静态量化:OnnxStream支撑动态量化和静态量化，这有助于削减模型的内存占用，并进步推理速度。(ftp服务器架设)用户能够依据自己的需求选择不同的量化方式。
5. 跨渠道支撑:OnnxStream能够在多个渠道上运转，包括Linux、Mac、Windows和Termux。它的跨渠道性使得用户能够在不同的设备上灵活运用。