说米网

在弗兰克·赫伯特的《沙丘》中，沙漠星球厄拉科斯的沙丘下隐藏着一种价值连城:香料。
这种神秘物质使太空游览成为或许，能延长寿数，并具有扩展认识的作用，是国际中最宝贵的财富。“谁操控了香料，谁就操控了国际”。正如香料在《沙丘》国际中占据着至关重要的位置相同，在当今的生成式人工智能年代，数据也承载着相似人物。
就像《沙丘》中对香料的抢夺，实际国际里各方实力也在为数据资源展开剧烈角逐。海量的数据如同埋藏在数字国际沙丘下的“香料”，蕴藏着难以估计的价值。而那些能够高效收集、办理和运用数据的企业，就像小说中操控香料的实力，在这场数据抢夺战中占据着优势位置。
如同香料在《沙丘》国际中的供给并不是无限的假如开采过度或生态系统受到破坏，香料的产值或许会大幅削减乃至耗尽，数据也或许被耗尽。汉邦域名,依据非营利研究组织Epoch AI的最新论文，大言语模型会在2028年耗尽互联网文本数据。
大模型真的在吞噬人类的全部数据吗?咱们是否正处在一个看似无尽的数字香料狂潮中，不断地向这些饥渴的大模型供给营养?
图片
估计在未来几年内或许会耗尽现有的公共文本数据存量
人类生成的数据量有限，一旦这些文本数据被耗尽，或许会成为约束言语模型继续扩展的首要瓶颈。相关论文以为，言语模型将在2026年到2032年之间运用完这些数据，但假如考虑到赢利最大化，过度练习数据或许会导致数据在2025年就被用完。
月之暗面创始人杨植麟也在近期表达了相似观念，他以为大模型通向AGI最大的应战是数据。杨植麟表明，“假定你想最后做一个比人类更好的AI，但或许底子不存在这样的数据，由于现在一切的数据都是人产生的。所以最大的问题是怎么处理这些比较稀缺、乃至一些不存在的数据。”
依据Epoch研究员Pablo Villalobos的观念，OpenAI在练习GPT-4时运用了大约1200万个token，GPT-5需求60到100万亿个token才干跟上预期的增长。支付方式,关键在于即便用尽互联网上一切或许的高质量数，仍然需求10万到20万亿token，乃至更多。
面对如此庞大的数据需求，合成数据也是一个学术界和产业界都在测验的重要方向。合成数据根据现有数据进行扩大，这种才能对未来的练习数据规划至关重要。不过，用AI生成的数据进行练习也存在一些局限性，例如或许导致模型崩溃等问题。
现在，大模型厂商首要从网络上抓取科学论文、新闻文章、维基百科等揭露信息来练习模型。从长远来看，仅依靠新闻文章和交际媒体等内容或许无法维持人工智能的开展需求。这或许迫使企业开端运用一些敏感的私有数据，如电子邮件、谈天记录等，或不得不依赖于谈天机器人本身生成的质量不高的数据。
1
数据不行用是“杞人忧天”?
没有数据就无法练习大言语模型，但数据真的不行用了吗?关于这一问题，也有人持有不相同的观念。
星环科技孙元浩以为，这是一个“假新闻的判断”。在他看来，除了现有互联网的存量数据，各个企业界部还有很多的数据没有被运用，“现在数据多到远远超越模型能够处理的量”。
“大模型结构和练习办法都不是秘密了，而语料散落在各种当地，需求把现有语料收拾起来练习或微调模型，工作量十分巨大，这是现在最大的应战。”孙元浩告知硅星人。
其中的一个重要问题，是数据处理范式从结构化数据到非结构化数据的改变。结构化数据，例如数据库中的表格数据，有明确的字段和格式，易于存储和查询。而文本文档、合同协议、教材等非结构化数据，尽管包含丰厚的信息和常识，但由于缺少统一的格式，难以直接存储和检索，企业界部的非结构化数据往往也需求更专业的数据标示处理。
为此，星环试图经过供给包含语料处理、模型练习、常识库建造在内的东西链，进步企业的数据处理才能。“咱们认识到不或许一个模型通晓各个范畴，企业中心机密是不或许让你知道的，咱们定位为供给东西帮你做练习，你自己炼一个模型。”
发掘企业界部数据重要性的另外一个例子是摩根大通具有150PB的专有数据集，而GPT-4仅在不到1PB的数据上练习。不过两者的数据在质量、类型和用途上存在明显差异。大模型面对的应战首要在于获取高质量、多样化且合法可用的练习数据，而非简略的数据量缺乏。
关于“数据荒”，数据服务商景联文科技创始人刘云涛也表达了相似观念。“咱们现在实在数据都来不及处理，数据不行是杞人忧天了。”他向硅星人表明，“我预估洗完之后，我国的高质量数据大概是有150TB，国际上还有很多个国家。”
他以为现在存在的问题首要在于高质量的数据的问题，涉及到数据清洗、数据工程。
刘云涛表明，大模型年代的中心改变首要是数据量变大了，“曾经一个题库10万、20万道现已很大的项目。现在以亿为单位，技能处理才能就变得十分重要了，由于你不或许靠人工。”
第二个改变在规范环节，需求引进专业范畴的人工标示，“本来人工标示和自动化标示是一个平行的关系，那现在更像是技能标示放在前一轮，后一轮是专家级的标示。”
专家级标示指的是一种更高级别、更精密的人工标示过程，这种标示工作通常需求专业常识，能够对自动化标示的成果进行校正和优化，以保证数据集的高质量。与此前的用低成本劳动力完成的简略数据标示工作也有所不同。据称，OpenAI内部就有一个几十名博士级别的专业人士组成的团队来做标示。
大模型厂商在处理数据时遵从的流程通常包含几个环节:首要，数据从各渠道获取被获取后，进入数据工程部分。数据工程师会对数据进行清洗和预处理。接着，处理好的数据会被交给算法部分，算法部分会运用多种办法进一步处理，包含调参、经过监督学习对模型进行微调（SFT），以及运用人类反应来强化学习模型(RLHF)，经过这些步骤处理后的数据，最终会被应用到详细的使命或产品中。
在这一过程中，大模型厂商的中心的需求是从分布在各处的数据中提炼出能够用于微调、练习或持续优化模型的高质量数据。
Scale.AI专心于为企业客户供给练习数据的数据标示开发。该渠道选用自动化标示、半自动化标示和人工审核等先进技能，进步标示的速度和准确性，并供给数据办理和质量操控东西。
在刘云涛看来，Scale.AI的中心不在于有很多数据，而是具有快速处理数据的才能。“Scale AI树立了一整套数据清洗的流程，另外还树立了一套数据引擎，能构成真实的数据飞轮，这是个流程性的技能的问题。”
1
开源数据的窘境
大言语模型之所以能够展现出惊人的了解和生成才能，是由于从海量的预练习数据中学习了丰厚的国际常识。而开源数据，如网页、书籍、新闻、论文等，正是这些预练习语料的重要来历。经过敞开同享，开源数据为模型供给了广泛而多样的常识来历，使其能够学习到人类社会的方方面面。能够说，没有开源数据的支撑，大言语模型就难以取得足够的“常识养料”来完成快速开展。
由社区和非营利组织推进的开源数据项目，为言语模型的练习供给了丰厚多样的语料，对推进了自然言语处理技能的开展至关重要。智源研究院林咏华告知硅星人“假如没有Common Crawl，整个大模型的开展都会延后。”
她也指出了一个相关的问题，国外志愿者参加的开源数据集的建造，如BookCorpus、古腾堡工程都积累数年时间，而在国内很少有人做相似的工作，这就造成了中文数据的数据孤岛问题。
人工智能开源敞开数据渠道OpenDataLab相关负责人告知硅星人，数据资源持有方普遍存在的一个顾忌是无法明确数据开源行为对本身的价值，单纯的数据开源关于中小型企业很难构成短期的报答。“从出资与报答视点看，企业假如开源模型，其带来的技能的迭代和创新，对企业来讲无疑是一种报答，而开源数据则几乎是纯‘利他’的行为，很难有实践的收益。”
因而，相较于国外由非营利组织推进，国内各类事业单位在推进数据开源的过程中扮演了十分重要的人物。不过，跟着用户规划和数据需求的增长，也为各类数据开源社区的资金与存储等带来了实际应战。
OpenDataLab从揭露数据收录、开源渠道建造、数据东西研发、高质量原创数据集发布、生态协作等多方面入手，正在着手推进处理研究和开发中数据需求。
OpeninDataLab表明，中文大规划数据集在开源程度、规划以及质量方面与英文数据集相比存在差距，这在一定程度上制约了中文自然言语处理技能的开展。现在OpenDataLab现已联合多家组织，发布了一系列原创高质量的大规划AI数据集，他们也期望能与更多组织一道，经过协作来邀请更多人参加到数据开源事业中来。
在公共数据敞开和社会力气方面，我国与美国存在一些差异，美国政府在公共数据敞开中扮演着重要人物，致力于“应开尽开”。政府树立专门的AI练习数据敞开渠道，对数据进行标识、清洗、标示等处理，并供给快捷的检索和接口服务。社会力气则整合政府敞开数据与网络揭露数据，以开源为主构成高质量练习语料，并在职业大模型中贡献专业性。
我国的公共数据同享和运用程度上仍有缺乏。部分范畴如天气、司法的数据敞开不如美国充沛，在开发运用中也缺少API支撑。社会力气首要结合海外开源数据和国内网络揭露数据构成练习集在职业大模型中，社会力气虽有贡献，但受限于专业门槛高、企业同享志愿低、公共数据敞开缺乏等困难。
1
数据收集中的“灰度”
生成式人工智能的开展首要依赖大模型以及对大模型的数据练习，数据练习又离不开大规划的数据爬取。数据收集是产业链的起点，涉及从互联网、交际媒体、公共数据库等多个渠道收集原始数据。这一环节需求遵守数据隐私和版权法规，保证数据来历的合法性。跟着技能的开展，自动化东西如网络爬虫被广泛运用，但一起也带来了数据隐私和安全等问题。
五号雷达相关负责人童君告知硅星人，数据爬取方面，Robots协议在网络数据获取是一种职业界的约定俗成。不过Robots协议遵从根据爬虫的自觉性，并不能从底子上阻挠数据的获取。“这个职业水下的产业占80%，比方场外项目制的数据购买，数据进行二次加工之后，源头的数据是来自于哪里?这个东西没办法追溯。”
景联文创始人刘云涛则建议从“灰度”的视点来看待这个问题，“一个全新的职业，不管从国家到企业、个人都在探索，一定是有灰度的”。他以为，在大数据和人工智能的新式职业中，存在着一些灰色地带，主张应该用技能手段将灰色地带变成白色，合法合规。
景联文用技能手段如SFT或人工标示，将获取的数据转化为可交付运用的数据，树立高质量大模型练习数据集。他打了个比方，就像“他人在野地里采摘的白菜，经过他们的加工，变成了预制菜。”
跟着数据被界说为新的出产要素，全国各地纷纷成立了很多的数据买卖所和买卖中心。成为处理职业界的灰色地带问题，进步商场参加者的安全感的一种新的机制。
截至现在，国内已成立了超越40家数据买卖所，包含上海数交所、贵阳大数据买卖所和北京国际大数据买卖所等。这些买卖所经过树立数据要素流通渠道，供给数据供需对接撮合机制，以开释数据要素的价值。
刘云涛以为，数据买卖所是一个明显我国特色的新式商场，但树立一个有用的数据买卖体系还需求很多的工作来完善。“能不能真实处理数商和购买方之间的问题?假如买卖所只是让咱们付出，不能给咱们带来收益，那就没有意义，这个事是需求时间的。”
五号雷达童君也表明，“大模型厂商基本上不会去买卖所买数据。不是说今日我来做大模型，然后买一堆数据回来。”
据介绍，数据买卖商场现在存在多种方式。有的大公司树立了渠道，供给数据产品和数据集，首要以API方式供企业购买服务。此外，还存在针对特定项目的定制化数据购买方式。在这种情况下，买方了解数据的来历（如气象局）。并直接与具有数据的组织或企业进行买卖。
1
“是时候把数据Scale Down了”
LLaMA3经过将练习数据从2T添加到15T，即便模型架构坚持不变，模型功能得到了明显进步，但是，这种“暴力扩展”的办法尽管有用，但也面对着边际效应递减和资源耗费添加的问题。
语料规划并非越大越好，而是高信息密度的语料规划越大越好:Common Crawl是400TB的数据集，包含了互联网上数十亿网页，内容十分广泛但未经清洗。而C4则是对CC进行了过滤噪声、重复内容等清洗后的305GB数据集。经评价发现根据C4练习的模型功能优于CC，这既阐明了数据清洗的重要性，也阐明了语料规划不能一味寻求大。
近期，DCLM项目组，从Common Crawl中成功提取并清洗出240T的数据，也为数据规划添加的可行性供给了新的依据。这一进展为数据的“Scale Up”战略供给了支撑，但一起也提示人们注意到数据处理和清洗背后的计算成本。
图片
清华博士秦禹嘉表明，前scaling law年代咱们强调的是scale up，即尽力寻求数据压缩后的模型智能上限，后scaling law年代咱们比拼的是scale down，即谁能练习出“性价比”更高的模型。
例如，PbP团队运用较小模型的功能评价来过滤数据，从而进步大型模型的练习作用和收敛速度。相似地，DeepSeek经过运用fastText来清洗高质量数据，为特定场景下的模型练习供给了优质数据。
这些研究成果暗示，经过完全优化数据的质量，小型模型的练习作用能够挨近或等同于运用大规划“脏数据”练习的大型模型。这不仅示范了数据清洗在进步模型功率中的重要性，也阐明在某些情况下，模型的参数规划并非越大越好，关键在于怎么有用地运用每一份数据。
跟着AI范畴的不断开展，这种对“功率”和“质量”的寻求正在成为研究和实践中的新趋势。未来，数据处理的办法，包含数据去噪、改写预练习数据等战略，将成为推进大模型开展的关键因素。一起，这也意味着数据质量或许成为衡量AI模型功能的新规范，而不仅仅是数据规划。
在当今快速开展的人工智能范畴，数据成为了推进技能行进的柱石，它的人物越来越像《沙丘》中宝贵的香料——无处不在，价值巨大。跟着对数据需求的增长，怎么有用地收集、处理和运用这些“数字香料”成为了关键问题。从进步数据质量到拓宽数据获取渠道，未来的AI开展不仅取决于咱们怎么应对这些应战，更在于咱们怎么在数据的海洋中探寻新的或许。正如《沙丘》展示的那样，真实的力气来自于对这些资源的了解和运用——谁处理好了数据问题，谁就具有了未来的钥匙。
《沙丘》中的领航员经过食用香料取得了预测未来的才能，人工智能算法经过处理很多数据集，发现方式和趋势。在《沙丘》国际中，人类在香料混合物的影响下进化，取得新的才能并阅历认识的重大腾跃。同样，人工智能乃至AGI的开展也或许会为人类带来相似的深远影响。
只不过假如知道十年前在交际媒体上发布的内容，有朝一日会成为推进技能进步的“香料”，或许咱们会更加慎重地对待自己的数字足迹。