说米网

2020年，Gartner发布《2021年重要战略技能趋势》，以为AI工程化(AI Engineering)将是“需要深挖的趋势”，到了2021年年底，在Gartner的《2022年十二大重要战略技能趋势》中，AI工程化又被进一步清晰为未来三到五年“企业数字事务创新的加快器”;

几乎就在同一时期，阿里发布面向AI工程化的一体化大数据和AI产品系统“灵杰”，称要推进“AI落地范式的晋级，一同推进AI产业迈向新的增长”;

到了不久前落幕的服贸会上，人工智能数据企业云测数据发布了面向AI工程化的新一代数据解决方案，其价值设定为“高度支撑企业所需数据的高效流转、继续进行数据处理任务，进步规模化出产功率”;

而即将举行的由 LF AI & DATA 基金会主办、关注AI范畴前沿革新的 AICON 2022，将为AI工程化设置专门的分论坛……

毫无疑问，在AI加快完结场景落地的今天，“AI工程化”现已成为职业遍及的议题，被以为是AI发展必定的趋势之一。

什么是AI工程化?

按Gartner比较官方的界说，是“使用数据处理、预练习模型、机器学习流水线(MLOps) 等开发AI软件的技能统称，协助企业更高效的利用AI发明价值”。“智能相对论”以为，AI工程化更简略的理解，便是现已十分老练的软件工程将“软件”扩展到AI后的一种针对AI开发特色的适配与进化，经过系统化、规范化、可度量地使用各种工程办法和东西，确保AI软件能够到达预期。

这里，能够经过数据方面的AI工程化创新来协助直观理解。云测数据面向AI工程化的新一代数据解决方案，经过老练数据办理和标示渠道与企业完结系统集成+支撑企业自界说预标示算法接口+人员办理及项目办理系统+安全交给软硬件支撑的办法，在确保数据隐私安全的标示环境下，高度支撑企业所需数据的高效流转、继续进行数据处理任务，然后进步规模化出产功率：

能够看到，云测数据的AI数据解决方案利用了很多工程办法和东西，在微观布局上表现出系统化、规范化的特色，很多细分模块与才能也体现出AI开发作业方方面面的可度量性，最终服务于AI开发的全局，全体“一盘棋”(传统软件工程是“一条线”)，这便是AI工程化能够带来的直观感受。

而AI工程化为什么得到从权威机构、互联网大厂到数据服务创新企业的遍及重视?这可能要从AI发展的阶段性需求谈起。

算法、算力、数据……AI落地现在还需要AI工程化

AI的发展有规范的算法、算力、数据三要素，在Gartner看来，任何一个职业、企业，只需有场景，有堆集的数据，有算力，都能够落地AI使用。但Gartner同时指出，落地的功率、周期可能会远超预期，其研讨摆明，“只需53%的项目能够从AI原型有效转化为出产”。

这意味着，在当下场景落地成为干流的阶段，并非只具有了精巧的算法、充分的算力、足够的数据就必定能够做好AI场景使用、完结好技能的价值——正如Gartner所言，“AI 要成为企业的出产力，就有必要以工程化的技能来解决模型开发、练习、猜测等全链路生命周期的问题。”

“智能相对论”以为，传统的软件工程针对“产品”，首要经历需求分析、系统规划、代码完结、验证、发布以及运维的进程，瀑布式的流水线走下来，“产品”做好了发出去、做做售后就能够了。

而AI的场景落地虽然也给出的是“产品”，但其背后本质上是一系列智能化“才能”的组合。既然是才能，开发流程就与传统软件有较大出入，是问题笼统、数据预备、算法规划、模型练习、模型评价与调优、模型布置的进程，在布置之后，还需要根据场景实践不断反应到数据预备和算法规划上，然后让AI的“才能”不断挨近和到达预期。

因而，传统的软件工程系统做法现已无法支撑AI开发的需要，(服务器安全)有必要要有新的办法来推进，AI工程化供给了专门适配AI开发的一系列办法、东西和实践的调集，就起到了这个价值，为算力、算法和数据供给了新的利用办法，继续为场景发明价值。

这也说明，大规模落地阶段，AI工程化更加被深入需要。目前而言，市面上大体有两种面向AI工程化的做法。

一种是AI开发结构型，也即原本就供给AI开发服务的各种深度学习结构，将服务延展而来，其优势在于AI结构原本便是AI范畴的根底软件，处于承上启下的位置，供给面向AI工程化的服务“近水楼台”。

这方面，以Google、Meta等科技巨头为代表，国内有华为、百度等，以TensorFlow、PyTorch、MindSpore、PaddlePaddle等各自的深度学习结构为根底，供给一系列与AI工程相关的生态技能和东西，如范畴套件、模型可视化东西、调试调优东西、高级API等。

另一种是AI服务渠道型，也即曩昔为企业供给算力、算法、数据相关服务的企业，跟着客户需求的发展专门供给面向AI工程化的才能。阿里的“灵杰”(算法方面)与云测数据面向AI工程化的解决方案(数据方面)都是如此。

水到渠成，面向AI工程化的数据解决方案是AI开发服务不断老练的结果

Gartner在《2022年十二大重要战略技能趋势》以为，到2025年，前10%做到AI工程化最佳实践的企业相对于之后90%的企业，将从AI创新中得到超越3倍的价值，足见AI工程化的重要性。

所以，相关企业寻求AI工程化成为一种必要，也催生出较为广阔的产业链机会空间。

这其间，跟着云测数据推出面向AI工程化的新一代数据解决方案，在对外服务这件事上，数据范畴的AI工程化步伐更快一些。在数据方面几乎都有强烈需求的AI企业们，现已能够首先获得全体化的服务。

但是，从云测数据此次发布的解决方案来看，数据方面的AI工程化虽然是某种程度上的蓝海商场，但却并非人人都能够参与进来供给相关的解决方案以获取商场机会，它基于已有的AI开发实践或服务堆集，不是凭空而来，是长时间的AI工程化实践(但没有喊出这个概念)抽离、整合而来。

以其间的渠道东西模块为例，其解决方案有丰富的数据标示东西：

以及一个在流程和逻辑上闭环的数据流转办理系统(经过这个系统也能够对AI工程化终究做了什么有更直观的印象)：

这两大内容，显然不是一个新晋玩家所能供给的，它们都源于云测数据曩昔向AI企业供给通用数据集、数据标示渠道与数据办理系统等出产东西以及多年的AI练习数据服务的职业老练经验。

云测数据的首要事务是面向智能驾驶、才智城市、智能家居、才智金融、新零售等很多范畴供给一站式AI数据处理服务，现已先后推出过“云测数据标示渠道”、“AI数据集办理系统”等面向商场的成果，其数据标示精度最高做到了99.99%，曾协助某自动驾驶车企完结数据清洗、标示作业与原流程相比提升2倍的流转功率。

正是由于曩昔完结了从“数据质料”到最后的“数据制品”全链条打通，做到场景数据专业化、高质量交给，有足够的技能老练度和标示经验与办理流程，现在云测数据这样的企业才能够推出面向AI工程化的数据解决方案。

除了渠道东西模块，实际上，云测数据的解决方案在确保数据安全模块上的布置，也来自于这种堆集——有必要在数据质量和交给功率之外确保数据安全，自然就沉淀了安全办理的一套系统，现在能够拿过来全体化输出，既供给了一套安全交给的规范，也包含多个ISO企业安全系统认证。

以安全交给规范为例，云测数据在硬件装备、网络安全、物理安全、人员安全办理上都进行了才能设置，这些才能针对AI开发中涉及数据存储、传输的方方面面，以事前系统化布局而不是事后一个个补漏的办法来躲避数据安全风险，而这，便是“工程化”。

在这种做法下，数据安全的提升是清楚明了的。

最直观的，由于云测数据所供给这套系统让数据存储、数据标示、数据传递等有一致的办理，数据的流转等不需要经过人力环节(人力首要担任工单而不是数据自身的流转，比方不必人力投递数据硬盘)，这使得AI开发的数据环节大大降低了对人的依赖，减少了失误等风险产生的可能性。

更进一步看，在渠道东西、安全模块之外，面向AI工程化的数据服务的机会只属于有职业经验的企业，也促进后者能够进行更多事务合作的探究，人员和项目办理模块便是如此。

有关数据的AI开发作业除了技能性的内容，还离不开AI人力相关的办理，离不开项目办理，而云测数据基于其曩昔在数据方面的人才、项目办理经验，在解决方案中也供给有匹配人员办理与项目办理的一套并行的系统作为支撑，包含招聘系统、成绩培训系统、范畴知识培训系统、项目办理系统、职责安全系统、绩效职级办理系统等，其本质是以认知资源的同享交换商业价值，典型如，云测数据更了解数据标示人才的需要、更知道从哪里能够找到特定的人才、如何培养人才、更知道怎样办理项目。

当然，围绕数据、作为一种根本上的To B服务，尽管有先天优势，但云测数据面向AI工程化的数据解决方案的落地，还需要考虑对不同AI开发企业的适配，毕竟AI工程化是系统工程，牵扯面往往较广。

这方面，经过API集成屏蔽不同企业的差异、做到广泛适配是解决之道，还能够看到，云测数据的解决方案中就在渠道东西模块中设置了规范协议接口、数据价值可视化、数据处理作业台、数据权限办理等，来让不同企业的办理系统都能快速进行对接。

AI“工业化大出产”来临，数据范畴的AI工程化与大模型首先汇流

AI工程化其价值和机会不仅在于AI开发进程，其对大模型的促进作用也不容忽视。

从更微观的视界看，AI工程化的趋势与当下AI范畴的热点大模型一样，都是在推进AI“工业化大出产”(高功率的批量化AI落地，而不是作坊式的一个个出产)，只不过一个从开发全进程出发，一个从模型自身出发。

二者碰撞到一同并非仅仅一种偶然，AI工程化与大模型也在完结着协同。

一方面，这体现在大模型开发自身，也即“预练习”阶段的工程化。

例如，闻名NLP范畴的大模型GPT-3其模型杂乱度十分高，仅模型参数就高达1750亿个，练习数据量到达45TB，练习出的模型有700GB大小。

这么杂乱的作业，肯定不是有了算法、算力以及数据就能搞定的，其开发作业有31位参与者，形成了一套在数据处理、模型规划、代码编写、调试参数等范畴各司其职的杂乱作业系统来确保作业的顺畅推进，其本质便是AI工程化。

另一方面，这体现在大模型的场景调优上，也即“微调”阶段的工程化。

大模型时代许多场景只需基于根底大模型进行微调便能够产生优质的场景使用，云测数据总经理贾宇航以为，AI工程化在这个“微调”的阶段将起到重要的作用，协助更多场景使用高效、高质量交给与继续优化。

现在，跟着云测数据推出面向AI工程化的数据解决方案，以及职业界许多典型大模型开端走向使用，至少在数据范畴，AI工程化与大模型的汇流现已在开端。

当然，也有预练习阶段与“微调”阶段通吃的AI工程化服务做法，例如阿里的“灵杰”就宣称既能够完结超大规模模型的构建，也能够完结笔直场景小模型“蒸馏”。

无论如何，数据范畴的AI工程化与大模型汇流，一同推进AI使用加快完结更广泛、更优质的场景落地，这其间出现了新的商业合作机会，但更重要的是在工程化开发与预练习的优势叠加下，AI将真正走入千行百业，变得更加普惠。