iis安全-PPTV创始人姚欣AI再创业,“分布式推理”终于有人做了
这个月,PPTV创始人姚欣再次站到了聚光灯下,组织了一场散布式云核算论坛,向外界揭开了他的新篇章。
姚欣的第二次创业,瞄准了云服务,要打造 AI 年代的根底设施。
但姿势独特:公司没有自建IDC和购买GPU,而是经过独特的方法成为了全国最多节点的云服务商。
成立六年来,PPIO派欧云已获三轮共4亿元的融资,包含百川智能创始人王小川、迅雷创始人程浩、前微软Azure我国总裁申元庆在内的19位CEO都参加了天使投资。
姚欣,曾是互联网视频年代的开拓者,2004年,他在华中科技大学读研时辍学创业,发明晰P2P-Streaming协议,创办了掩盖全球4.5亿用户的视频渠道PPTV,比YouTube还早1年。
PPTV在PC年代创立,移动互联网早期就迅速崛起,2012年位列我国视频网站用户规模第2名。然而,2014年,姚欣将PPTV出售,好像淡出了大众视野。
姚欣重回到公共视野的当下,咱们不由想问,在商场挨近饱和的环境下,为何姚欣坚持要挑选云服务赛道?又因何遭到投资者如此青睐?
一方面,时势造英豪,2020年Gartner开端推重的散布式云概念,给了姚欣这个“散布式信徒”可贵的开展机会;
另一方面,英豪造时势,姚欣也前瞻性地挑选跳过训练算力事务,全部聚焦开展散布式推理算力,下注AI运用遍及关于推理算力的巨大需求。
当散布式核算遇见AI Infra
要了解姚欣的再创业,可以先从这样的具体事例中感知——
国内某Top3小说推行APP,开端为创作者供给AIGC生图功能,招引了更多的作者和读者。
AI技能带来的流量增加自然是一件好事,但与此同时带来的运维压力也猛然上升。
并且跟着这样的新功能被更多人所熟知,后台服务器功能也遇到了瓶颈,顶峰时期生成速度显着变慢的情况开端逐步显现。
在曩昔,处理的方法简单粗暴——扩容,但一味地挑选这种方法,实践并非持久之计,不只代价昂扬,并且在面临不确定性增加时显得无能为力。
9iis安全)而PPIO的散布式架构,便是针对这种场景和痛点而生。
这不只是一种技能挑选,更是一种为未来打下根底的架构方案。
它打破了传统集中式架构的瓶颈,不只为企业大幅下降了运维压力,还将体系的处理功率提高到了一个全新的高度。
运用PPIO供给的AI推理渠道,免去了自行部署后台服务的繁杂进程,经过API即可调用服务,不再需求自行运维,本钱直接减少了40%。
速度方面,得益于PPIO巨大的散布式算力网络,网络拥堵现象大幅下降。
据了解,选用PPIO服务后,该小说APP的平均生图时刻从10秒缩短到了2秒,生产功率提高了50%。
姚欣还介绍,假如海外AI运用运用其推理服务,可以取得比硅谷还要高的综合性价比。
这得益于PPIO遍及全球的散布式云服务网络,无论用户身处何地,总能找到近距离的算力节点,取得20毫秒级的低推迟体会。
图片
姚欣挑选散布式推理并非偶然,而是根据他多年对整个职业的深化了解。
依据TIRIAS research的研究,跟着AI的快速开展,未来算力需求的构成将发生重大变化,95%的算力需求来自推理,训练算力仅占5%。推理将逐步成为AI核算的中心。
图片
姚欣看准了AI年代算力结构转型的机会,将重心放在推理侧。
推理核算的中心在于实时处理用户请求,低推迟和高功率是它的生命线。
而散布式技能,恰恰是完成这一需求的不二之选——
经过将推理核算散布到全球多个节点,PPIO可以最大极限地减少到用户的时延;
同时依据不同区域的需求动摇智能调度算力资源,确保大局核算功率始终保持最佳状态。
散布式推理不只是一次技能立异,更是一种新的商业形式,让中小企业和开发者不再为算力门槛所困,让他们也能走进AI世界。
相比之下,传统的大型数据中心虽然具有强壮的处理才能,但其本钱昂扬,不只包含硬件设备的置办和体系保护,还包含高度集中带来的许多散热能耗的需求。
散布式云经过调度散布在全国各地的中小型数据中心或边际核算节点,充分运用当地高性价比能源和算力资源,下降总体运营本钱。
当然,姚欣还提出了“三年内降本1000倍”的期望,要想成功完成,除了巨大的散布式算力网络,还要有更多立异技能的支撑。
为此,姚欣给出了他的答案——Serverless弹性调度和推理加快优化。
其间,Serverless架构被用来处理跨区域服务进程中节点数量巨大、用户请求杂乱的问题。
该架构经过智能整合散布式算力,主动完成弹性弹性与按需付费。
用户可将自有镜像或模型托管到该渠道,不用再忧虑海量用户的并发呼应问题,亦无需亲身管理和保护许多算力服务器。
图片
△派欧算力云Serverless产品主动弹性触发时延和单实例冷启动速度
除此之外,PPIO还经过算法、体系和硬件的协同立异,推出了针对大言语模型特点的推理加快引擎。
凭借全链路FP8量化、KV Cache稀疏紧缩算法,以及投机采样等技能,显著提高了推理的加快功能,打破了显存、算力和带宽的约束,释放了大模型推理的更大潜能。
图片
此次的散布式云核算论坛,标志着姚欣的第二次创业取得了阶段性的成功。
这背面除了有姚欣自己对职业的独到见解,还有散布式云自身与云服务开展局势的符合。
散布式云的天时地利
在国内的云服务范畴,有许多咱们耳熟能详的选手,华为、百度、腾讯、阿里等许多互联网大厂,都拥有自己的云服务产品。
但这些云服务无一例外都选用了集中式的方法,更加烘托出了姚欣做的散布式云体系的独具匠心。
不过,姚欣着重,散布式与集中式并非敌对的挑选,而是彼此弥补的协作形式。
技能上看,PPIO选用了集中式云服务也在用的根据K8S技能的云原生架构,可以与集中式云进行标准的互联互通;
商业形式上看,用户也不会过度重视自己的产品终究运转在哪种云,他们更在意的,是最终的运转作用。
归根到底,终究应该选用哪种运算方法,取决于具体的运用场景。
图片
在竞争与协作共存的格局傍边,散布式云的独特优势在于,它可以处理集中式云难以敷衍的需求。
跟着AI新运用的许多落地,产生了许多的实时数据核算和海量IO吞吐,AI带来的新算力需求以超越摩尔定律的方法不断胀大。
正是这些许多实时核算需求的出现,让传统的集中式算力中心显得捉襟见肘,但这真的是因为算力总量不够用吗?
答案是否定的。
据统计,我国有47%,也便是将近一半的算力都处于闲置状态,未被充分运用。
图片
形成这一现象的中心原因,是算力需求与供给的不匹配。数据中心和超算中心的建造过于超前,但数据产生地与算力节点往往相距甚远,形成了算力缺乏的表象。
所以,算力唯有“去中心化”,下沉散布到网络侧边际,才能处理时延和海量数据IO吞吐问题。
PPIO做的便是这样的作业,其本身不生产算力,而是作为空闲算力的“搬运工”和“指挥员”,处理算力时空散布不均、运用功率低下的窘境。
当然,姚欣的愿景不只限于当前的云服务,他提出了算力开展的三条曲线,现在现已基本建成的,是其间的前两条——边际云(赤色)和算力云(绿色)。
上一年,PPIO更是依据这两条“曲线”,将公司的事务线拆分成了两个事业部。
图片
而“第三条曲线”,则是完成各个组织机构间,算力资源的实时调度和自由交易。
姚欣认为,从技能角度看,业界现已有才能完成这种形式,但在产业共识和商业形式上,还需求参加者的共同努力。
但就像从云核算诞生之初,人们都不相信公有云,到后来公共云服务逐步成为干流相同,这种“算力共享”也将经历一个形成共识的进程。
而之所以挑选这条异乎寻常的创业之路,源自姚欣丰富的创业经历与技能崇奉。
创业者姚欣:立志把散布式技能写进教科书
大众眼中的姚欣有许多标签:大学创业、网络电视、互联网、投资人等。
然而,常常被忽略的是,他在技能方面相同拥有着深厚的沉淀。
事实上,姚欣自从高中时起便是一论理学霸。
他曾连续两年取得全国奥林匹克核算机比赛一等奖,1999年被保送进入华中理工大学(现在的华中科大)。
也正是在大学生计之中,姚欣触摸到了散布式核算这个概念——他的教师金海教授(华中科技大学教授,我国核算机学会副理事长),正是将这一概念带入我国的第一人。
图片
金海教授早在2002年就开端负责我国教育网的网格核算(散布式核算的一种)建造,2007年也是第一批从事虚拟化和云核算研究的科研专家。
一向到现在参加设计国家提出的“东数西算”和算力网络,是我国散布式核算范畴的领军人物。
其时,金海教授就跟姚欣讲了算力大众化的愿景:
当有一天网格(其时的叫法)满足散布的时候,咱们每个人用算力就像用电用自来水相同,随时随地接上插头、翻开水龙头就可以运用到。
金教师所描绘的技能普惠理念深深影响了姚欣,并植入了他的创业初心。
除了金海教授让姚欣触摸到了散布式核算,姚欣的创业的另一大源动力是他对身边事物的观察。
姚欣读大学时正值2002年世界杯,在学校中观看足球比赛就成了一个火热的需求。
其间,姚欣发现了一个不寻常的现象——
像HTTP、FTP这样的传输协议,用的人越多速度也就越慢,但假如用BitTorrent这种P2P的传输方法,用的人越多,速度反而越快。
图片
网格核算需求连接很大的核算节点,但可以整合每个人电脑的上行带宽,构建一个散布式的存储和传输的网络,供给根据P2P技能的网络电视服务。
这一主意促进姚欣创建了PPLive(PPTV的前身),起先PPLive只是一个简陋到没有界面的学生作品,可是很快就取得了过亿的下载量。
图片
PPTV的成功,毫无疑问依赖于技能优势。相比(其时的)优酷、马铃薯等竞争对手,PPTV的视频处理本钱仅为其1%。
后来,卖掉了取得成功的PPTV后,姚欣开端从头思考自己的未来方针。
他不再满足于“一人的成功”,而是想将其转变为“众人的成功”,期望经过聚集更多人的力气来完成改动生活的技能立异。
图片
从视频职业中暂时淡出的姚欣,也始终未曾远离散布式核算的技能愿景——
在PPTV的成功背面,正是他对资源整合和核算功率提高的深刻了解,而这些理念也是他对散布式核算持久重视的理论根底。
这也直接推进了他后续的技能创业挑选,并在散布式推理范畴的开展中得到了实践。
在姚欣看来,创业者最重要的,不是随大流,不是去仿照,而是要有满足的差异化和独特竞争力。
所以即便在今日看来,PPIO挑选的散布式赛道,依然好像PPTV相同,显得十分“另类”而新颖;
自己不建大型数据中心,而是整合运用许多的闲置数据中心,这种商业形式也是独树一帜。
从P2P-Streaming到散布式推理,姚欣的创业途径看似从互联网内容渠道转向了技能根底设施,但实践上,这两者本质上是一脉相承的。
姚欣始终在探究如何经过网络的集体力气提高功率、下降本钱,并以散布式技能为根底,处理核算中的瓶颈问题。
如今,他将相同的理念运用于AI推理范畴,专心于处理算力供需不平衡的问题。
走到今日,姚欣的志向现已不只是把企业做大做强,而是期望可以开创出具有年代意义、可以被写进核算机教科书的技能。
正是出于这一抱负,PPIO聘请了金海教授担任公司技能委员会主席。
金海教授将为公司技能团队供给深化全面的辅导,将散布式云技能边界进一步拓展,推进更多运用的落地,让更多创业者轻装上阵。
One More Thing
在刚刚结束的2024散布式云核算论坛上,PPIO除了推出了AI算力云产品外,还联合PingCAP、Zilliz、AscentStream和CSDN,共同启动了“Pioneers AI草创加快方案”。
面向AI草创企业和开发者,供给包含散布式算力、散布式联系型数据库、散布式向量数据库、散布式消息行列、开发者社区等全面的资源和技能服务,助力草创团队在散布式云上完成快速成长,加快其立异成果的落地。
图片
正如姚欣在散布式云核算论坛上说的那样,他的终极方针不只是推进散布式云成为广泛运用的技能标准,更是经过持续立异,帮助更多企业和开发者在AI年代中取得成功。
咱们站在AI年代的门槛前,正在见证一批又一批满怀愿望的开拓者纷纷出现。
正如当年那个24岁的姚欣相同,他们需求的,不只仅是资金和技能,更需求来自同路人、来自先行者的经验和鼓励,就像当年的金海教授相同。
现在,轮到了咱们承担起这样的使命,用散布式的力气,做新一代运用的根底设施,支撑起新年代的开拓者砥砺前行!
“Pioneers AI草创加快方案”入口: