说米网

给自己放个假吧ChatGPT，再更新的这么快，网友的脑洞可就跟不上了。
本周一，ChatGPT宣告了一次重要更新，然后有了全面的多模态才能。
今后你下班骑同享单车回家路上要是感觉车上有什么毛病，能够给零件拍张照直接问它。
然后你回到家了，看到毫无头绪的冰箱藏品后，ChatGPT能够告知你挑哪几样出来能做个晚饭。
吃完睡觉，还没睡意的话，它还能给你一些ASMR服务，假如B站或许YouTube上那几个博主你现已听厌了的话。
1985 年 9 月，写了《看不见的城市》的卡尔维诺因为忽然的中风而去世，这年夏天他因为头痛的问题曾去寻求过医师协助，主刀医师说自己从未见过这么般构造复杂而精致的大脑。
ChatGPT从一开端就像一颗无比精美的大脑——并且是看不见的——但它现在总算有了眼睛、耳朵和嘴。
有人试了试，它基本能够帮人做软件项目的开发了。
虚拟服务器,一个软件项目的诞生大概是这样的：先在白板上画线框图，整理出编排逻辑，然后开端写代码，最后生成界面。现在这件事，白板上的活儿归你，脱离白板归它。
一位开发者把自己的线框图直接拍照扔给ChatGPT，它直接把软件写出来了。
粗野进化论，赞13
他还玩了些小把戏，比如把编排用并不规整的箭头表明潦草的替换了位置，ChatGPT不光看出来了，而且照单全收。
咱们大概仍是轻视了多模态会带来什么。
人工智能与人类智力的开展在这里是相反的。人类先有眼睛，看到了国际之后形成了言语和逻辑，反过来又能更好的描述和了解所看到的国际。人类在 600 万年前史间的智力水平提升，便是一个巨型的机器学习熔炉。
而关于ChatGPT来说，他现已有了最好的智力水平，现已能够了解很多事了，约束它的反而是文字关于信息的压缩，导致它无法接触到更复杂的问题。当给这样一颗大脑一双眼睛会带来什么。也便是让它被允许直接看到图像信息，拆解问题的才能开端爆炸。
有人给ChatGPT喂了一张SaaS软件的界面图，并且要求它将其分解为小的组件并且把一切代码都写出来，它真的做到了。
粗野进化论，赞3
你乃至能够粗犷的给它一个Unity的修改界面截图，叫它提供一个增加模型动作的流程。
图片
图源：推特
在敞开了多模态才能后，ChatGPT的了解和推理才能也体现的更直观了，乃至有点可怕。
给自己一分钟，看看能否了解这组图的意思：
图片
图源：推特
这是ChatGPT的解读：
图片
图源：推特
“这组漫画看起来在着重团队中沟通、了解和对齐的重要性。”ChatGPT在最后做了如此总结。
这样的了解才能给曾经在Facebook 和Uber作业过的AI工程师Pietro Schirano惊的无话可说。
除了眼睛，还有耳朵和嘴。
此次ChatGPT升级背面，语音辨认的才能根据开源的Whisper模型，声响的生成才能则根据额外的TTS（text-to-speech）模型进行，现在语音合成支撑五种语音，都是和专业配音演员合作制造而成的。
但眼看着两个手机里的ChatGPT在你面前自顾自的评论，关于“有没有用户试着和你一同唱卡拉OK啊？”——不是问你，是它在问另一个它——如同仍是太超前了一点。

粗野进化论，赞16
另外，它似乎也有做一个心理医师的潜质。OpenAI安全团队的成员Lilian Weng在语音形式下和ChatGPT做了一次十分情绪化的私家对话，议论压力、作业与生活的平衡。
“风趣的是，我感到被倾听和温暖”，Lilian Weng在推特上说。她主张假如你原来只是把它当作一个生产力工具，那最好试试它细腻的一面。
图片
图源：推特
而关于ChatGPT本身的进化来说，这次将 2022 年就训练完结了的多模态才能敞开出来，也是在为未来的进化建立一个新的根底。
ChatGPT首席架构师John Schulman一个月前在Pieter Abbeel（John Schulman在加州大学伯克利分校博士期间主攻强化学习时的导师）的一档播客节目中表明，他觉得现有数据和模型规划扩展办法能带来的功用提升可能在一段时间后达到极限，在那之后，算法、数据集、数据集大小以及算力能带来的提升将逐渐递减。
“所以增加多模态功用会带来极大的功用提升。这能让模型取得文本中无法取得的常识，并有可能掌握纯言语模型无法完结的任务。例如，经过观看与物理国际乃至是与电脑屏幕互动的视频，模型能取得巨大收益。一切软件都是为人类规划的，假如模型能够观察像素并了解视频，咱们就能够运用各种现有软件或协助人们运用这些软件。为模型赋予新才能，让模型与新事物互动，将大大增强模型的实践才能。”
那么下个月的ChatGPT又能做到什么？太期待了。