腾佑科技-谷歌Gemini数学反超o1预览版!成本仅1/10、无需额外思考时间,旧范式还没有死

数学打败o1-preview,成本仅为十分之一,并且几乎没有考虑推迟!
OpenAI《Her》全量开放同一天,谷歌Gemini1.5迎来重大晋级。
图片
除此之外,价格也是本来的一半,速度约束进步2-3倍;输出速度进步2倍、推迟降为本来三分之一。
开发者可以通过 Google AI Studio 和 Gemini API免费访问。聊天版别还得再等等。
不过也有网友发现了华点,虽然数学才能很强,但还是没有打败o1-mini以及o1完整版(94.8)。
图片
图片
谷歌Gemini1.5大晋级

此次更新的有两个型号:Gemini-1.5-Pro-002和Gemini-1.5-Flash-002。
总结来说,主要有这些更新:
关于1.5pro(输入和输出都小于128K),降价幅度大于50%。
速率约束进步2-3倍;
输出速度进步2倍,推迟下降3倍;
更新了默许过滤器设置。
首要,腾佑科技,进步了全体性能,尤其在数学、长文本以及多模态方面。
在MMLU-Pro上性能进步约7%;而在 MATH 和 HiddenMath(内部保存的比赛数学问题集)基准测验中,两种模型有约20% 的明显改善,其间Pro版别以86.5%的成果超过了o1-preview(85.5%)。
除此之外,在视觉理解和代码代码生成的评价中也有2%-7%的进步。
根据开发人员的反馈,这两个模型现在都采用了更简洁的风格,目的是使这些模型更易于运用并下降成本。
关于摘要、问题解答和提取等用例,更新后模型的默许输出长度比以前的模型短5-20%。
价格方面,1.5pro输入token降价64%,输出token降价52%,对增量缓存token降价64%,10月1日开端收效。
图片
速率约束也有所进步,1.5Flash的付费速率约束从1000RPM进步到2000RPM;1.5Pro速率约束从360RPM到1000RPM。
别的,输出速度进步2倍,推迟削减为本来的三分之一。
图片
关于新模型,过滤器已切换成可选,默许情况下不会使用过滤器。
最终的最终,还有Gemini1.5Flash-8B试验版别更新,在文本和多模态才能方面都有明显的进步。
网友水灵灵地测验上了

有网友就这么水灵灵地测验上了。
他测验了Gemini1.5Flash的音频转录功用。后者能在50-60秒内转录13分钟音频。
多个音频文件测验成果中,转录准确率接近99%。如果音频清晰,准确率能达到100%。
图片
有网友测验了它的视觉理解才能,成果顺利通过,之前难倒了一众视觉模型。
图片
不过评论最多的还是它数学才能的进步。
图片
不过倒也有网友表明,数学基准也没啥用。它已经饱满,而且污染了大多数模型的训练数据。在现实世界的数学难题里,这些还是没办法跟o1系列相提并论。
图片
虽然但是,谷歌晋级模型还有一个用途。
那就是push一下OpenAI,赶忙发布新模型,以此来“夺回王冠”。
什么时候赶忙把o1完整版发了。