量子位 | 公众号 QbitAI

文章来源：https://openai.com/blog/chatgpt-can-now-see-hear-and-speak

就在昨晚，OpenAI CEO Sam Altman 在推特上发布了一条重要消息，ChatGPT 要推出新功能啦。ChatGPT 现在可以看、听和说了！

这次 ChatGPT 推出新的语音和图像功能提供了一种新的、更直观的界面类型，允许用户跟它进行语音对话，向 ChatGPT 展示说话内容。

多场景使用 ChatGPT

语音和图像让用户在生活中也可以轻松使用 ChatGPT。比如，旅行时，可以拍摄地标，并就其有趣的内容与 ChatGPT 进行实时对话。在家时，可以通过拍摄冰箱里的食物，来确定晚餐吃什么（或者获取食谱）。晚饭后，通过拍照，圈出问题，来帮助孩子解决数学问题。

比如拍一张照片，询问如何调整自行车座椅高度。

官方还给出另一个实用场景思路：打开冰箱拍一张照片，询问AI晚餐可以吃什么，并生成完整菜谱。

更新将在接下来的两周内向ChatGPT Plus订阅用户和企业版用户推出，iOS和安卓都支持。

与此同时，多模态版GPT-4V模型更多细节也一并放出。其中最令人惊讶的是，多模态版早在2022年3月就训练完了……

看到这里，有网友灵魂发问：有多少创业公司在刚刚5分钟之内死掉了？

看听说皆备，全新交互方式

更新后的ChatGPT移动APP里，可以直接拍照上传，并针对照片中的内容提出问题。

比如“如何调整自行车座椅高度”，ChatGPT会给出详细步骤。

如果你完全不熟悉自行车结构也没关系，还可以圈出照片的一部分问ChatGPT“说的是这个吗？”。

就像在现实世界中用手给别人指一个东西一样。

不知道用什么工具，甚至可以把工具箱打开拍给ChatGPT，它不光能指出需要的工具在左边，连标签上的文字也能看懂。

提前得到使用资格的用户也分享了一些测试结果。

可以分析自动化工作流程图。

但是没有认出一张剧照具体出自哪部电影。

△认出的朋友欢迎在评论区回复

语音部分的演示还是上周DALL·E 3演示的联动彩蛋。

让ChatGPT把5岁小朋友幻想中的“超级向日葵刺猬”讲成一个完整的睡前故事。

△DALL·E3演示

ChatGPT这次讲的故事文字摘录如下：

与 ChatGPT 进行有趣对话

要开始使用语音助手，可以前往移动应用上的“设置”→“新功能”，然后选择加入语音对话。然后，点击位于主屏幕右上角的耳机按钮，从五种不同的声音中选择你喜欢的声音。

新的语音功能由新的文本转语音模型提供支持，能够仅从文本和几秒钟的示例语音中生成类似人类的音频。每个声音都是 ChatGPT 与专业配音演员合作创作而成的。他们使用了开源语音识别系统 Whisper 将用户的口语转录为文本。

用图像功能，解决实际问题

你现在可以向 ChatGPT 显示一个或多个图像，用来排查烤箱无法启动的原因、探索冰箱中的食材准备菜谱或分析与工作相关数据的复杂图表。要聚焦图像的特定部分，可以使用移动应用程序中的绘图工具。

（视频来源：openai.com）

开始使用前，请点击照片按钮以捕获或选择图像。如果你使用的是 iOS 或 Android，请先轻点加号按钮。你还可以讨论多个图像或使用绘图工具来指导你的助手。

多模态GPT-4V能力大揭秘

• 物体检测：GPT-4V可以检测和识别图像中的常见物体，如汽车、动物、家居用品等。其物体识别能力在标准图像数据集上进行了评估。
• 文本识别：该模型具有光学字符识别 (OCR) 功能，可以检测图像中的打印或手写文本并将其转录为机器可读文本。这在文档、标志、标题等图像中进行了测试。
• 人脸识别：GPT-4V可以定位并识别图像中的人脸。它具有一定的能力，可以根据面部特征识别性别、年龄和种族属性。其面部分析能力是在 FairFace 和 LFW 等数据集上进行测量的。
• 验证码解决：在解决基于文本和图像的验证码时，GPT-4V显示出了视觉推理能力。这表明该模型具有高级解谜能力。
• 地理定位：GPT-4V 具有识别风景图像中描绘的城市或地理位置的能力，这证明模型吸收了关于现实世界的知识，但也代表有泄露隐私的风险。
• 复杂图像：该模型难以准确解释复杂的科学图表、医学扫描或具有多个重叠文本组件的图像。它错过了上下文细节。

• 空间关系：模型可能很难理解图像中对象的精确空间布局和位置。它可能无法正确传达对象之间的相对位置。
• 对象重叠：当图像中的对象严重重叠时，GPT-4V 有时无法区分一个对象的结束位置和下一个对象的开始位置。它可以将不同的对象混合在一起。
• 背景/前景：模型并不总是准确地感知图像的前景和背景中的对象。它可能会错误地描述对象关系。
• 遮挡：当图像中某些对象被其他对象部分遮挡或遮挡时，GPT-4V 可能无法识别被遮挡的对象或错过它们与周围对象的关系。
• 细节：模型经常会错过或误解非常小的物体、文本或图像中的复杂细节，从而导致错误的关系描述。
• 上下文推理：GPT-4V缺乏强大的视觉推理能力来深入分析图像的上下文并描述对象之间的隐式关系。
• 置信度：模型可能会错误地描述对象关系，与图像内容不符。