OPPO AI 中心产品总监张峻：多模态和个性化是将要深耕的方向

2024 年 10 月 17 日，OPPO 在开发者大会上正式发布了 ColorOS 15。ColorOS 15 以“超轻快、更自在”为核心主题，重点提升了流畅、AI、设计、易用性等方面。据悉，ColorOS 15 将首次搭载于 OPPO Find X8 和一加 13 新品，并计划于 11 月开始为老机型提供正式版升级。

当天下午，OPPO ColorOS 设计总监陈希和 OPPO AI 中心产品总监张峻接受了媒体采访，和大家聊了聊关于 ColorOS 15 和 AI 的问题。

在对话中，OPPO AI 中心产品总监张峻分享了明年 AI 发展的主要方向，表示 OPPO 会在 AI 方面带来更多的惊喜。多模态和个性化是将要深耕的方向，同时端云协同将是重点架构。

“我们相信，在这些领域持续投入后，一定能为用户带来更加与众不同的体验。”张峻进一步说明，未来会将计算资源紧密结合的部分尽量放在端侧，从而提升安全性、实时性和用户体验。

在讨论重度应用流畅性优化时，OPPO ColorOS 设计总监陈希回答，系统级流畅性已经达到了相对高的标准，接下来重点解决的是应用内的流畅性。

陈希表示，对于操作系统来说，要在长尾场景和日常精细化体验上进一步优化，这就进入了“微观竞争”的阶段。比如，如何在各种长尾场景中保持体验的一致性和流畅性，这是未来竞争的维度之一。其次，从系统流畅到应用内的流畅，需要从芯片层到系统层进行深入地优化。应用消耗系统资源，因此我们通过底层芯片资源的调度优化来提高应用的表现力，比如潮汐引擎。

据报道，ColorOS 15 进行了从底层到用户界面的全面优化，推出了流畅双引擎 —— 极光引擎和潮汐引擎。极光引擎引入了行业内首个并行绘制框架，使得动画效果更加连贯流畅。潮汐引擎则通过芯片级别的性能优化，实现了流畅性和续航能力的双重提升。

关于潮汐引擎的技术优势是否可供其他厂商使用，陈希表示，潮汐引擎现在已经适用于双平台，不论是高通还是联发科。未来这种技术一定会成为行业的标配，因为竞争已经到了这个阶段。可能我们今天领先，明天别人就会复刻，所以在速度和质量上保持领先才是关键。

在此次 OPPO 开发者大会上，OPPO 还提出了 AIOS 发展的三个阶段：从第一阶段的系统应用 AI 化（AI for System），到第二阶段的系统 AI 化（System for AI），再到第三阶段的 AI 即系统（AI as System）。

基于上述理念，ColorOS 15 引入了高效的系统级 AI，包括全新的“超级小布助手”，它支持一键问屏、一拍即问、一圈即搜、图片问答和文档问答等多种交互方式。此外，系统级 AI 的感知和调度能力，ColorOS 15 实现了自有应用与三方应用间的生态握手，包括英语陪练、求职面试、旅游攻略、美食点评等。

谈及这个话题，张峻表示，OS 是 AI 手机的重要组成部分，AIOS 有三个阶段：应用 AI 化、系统 AI 化、AI 即系统。AI 已经不再是单点功能，而是深度整合的系统级体验。例如我们推出的“一键问屏”功能，它需要多模态交互的融合 —— 不仅要“看”，还要“听”，然后根据用户的语音和视觉反馈做出反应。这背后需要 AI 平台资源的调度和整合，体现了系统级的 AI 化。

OS 对于 AI 手机的硬件也会有一定的要求，因为这样的多模态交互，需要更多的感知能力，以及对端侧计算能力提出了新的硬件需求。所以硬件上，无论是传感器的布局还是芯片平台，都会进行相应的升级，以支持系统级的 AI 功能。

今年来，AI 重构系统成为了手机厂商的宣传重点，但 AI 重构系统的差异化与门槛又在哪里？

针对这个问题，张峻表示，OPPO 通过 SenseNow 框架实现了“边看边说”的功能。表面上看这只是一个细微的体验提升，但背后的技术路径完全不同。传统 AI 交互通常是单一的 —— 要么“看”，要么“说”，但我们的一键问屏功能可以做到边看边说，实现同步多模态的交互。这意味着用户在浏览内容时，可以立即询问或发出指令，AI 可以实时响应，而不再需要用户在不同模态之间来回切换操作。

实现这一点的背后有着复杂的分流决策和信息融合理解技术。系统需要同时处理多种输入源，如视觉信息和语音指令，然后对这些输入进行协同处理。我们的目标是让 AI 助理像真人助理一样，能够“边看、边说、边做”，这种无缝的体验背后涉及相当高的技术门槛。

了解到，在此次开发者大会上，OPPO 推出了全新的 SenseNow 智慧框架，实现多模态直觉交互体验。该框架集成了自主研发的语音多级唤醒和个性化识别技术，使语音唤醒和识别准确率达到 97% 以上。多模态理解技术让 AI 具备看的能力，支持 1000 多种主体识别，并实现图文混合检索。生成式语音合成框架让 AI 能够模拟真人语气和节奏，支持超过 20 种个性化音色。SenseNow 智慧框架还融合不同类型的信息源，理解复杂意图，完成跨应用操作。

陈希补充表示，OPPO 提出了一个 AI 理念，叫做“直觉、整合、专属、安全”四个核心要素。其中，“直觉”和“整合”是今天我们特别强调的。直觉是指系统越来越像人类，能够具备类似人的感知能力，让交互变得自然和拟人化。整合是指，将各个模态的信息和交互整合到一起，而不是简单地一个模态完成后切换到另一个模态。例如在今天的发布会上展示的“一键问屏”，这功能看似用户只是说了一句话，但背后 AI 系统需要进行很多隐含的前提理解和推理，以完成用户的意图。

这其中的整合就是我们强调的核心难点之一。机器不像人类那样自然而然地理解场景和意图，它需要经过大量的条件界定和判断。而我们做了许多投入，使得这些多模态交互和整合能够最终展现在用户面前，这也是 AI 重构系统的一个重要部分。