科大讯飞在自然语言能力上面的的每一次升级，都带来行业对语音交互方式的认知升级，代表车内语音交互的前沿趋势。
今天（10月25日），在合肥，科大讯飞的大本营正式对外宣布发布飞鱼OS，它是基于科大讯飞iflyos在汽车之上构建完整的应用为核心标准，充分的实现技术领先，生态开放和架构灵活。
同时，科大讯飞公开生态开放架构，主要包括汽车AI技能开放平台、硬件开放和运营组件开放3个部分。
今年5月17号，在深圳科大讯飞发布飞鱼语音操作系统架构，结合整个汽车的使用场景和相应的汽车后台服务整合成最新iflyos AUTO版本也就是飞鱼OS。
飞鱼OS通过软硬分离做了一个双层级+多生态的模式，通过不同的层级融合，多种生态多种服务，可以为提供更加多元化的这种系统。
通过双层级+多生态的模式建立起飞鱼OS软硬分离的能力，为了更好的满足不同客户的需求，飞鱼OS专门拆分了两个层级。
通过两个版本飞鱼OS可以快速实现集成和对接，PLUS版比LITE版更深度定制系统的framework层，甚至一些halkernel层的部分模块。
科大讯飞智能汽车事业部总经理刘俊峰表示，“仅仅将软硬分离的外界对接工作做好还不够，讯飞考虑到每一家车厂的车联网服务能力差异较大，讯飞通过对后台能力的兼容和拓展，能为车厂定制兼容更大的多生态集合，从而保证用户在手机上常用服务和能力能够很好的使用。在最终的用户体验效果上，我们主要做了3点提升。”
刘俊峰这里提到的三项升级可以概括为：多音区的交互方案、启动汽车音效的技术升级计划和让汽车的能听会说到他可以察言观色。
第一个，飞鱼OS基于整车的多音区的交互方案，第一代发布的产品是我们要基于四个麦克风。
刘俊峰说，“语音的灵活的状态是由四个麦克风来保证的，我们坐不同的车的位置的时候，我说打开车窗，他打开的是离我最近的车窗，这就是差距，它就是基于对于车内人的位置来设计的一套交互的标准。”
飞鱼OS全闭环的汽车智能语音交互核心技术，包含语音合成、声源定位、窄带波束、声纹识别、智能打断、语音唤醒、语音识别、自然语言理解、听歌识曲。整体组合核心技术。
在现场智驾君体验了安装飞鱼系统的福特领界车型的与人“对话”能力，这套语音控制不只局限于在线音乐、导航等功能，其他诸如车窗、空调及车辆说明书等常用功能均可用直接“对话”的方式实现。
可以认为多音区方案，随着车内更大空间的趋势，满足车内更多人的智能体验需求，实现了车内的多音区方案，以保障能够支持后排乘客更好的使用智能语音，同时更好的声音品质也是配合最终效果的一个非常重要的维度。
第二个，启动汽车音效的技术升级计划，在这个计划之上，科大讯飞是希望能够让一般成本的车，一般成本的麦克风，通过软件算法升级能够在车内达到更高的音效的体验水平。
第三个，从让汽车的能听会说到可以察言观色，是除了从声音维度的优化提升外，科大讯飞开放了车内车外的视觉感知能力，从而让驾驶更安全。
从技术角度看，飞鱼OS增强了汽车听、说、看三个维度的能力，听的部分在声纹识别和降噪模块的基础上增加了多音区能力，听的部分，在技能平台、AIUI的基础上，增加了XTTS和音效，看的部分，在360的基础上，增加了人脸识别和疲劳识别能力。
作为一个开放构架，在技能开放平台方面，飞鱼OS目前在汽车上已经上线大类场景。
刘俊峰表示，“未来，希望更多的细分场景由我们的开发者进来合作，在这个平台上完善更多的汽车优秀技能。”
为了给开发者提供更好的支撑，科大讯飞计划开放汽车AI技能定制平台，这个平台可以支撑开发者或客户的技能1s上线，实时生效。
值得一提的是，这个平台可以帮助客户或开发者能有效的收集用户数据并且通过智能化分析，优化和不断打磨自己设计的技能，从而为用户提供更好的技能服务。
硬件开放平台方面，通过硬件平台的开放，开发者可以接入车机硬件、座舱硬件、后装设备，第三方智能驾驶、辅助驾驶接口，客户和合作伙伴可以快速集成和使用。
不难看出，通过平台的整合，科大讯飞让合作伙伴能更轻松的实现智能互联和最优秀的人机交互解决方案。
运营组件开放方面，为了更多合作伙伴的诉求，讯飞还开发了场景模型和各种生态接入接口，为合作伙伴提供相关运营组件通道，让服务智能找人、直达用户。
刘俊峰称，“希望用这样的一个生态共演的方式，能够推进在行业汽车智能革命，智能化转型过程之中有效的一小步。”
而在科大讯飞的人机交互系统的未来发展方向方面，科大讯飞智能汽车事业部产品总监汪华峰提到三点：多模态交互、多乘客交互、情感化交互。
多模态交互：就是将多种传感器，比如麦克风、触摸屏、摄像头等技术，融合人工智能识别和理解技术，实现的多场景呈现和交互的能力。
在多场景下，采用多种交互方式融合，从而提供更加接近人类的沟通方式，比如我们本次增加的疲劳识别、人脸识别等能力就是为了让多模态交互做到更好的。
多乘客交互：多乘客交互是科大讯飞在行业里首次提出并开创，目前第一步已经在蔚来汽车ES8上实现落地，首个场景是当我们后排的乘客说“打开车窗”，这时候在这位乘客的一侧的窗户会被打开，但不会影响其他人的车厂。
该能力从技术上是基于整车多乘客需求，也就是刘俊峰提到的多音区的交互方案。
情感化交互：讯飞希望能够让每一个人都有一个自己的AI虚拟个人助理，人机交互一定会往类人的多情感方向发展，所以讯飞依托人工智能技术，用情感化设计语言和拟人化设计打造的具有更加懂我能力的个人虚拟助理。
ES8上的nomi就采用了科大讯飞智能汽车业务的人工智能技术打造出来的。
汪华峰表示，“未来我们希望把飞鱼OS更多的的能力向合作伙伴进行开放，我们也希望跟更多的一些V2X的一些合作伙伴，更多的去深入的去整合相应资源，双方共享相应的接口，能够把整个的OS系统的服务体验做得更强。”
在自动驾驶层面，自动驾驶领域权威评测任务Cityscapes中，科大讯飞团队以明显优势刷新了全部两项子任务的世界纪录。
董事长刘庆峰肯定了科大讯飞在自动驾驶技术研究领域的态度，并断言：我们还会有更多的世界冠军。
Cityscapes评测任务是由奔驰主推，提供在驾驶领域进行效果和性能测试的图像分割数据集。该评测任务关注真实场景下的道路环境理解，用于评估参与测试的算法在城区场景语义理解方面的性能。
相比其他自动驾驶领域的测试数据集，Cityscapes任务难度更高，更加贴近自动驾驶等当下热门需求，近年来的热度也不断攀升。
在Cityscapes任务所应用的数据集中，包含了5000张精细标注的图像和20000张粗略标注的图像，这些图像包含50个城市的不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注。
针对Cityscapes数据集“尺寸变化大、相互遮挡多、目标辨识难”的特点，科大讯飞团队基于图像检测和分割基础算法的多年研究积累，引入了多项创新性技术。
在设计语义分割模型方案时，基于Encoder-Decoder框架，融合注意力机制、可变形卷积操作等思想，创新性地增加了一组尺度自适应矫正网络，使得模型能够充分地利用各层级特征和上下文信息来有效地应对场景中类别尺寸的变化，同时通过目标函数的设计对图像各像素点进行加权编码及梯度规整，提升难以辨识的“难例”像素点尤其是各类别边缘相交区域像素点的预测准确度，进一步提升整幅图像场景中每一个像素点的预测准确性。
在实例分割方案的设计上，科大讯飞团队将级联式检测方案迁移到实例分割任务的定位模块中，并针对驾驶场景下的一些特定的空间位置共生关系（比如：汽车出现在道路上，骑车者出现在自行车或摩托车上）引入一种空间注意力机制，逐步提升模型的定位性能，同时在分割模块的设计上还成功借鉴语义分割模型成熟方案，精细化每个实例对象的分割结果，最终达到更好的实例分割性能。
不断优化的算法，科大讯飞从可行驶区域的判断更加精准、物体类别和形状判断更加精准两个方面为不同工作模式和不同传感器配置的智能化车辆提供了“看得清、认得准”的核心能力。
可行驶区域的判断更加精准意味着车辆在做出驾驶路线决策时有精度更高的依据，可以更好地将图像和激光雷达等感知设备返回的结果进行综合校验判断，从而避免因单一传感器缺陷而产生交通事故的可能性。
物体类别和形状判断更加精准意味着车辆对于当前驾驶环境中其他交通参与者的属性和具体形状有更精确的判断，在面对有些激光雷达难以识别的物体属性和难以区分的物体实例时，车辆可以通过视觉感知这一更加直观且完整的方案来大幅度地降低事故出现的概率。
对科大讯飞而言，在从单纯的智能语音能力提供商积极转型为整车智能化方案提供商的进程中，Cityscapes评测恰好成为了考验科大讯飞在计算机视觉领域算法水平的“试金石”。而通过了检验的领先核心算法技术不仅可以更好地为讯飞保驾护航，还能进一步加速机器视觉能力的产品落地应用。
在BAT跑马圈地的时候，在任何一款自主品牌新车发布的现场，科大讯飞已是一个不可绕开的身影。
智能汽车业务已是科大讯飞业务发展重要的组成部分，目前科大讯飞已与大众、日产、丰田、马自达、雷克萨斯、长安、上汽、一汽、北汽、长城、吉利、奇瑞、江淮、广汽等国内外汽车厂商开展了广泛的合作，并已取得良好的阶段性成果。
过去的服务是用户找服务，现在的服务是服务找人，科大讯飞通过场景模型和生态引擎，基于场景模式+运营平台，让服务智能直达用户。
生态服务的整合不应该是一个一个APP堆积而成，且服务要用户自己去找，手机场景可以接受，但车上不一样，这块屏幕的位置和人的注意力都发生了变化，讯飞认为汽车的OS一定是去APP化，整合服务后的系统。