在第七届世界声博会暨2024科大讯飞全球1024开发者节开幕式上,科大讯飞正式发布汽车端侧星火大模型,相较于云端大模型,汽车端侧星火大模型在无网环境下可用,且使用效果与云端相比几乎无差异。
科大讯飞介绍,很多用户在开车经过山洞隧道,或在其他特殊场景下,会遇到无网的情况;还有些用户出于保护个人隐私需求,不希望将个人数据同步至云端。
而科大讯飞首发的汽车端侧星火大模型,将大模型部署在汽车端本地,不依赖云端网络,完美解决以上用户的使用痛点和需求。
科大讯飞表示,虽然他们部署的汽车端测星火大模型,只有1.3B的参数产出,比现在通用模型降低了两个数量级,但在汽车典型应用场景中,这些应用场景中的实际效果只下降了1%,实用效果几乎没有差异。
端侧首响应时间降低到40毫秒,在复杂场景下还可以调用云端模型,即便需要调各种信源,端云融合的响应时间也降低至1.3秒,汽车端侧星火大模型的技术效果和响应速度,属于全行业领先的水平。
科大讯飞透露,汽车端侧星火大模型不仅是今天首发软硬件一体化的模型,关键是从今年第四季度开始,奇瑞、广汽、长城等多款车型,正在陆续集成上线并开售,用户很快就能体验到。