In the wave of accelerated transformation of the global automotive industry towards intelligence and internet connectivity, the rise of big model technology has brought unprecedented opportunities for change in the automotive sector.
在全球汽车产业向智能化、网联化加速转型的浪潮中,大模型技术的崛起为汽车领域带来了前所未有的变革机遇。黑芝麻智能在高性能芯片和基础软件架构领域的持续创新,正全力推动汽车智能化的发展,为行业注入新的活力。
大模型全面助力辅助驾驶迈向智能化
随着人工智能技术的飞速发展,大模型在汽车领域的应用日益广泛,成为推动辅助驾驶智能化的关键力量。从智能底盘、智能座舱到辅助驾驶,大模型的应用场景不断拓展,为用户带来更智能、更便捷的出行体验。
在辅助驾驶领域,大模型能够实现端到端的决策控制,基于世界模型进行环境感知和路径规划,大幅提升辅助驾驶系统的决策效率和准确性。例如,DriveGPT4 和 DriveMLM 等模型通过整合多模态数据,实现了更精准的环境感知和驾驶决策,推动辅助驾驶技术向更高级别发展。而在智能座舱中,基于 LLM/MLM 的多模态交互技术,如语音交互、舱内行为监控等,能够实现更自然、更智能的人车交互,提升用户的驾驶体验。
然而,大模型上车也对端侧设备提出了更高的要求。传统的模块化方案在面对多模型、多任务时,往往存在模块间信息丢失、计算负担重、难以应对长尾场景等问题。例如,模块优化目标的不统一使得系统整体性能难以达到最优,而每个模块的最坏情况执行时间(WCET)难以精确控制,导致整体时延较大,这对驾驶安全来说是个不小的挑战。
多模态大模型与世界模型:辅助驾驶的未来方向
多模态大模型和世界模型的出现,为辅助驾驶技术的发展提供了新的思路和方法。多模态大模型通过融合视觉、语言等多种模态信息,能够更全面地理解驾驶环境,提升辅助驾驶系统的感知能力和决策能力。例如,BLIP-2、LLaVA 等多模态模型在视觉问答、图像描述等任务中表现出色,为辅助驾驶中的场景理解和决策提供了有力支持。
世界模型则通过构建虚拟环境模型,使辅助驾驶系统能够在虚拟环境中进行模拟和学习,提升系统的适应性和安全性。从 2018 年的 World models 到 2024 年的 WorldDreamer 等,世界模型在辅助驾驶中的应用不断深化,为辅助驾驶技术的发展提供了新的动力。
黑芝麻智能:以技术创新引领汽车智能化
面对汽车智能化的挑战和机遇,黑芝麻智能积极投身于技术创新,致力于为行业提供高性能、灵活可靠的解决方案。
黑芝麻智能积极拥抱下一代电子电气架构的演进,推动架构从传统模块化向集成化、集中化、跨域融合升级,通过域控制器(DCU)、跨域多域控制器(MDC)、车载电脑(CCU + Zone)等的运用,为汽车智能化提供高效、灵活的硬件基础。武当系列芯片平台借助先进的封装技术和高速通信接口,实现了算力的灵活扩展和高效通信,能够满足不同场景下的多样化需求。
在芯片创新方面,黑芝麻智能武当系列和华山系列芯片,为辅助驾驶智能化提供强大算力支持。武当系列芯片凭借高性能、高安全性以及开源开放的特点,在行业内脱颖而出。以武当C1296 芯片为例,作为行业首颗支持多域融合的芯片平台,它集成了整车数据计算、自动泊车系统、安全信息系统等多种功能,为汽车智能化提供了全方位的支撑。而华山系列芯片依靠九韶架构、BaRT 等先进技术,为辅助驾驶提供了高效的计算能力。
同时,黑芝麻智能充分认识到基础软件架构的重要性,积极研发面向未来的智能化基础软件架构。其开源基础软件参考实现符合《车载智能计算基础平台参考架构 2.0》规范,为用户提供了标准化且可靠的技术底座。通过引入 Cloud Native、OTA、Model Based Design、SOA 等通信技术,基础软件架构更好地支持大模型运行和应用,为辅助驾驶发展奠定坚实基础。
开源生态与合作:共筑汽车智能化未来
黑芝麻智能深知开源生态对于汽车智能化发展的重要性,因此积极回馈开源社区,并与众多合作伙伴携手构建开放、协作的产业生态。
通过代码开源和接口开放,黑芝麻智能吸引了全球范围内的开发者参与,促进了技术的快速传播和应用。目前,武当系列芯片的开源代码和开放接口,为开发者提供了灵活的开发环境,加速了智能网联汽车的上市进程。
此外,黑芝麻智能还与产业链上下游的众多企业深度合作,共同探索新技术、新模式,推动汽车智能化的持续发展。通过这种紧密的合作,黑芝麻智能构建了一个涵盖芯片、操作系统、中间件、应用软件等全产业链的生态系统,为汽车智能化的全面发展提供了有力的支持。
黑芝麻智能将继续秉持创新无界、合作开放的理念,不断加大在技术研发和开源生态建设方面的投入。随着下一代高性能芯片和基础软件架构的持续创新,黑芝麻智能将为辅助驾驶的发展提供更强大的技术驱动力。
(Edited by Ye Shiyu)