当前位置:精品消费网-> 消费 > > 内容

为旌科技:车规软件架构及工具链对BEV+Transformer的支持

时间:2024-04-29 13:31  | 来源:盖世汽车  | 阅读量:15253   

为旌科技成立于2020年8月,是国内顶尖的集成电路设计企业,拥有强大的图像处理能力和高能效的人工智能核心,能够提供优质的图像质量,并支撑复杂的AI计算场景覆盖智慧视觉和智能驾驶领域,全面支持客户在不同细分领域的芯片选型。

2024年4月17日,在第二届汽车人工智能大会上,上海为旌科技副总裁amp;联合创始人张晓峰谈到,在智能驾驶方面,已推出为旌御行系列行泊一体域控芯片VS919、VS919L、VS909,以高度集成、高性能、低功耗等特点为客户提供单芯片智能驾驶解决方案。产品内部集成ASIL-D级安全岛,同时提供整体的autosar解决方案。通过自研ISP支持高动态、全域降噪等需求,满足低光、强光及各种气象条件下图像还原,降低机器推理难度;自研高效能NPU和工具链,采用近存计算、乱序执行、多队列、多维度融合等先进技术,得到传统GPU计算数倍的有效算力,提供高质量解决方案的同时,降低了用户整体系统成本、研发成本和研发周期。

上海为旌科技副总裁amp;联合创始人

以下为演讲内容整理:

公司发展历程

为旌是一家专注于芯片研发与制造的企业,在座的嘉宾多为我们的上下游合作伙伴或业界同仁。自2020年8月成立以来,我们始终致力于技术创新与产品研发。2021年,我们成功启动了首个智慧视觉芯片项目,2022年实现了流片并一版成功,并于年底获得了首个客户订单,这标志着我们初步在市场中取得了认可。

图源:为旌科技

同年,我们进一步拓展了产品线,推出了智能驾驶芯片VS9系列。在研发过程中,我们同步开展了车规、以及ISO26262功能安全体系的建设工作,以确保产品符合行业标准。首颗车规芯片回片后,我们立即启动了AEC-Q100认证流程,并于2022年年底完成了某车企方案商的design in。

2023年,我们在北京隆重发布了智慧视觉旌海山系列芯片,其图像质量达到了业内领先水平。在智能驾驶领域,我们于2023年7月份通过了ISO26262体系认证,并在11月份成功获得了首颗车规芯片的AEC-Q100认证。同年12月,我们发布了为旌御行VS919系列芯片,并在本周一获得了VS919系列芯片的ISO26262功能安全产品ASIL-D认证,这进一步巩固了我们在行业内的领先地位。

VS919:国内首颗极致性价比的单芯片行泊一体

VS919芯片作为我们主打产品,以其极致性价比和行泊一体方案受到了市场的广泛关注。该芯片集成了满足ASIL-D等级的安全岛MCU,拥有8核A55、4核R5F以及两个支持96G算力的DSP。此外,我们还自研了24T算力的NPU,并对Transformer进行了加速处理。双核GPU的算力高达80G,支持3D渲染,确保了强大的图像处理能力。

在接入能力方面,VS919芯片同样表现出色,总接入能力达到3200万像素,可支持多达16路200万像素的输入,同时兼容12CAN-FD以及其他常用外设接口如PCIE、USB等。

值得一提的是,我们还自研了宽动态范围达到140dB的为旌遥光ISP,有效解决了车载视觉系统在复杂环境下的可见性问题。此外,智能编码模块支持H.264、H.265等多种编码格式,具备4K120fps的编解码能力,满足了高清视频处理的需求。

关于VS919单芯片行泊一体域控方案,我们采用了先进的传感器技术,支持5R7V12U等多种传感器接入方式。通过can接口接入5路毫米波雷达,通过SPI、GPIO接口接入12路超声波雷达,实现了全方位的环境感知。同时,我们还提供了丰富的车载以太网接口,支持与其他车载设备的连接与通信。

在软件方面,我们搭建了符合ISO26262:2018ASIL-D标准的嵌入式软件开发流程,并采用V模型覆盖整个设计和测试过程。我们定义了严格的编译规范、设计方法和验证标准,并提供了一套完整的满足ASIL-D等级的开发工具链。这些措施确保了软件开发的高效性和可靠性。

此外,我们还对车载软件部署进行了深入研究,提出了基于硬件算力单元的软件架构方案。我们主要在大核上部署SDK,并对接三方中间件,为客户提供了灵活的算法部署空间。同时,我们注重安全岛的建设,提供了ASIL-D等级的安全岛以及相应的操作系统和中间件支持。

在整体软件架构方面,我们实现了从AI算法到APP的全方位覆盖,并整合了雷达、毫米波等多种传感器数据。通过中间件实现通信管理、时间同步等功能,并通过硬件以太网支持DDS等通信协议。我们为客户提供了一系列软件库和工具,包括媒体处理、AI部署、DSP API以及图形渲染等方面的支持。

为旌科技的实践探索

目前,我们在MCU中内置了ASIL-D级别的安全岛,并提供了相应的API和CP协议栈支持。客户可以通过这些接口轻松调用我们的应用和服务。我们期待与更多的AUTOSAR合作伙伴携手共进,实现共赢发展。

现将我们构建的数据通道图展示如下:图中左侧支持两个800万像素的通道,辅以四条200万像素的环视通道,并增设一条300万像素的后视通道。

图源:为旌科技

在BEV模式下,四路环视信号需与前视信号保持同步时间戳,以便将相关信息传递至NPU进行BEV处理。若仅执行泊车功能,则需进行图像拼接。拼接算法部署于GPU上,,GPU执行拼接与渲染操作后,最终由VO负责显示。

值得一提的是,我们支持BEV+Transformer架构,提供高度灵活且可编程的算子支持。目前,我们已支持200多个算子硬件加速,支持混合精度量化等功能,能够有效支持Transformer模型的加速运算。

此外,我们还通过OBU模块支持可定义算子的实现。,经实际芯片评测,我们在CNN上的性能达到友商的1.5倍,而在SwinT上的性能更是友商的6倍。

我们的为旌星图工具链核心包含两部分:量化工具与精度评估工具通过工具链转化后,我们获得量化参数表与浮点部署模型。随后,利用编译器与性能评估工具进行优化处理,包括图优化、算子拆分与融合,以及与硬件直接相关的算子融合。最终将模型转换为硬件可识别的模型与指令,并通过我们的部署流程直接加载至芯片上。

图示为Yolov5在VS919芯片上的量化部署,芯片连接7个摄像头。显示器顶部为两个主摄,中间一排为环视摄像头,底部为后视摄像头。所有摄像头均朝向同一方向,充分展示7V的能力。在SwinT量化部署方面,我们首先进行模型准备与清洗工作,随后根据数据集类型选择相应的量化方法。经过模型量化后,生成中间量化文件,并利用我们的量化工具进行处理。最终,通过编译工具生成芯片可识别的文件,并通过部署流程加载至芯片上。目前,我们在性能上已达到竞品的6倍。

图源:为旌科技

展望未来,我们坚信合作共赢是发展的关键。作为旌科技这家专注于芯片研发的公司,我们致力于打造好用、易用、耐用的芯片产品,在算力底座方面发挥我们的专长。我们期待与更多的合作伙伴,包括中间件合作伙伴与算法合作伙伴,共同打造国产智能驾驶方案。

声明:免责声明:此文内容为本网站转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。

热门头条

微软Win10/

 ,SimonAaarons和DavidB...

谷歌Bard开始

 ,据外媒报道,在OpenAI训练的人工智...

少先队队歌、共青

 为进一步推广和宣传国家通用手语,帮助更多...

五一去哪旅游最合

 摘要大家好,小号哥来为大家解答以上问题五...

蔚来CFO:非常

 ,据彭博社消息,蔚来首席财务官奉玮表示,...

2023年闰二月

 今年是比较特殊的一个年份,它会有一个闰月...

中国罐头在海外多

 ,据央视财经频道报道,一些国家的食品价格...