PathPartner利用4D成像雷达和摄像头融合技术开发出一款DMS的扩展系统

  据麦姆斯咨询介绍，随着全世界汽车制造商开发出更多配备Level 2或更高级别功能（但仍不可以忽视人工监督）的车辆，汽车产业对车内监控系统的需求慢慢的变多。车内监控系统的设计目的主要是关注驾驶员行为，确保他们可以集中注意力，并在需要时收回对无人驾驶汽车的控制权。

  全球汽车制造商采用的一个解决方案是在他们的车辆上增加一套驾驶员监控系统（DMS）。近期，PathPartner利用4D成像雷达和摄像头融合技术开发出一款DMS的扩展系统——乘客监控系统（OMS），逐步提升了安全性、舒适性和便捷性。

  PathPartner成立于2006年，是一家专业的产品工程服务企业，为汽车、消费电子通信、医疗和物联网领域的客户提供从概念到量产的服务。通过围绕深度学习计算机视觉、多媒体、图像和物联网构建的创新技术，为客户解决了复杂的业务挑战，加快产品上市时间。PathPartner的业务遍及全球，在印度班加罗尔和科钦、德国法兰克福和美国硅谷设有研发中心。

  PathPartner负责研发的副总裁Vinay MK表示：“将摄像头和毫米波雷达结合在一起，可以在低光、嘈杂的环境下明显提高检测精度。我们采用的摄像头具有近红外照明，可以在不同的照明条件下实现可靠的性能。”

  4D成像雷达代表着下一代毫米波雷达技术。它的工作原理类似具有闪光灯的照相机，在拍摄前利用毫米波（一种不可见的电磁波）瞬间照射目标物体。在传统照相机中，闪光灯发射出可见光，以实现在低光照条件下的目标捕捉。而4D成像雷达则通过天线接收毫米波，使用静态随机存取存储器（SRAM）记录目标图像。

  4D成像雷达探测目标的图像犹如“点云”，可显示车辆中人员或物体的尺寸、形状、位置和移动等信息。从这些雷达图像中，可通过深度学习算法来识别它们是什么。当作为驾驶员或乘客监控系统的一部分时，PathPartner的4D成像雷达技术可用于检测汽车内部的细微运动，甚至是人和动物的呼吸，例如在毛毯下熟睡的儿童或有宠物的地方。

  汽车雷达系统能根据探测范围分为三种类型：近程雷达、中程雷达、远程雷达。例如，近程雷达可以探测到距离车辆30米远的物体。近程雷达通常放置在车辆的后角，以支持盲点检测、追尾警告、交叉路口警报和泊车辅助。

  中程雷达探测30米至80米范围内的目标物体，远程雷达探测距离大于80米的目标物体。远程雷达用于汽车安全系统，如自动紧急制动（AEB）和自适应巡航控制（ACC）。

  Pathparter驾驶员和乘客监控系统中使用的毫米波雷达具有较小的波长、更高的分辨率和精度，因此能够更好地区分两个目标。这款毫米波雷达由于其体积小、性能强劲，获得汽车制造商的青睐。

  我们与PathPartner负责研发的副总裁Vinay MK进行了更深入的交流，他进一步解释了公司在驾驶员和乘客监控系统中使用的底层技术。他还解释了基于摄像头的监控和使用4D成像雷达的监控之间的主要区别。

  Vinay MK介绍说：“基于摄像头的监控系统能检测到安全带的正确使用和乘客的身高，这两项都是安全气囊正确打开的关键要素。基于摄像头的监控系统能用来监控驾驶员的活动，比如抽烟、打电话、吃饭、喝酒、玩手机、分心、睡觉等，它还可以探测到某些物体的存在，例如空的婴儿座椅、悬挂的外套等。”

  “4D成像雷达系统能在低光照条件下完美地补充基于摄像头的监控系统。”Vinay MK表示，“60GHz成像雷达系统有足够的分辨率来探测婴儿和成人呼吸频率的差异。结合摄像头和成像雷达的数据，在低光照条件下可以明显提高检测精度。”

  “如果婴儿在被毛毯覆盖的婴儿座椅之中，那么只有通过毫米波雷达系统才有机会探测并识别。”Vinay MK说，“在驾驶员和乘客监控系统中使用4D成像雷达的一个根本原因是准确检测停放车辆中的小孩。”

  根据一份美国国家安全委员会报告称，每年平均有39名15岁以下的小孩在被遗留在车内后死于中暑。因此，美国国会于2019年制定了《Hot CarsAct》法案，要求美国交通运输部（DOT）强制要求所有新车配备儿童存在检测系统，例如PathPartner开发的驾驶员和乘客监控系统。

  为了满足汽车制造商的处理需求，PathPartner驾驶员和乘客监控算法已被移植到NextChip的Apache4上。Apache4是一款用于汽车高级辅助驾驶系统（ADAS）视觉系统的预处理器。据Nextchip称，Apache4包括专用的图像处理加速器子系统和优化的软件，能够大大减少多达70%的计算需求。

  Vinay MK说：“Apache4预处理器以高度集成的方式提供先进图像处理。与传统基于向量的分类器相比，其先进的算法可提供更高的检测率，使其成为欧洲NCAP大众市场采用的非常经济实惠的驾驶员和乘客监控解决方案。”

  据麦姆斯咨询此前报道，全球领先的芯片制造高通（Qualcomm）与PathPartner展开合作，并在2019年CES上展出的概念车中集成了PathPartner驾驶员和乘客监控系统，引起了广泛关注。今年1月，PathPartner宣布推出基于高通QCS605片上系统（SoC）的PT605模组和智能相机参考设计套件。

  PathPartner驾驶员和乘客监控系统是围绕多个小型卷积神经网络（CNN）模型与自适应机器学习模块结合而设计的。该公司表示，由于采用了这种混合架构，4D成像雷达技术能利用高通提供的DSP，以非常低的占用空间处理60帧/秒的数据。

  PathPartner表示，其高性能PT605模组和智能相机参考设计套件与公司的设备工程服务相结合，还使设备制造商能够很好的满足汽车行业以外对4D成像雷达日渐增长的需求，包括对支持人工智能的摄像头和物联网设备的需求。

  “我们的摄像头具有近红外照明，可在不同的照明条件下实现可靠的性能。摄像头模块和处理单元通过高端汽车级FAKRA连接器连接，提供安装灵活性和小外观尺寸摄像头。”Vinay MK介绍说。

  FAKRA（Fachkreis Automobil）是由德国开发的汽车级连接器的行业标准，可以在高达6GHz的频率下运行，并且具备极高的可靠性。这些类型的连接器通常用于连接无线成像和视频设备。

  Vinay MK继续说：“美国硅谷公司Cadence提供的硬件也支持我们的驾驶员和乘客监控系统。Cadence是一家高性能DSP和卷积神经网络（CNN）加速器供应商，在汽车处理器方面取得了成功。通过将我们的驾驶员和乘客监控算法和模型移植到Cadence处理器上，我们已为汽车原始设备制造商（OEM）做好了试验准备。”

  Cadence的Tensilica Vision DSP成像产品（PathPartner驾驶员和乘客监控系统已经采用）旨在运行用于成像和计算视觉的复杂算法，包括目标对象和人脸的识别与跟踪、低光图像增强、数字缩放、手势识别等。Tensilica系列还为运行AI驱动的软件提供出色的性能，这也是PathPartner选择它的另一个原因。

  PathPartner强大的驾驶员和乘客监控机器学习算法也在英特尔Intel）Apollo Lake处理器以及恩智浦（NXPIMX8x汽车级处理器上进行了应用展示。

  Vinay MK在去年的一次采访中对《汽车新闻》杂志说道：“我们的驾驶员和乘客监控系统正被部署在印度班加罗尔的卡车和货车上。由于能够在1.2GHz四核处理器上移植计算密集型算法，我们得到了来自汽车Tier 1厂商的令人鼓舞的反馈。”

  在无人驾驶汽车能够在没有人为干预的情况下安全地驾驶车辆之前（预计还有很多年），PathPartner等公司正在制定有效的解决方案，以确保车辆处于自动驾驶模式下运行时，监控驾驶员行为，同时防止儿童或宠物无意中被遗弃在车里。

  根据Market Insights展望，长久来看，驾驶员和乘客监控系统的需求在汽车行业将大幅度增长，特别是如果通过法规要求所有乘用车都要安设驾驶员监控系统，例如美国销售的乘用车都必须配备安全气囊（驾驶员和乘客都需要）和倒车摄像头。

  PathPartner还与一家领先的汽车Tier 1供应商建立了战略伙伴关系，该供应商的重点是在移动领域开发先进的视觉系统。PathParter拒绝在现阶段透露该企业名称。不过，Vinay MK证实，两家公司正在共同开发一款基于摄像头和毫米波雷达的驾驶员和乘客监控ECU，以支持系统的处理要求。“我们继续与汽车Tier 1供应商合作，并在适当的时候披露他们的名称。”Vinay MK介绍说，“PathPartner的战略合作伙伴将在汽车级ECU上集成其乘员监控系统（OMS）和司机监控系统（DMS）算法。”

  PathPartner还使用边缘计算来处理传感器数据，而不是将数据发送到云服务做处理，因为这会增加延迟。对于汽车行业，边缘计算能够给大家提供更高的安全级别，并减少对蜂窝网络传输数据的依赖——对于安全性至关重要的汽车系统而言，这种方法并不总是足够可靠。

  PathPartner营销、业务开发和销售副总裁RamshisorKorada解释说：“由于对数据隐私、通信延迟和不可靠连接的担忧日益增加，将AI工作负载从云转移到设备上的情况正在上升。”设备制造商正在拥抱这一改变，并带来智能物联网设备的下一波创新，例如用于视频监控、仪表板摄像头、无人机、视频会议等。”

  当然，驾驶员监控系统与现有汽车ADAS集成还面临着一些挑战。因为驾驶员监控系统要与汽车的其他控制管理系统（包括制动和转向系统）以及AI动力感知系统来进行某些特定的程度的集成设计，从而真正的完成“人车合一“。

  除了开发驾驶员和乘客监控系统，PathPartner还为所有主要的汽车Tier 1供应商提供先进的软件集成、验证和测试服务。该公司最近获得了一家欧洲Tier 1供应商的车内占用检测系统的投产订单。

  Vinay MK预测，汽车行业的首要重点将是低成本集成驾驶员监控系统，它能处理大多数监控条件。对于汽车制造商来说，需要在性能和成本之间进行权衡。他还预测，由于成本的原因，大规模部署的首款驾驶员监控系统甚至有可能不支持视线检测。Vinay MK还表示：“像我们这样的初创公司专注于先进的功能和复杂的模型，也必须经历很长的孕育期。”

  原文标题：4D成像雷达+摄像头，PathPartner研发驾驶员和乘客监控系统

  文章出处：【微信号：MEMSensor，微信公众号：MEMS】欢迎添加关注！文章转载请注明出处。

  通道，且基于领先的数字编码调制（DCM），可以为更广泛的汽车市场提供 更具性价比的

  市场的演变趋势 /

  透镜和图像传感器的设备，能够将光学图像转化为电子信号，并将其传输到电脑或别的设备上进行记录和处理。

  在智能驾驶起到啥作业，这个在纯视觉的方案的替代下，引发了我们的思考。

  的测试要求都有哪些嗯？ /

  新时代 /

  Sheba Microsystems推出专为AR/VR/XR设计的MEMS自动对焦

  数字化升级助力实现更好的智能驾驶 /

  厂商名录 /

  端口。这就要在不同的控制器上编程，并处理他们之间的通信，从而增加了项目复杂性。所以，我们又设计

  YXC有源晶体振荡器，频点20MHZ，小体积3225封装，应用于储能NPC、新能源

  巨资投入！英飞凌在马来西亚启动全球最大碳化硅功率半导体晶圆厂，预计2025年量产

  HarmonyOS Next原生应用开发-从TS到ArkTS的适配规则（十四）

  【龙芯2K0300蜂鸟板试用】第四篇 龙芯2K0300蜂鸟板--继续点灯