ST公布更多内置NPU的智能传感器细节

SENSOR + TEST 2022 会议上个月在德国纽伦堡举行，会上ST（意法半导体）详细介绍了ISM330IS，这是业界第一个配备智能传感器处理单元 (ISPU) 的传感器。 ST于 2022 年初宣布了该技术，ISPU 是一种支持C 语言的可编程嵌入式数字信号处理器 (DSP)，能够运行机器学习和深度学习算法。 因此，它是边缘人工智能的下一阶段，或者是ST所提倡的“在线生活时代”。ISM330IS 包括一个用于单位精度计算的浮点单元，这是运动传感器中的首创。

从一个想法到新一代传感器，ST克服了哪些挑战？

回顾过去四年的重大创新，以了解我们是如何走到今天这一步的，这一点至关重要。它始于 ST 发表了一篇研究惯性传感器内部机器学习核心可行性的论文。在这项研究之前，传感器只收集数据。因此，所有计算都必须在微控制器上进行。该系统背后的原因相对简单，惯性传感器是小型低功耗设备。添加功能强大的处理器不仅会违反这些限制，还会带来重大的集成和制造挑战。ST尽管将 DSP 和加速度计与陀螺仪结合在一起，但并未影响处理能力、内存存储或传感精度。

第一个带有机器学习核心的传感器完成了什么？

2018 年的 ST 论文具有开创性，因为它解决了这些挑战，后来被称为 LSM6DSOX 的产品，这是有史以来第一个能够并行容纳八个决策树以运行机器学习算法的惯性传感器。因此，可以在本地运行应用程序，而功耗非常低。新的应用程序开始出现，尤其是在将设备集成到 SensorTile.box 之后。例如，可以为留在车内的婴儿创建一个哭泣检测器。同样，伦敦大学学院的两个项目利用了这个传感器开发了站/坐检测以及数字听诊器。

还有哪些其他传感器具有机器学习核心？

LSM6DSOX 也是一个新的开发者社区的开始。 ST 在 GitHub 上提供了一个机器学习核心存储库，并使 UnICo GUI 软件工具更易于访问，以帮助希望利用 LSM6DSOX 中的机器学习核心的程序员。此外，ST发布了更强大的传感器。可以针对虚拟现实耳机等要求更高的应用程序。ST还推出了 LSM6DSV16X，它具有增强的机器学习内核和更好的每瓦性能比，适用于具有更严格的功率限制的系统。因此，ST 具有机器学习核心的传感器在一定程度上促成了下一个自动化时代的到来，而 ISM330IS 开启了这一传奇的重要新篇章。

从新的处理核心到新的应用

ISPU 是由什么制成的？

ISM330IS 的 ISPU 为数据提供 8 KB RAM，为应用提供 32 KB RAM。它还具有运行频率为 10 MHz 的 32 位 RISC 哈佛架构、一个四级流水线、一个浮点单元和一组针对神经网络处理优化的 16 位长度指令。处理器可以只在四个时钟周期内引发中断（Arm Cortex 内核通常在 15 个时钟周期内完成），它也可以在一个周期内处理 16 位乘法。它使用 SPI 或 I2C 与主机 MCU 进行通信。开发人员只需在主机处理器启动时将 C 代码加载到 ISPU 的易失性存储器中。

FPU 使应用程序能够以更大的灵活性在边缘运行推理。一旦满足条件，程序就会向微控制器抛出一个中断。同样，与上一代设备相比，该架构使 ISPU 能够提高性能，同时仍以微瓦级运行。因此，与之前机器学习核心的决策树相比，这是一个重大的飞跃，是一个更高效的系统。此外，尽管具有强大的计算能力，但 ISM330IS 仍然适合市场标准的 3 毫米 x 2.5 毫米 x 0.83 毫米 LGA 封装。因此，设计人员无需显着改变其 PCB 即可采用新部件。

ISM330IS 如何脱颖而出？

机器学习应用程序越来越普遍，许多人将它们与高内存要求、云计算服务器或高度并行的 GPU 架构相关联。许多程序确实需要昂贵的计算操作，这使得它们与边缘处理不兼容。然而，公司也知道并非所有深度学习系统都需要这种能力。因此，在移动设备（例如智能手机）或本地工业装置上运行推理正在获得关注。图像识别、异常检测和预测性维护都需要在紧凑的功率范围内提供可靠的 AI 性能。同样，用于无线家庭安全系统的摄像头使用人工智能来识别面部或宠物，而 ISPU 可以为移动系统上的常亮显示提供智能。

ISM330IS 是应对这一挑战的新解决方案，因为它在高性能模式下仅需 0.59 mA。相比之下，ISM330DHCX 需要 1.5 mA。 后者有一个更强大的陀螺仪，除其他外，这确实部分解释了这种差异。 然而，这些数字也显示了新设备的优化和处理核心的效率。 事实上，低功耗微控制器很少有 FPU，因为它们通常需要大量能量。 然而，ISM330IS 仍设法将其功耗保持在足够低的水平，以适应电池供电的系统。