“AIoT”到“边缘AI”进化论
AI乃至生成式AI向边缘设备的迁移，曾一度引发广泛疑问：倘若云端或数据中心已然具备卓越的AI推理性能，且其性能远超边缘设备，那么，为何我们仍需部署边缘或端侧AI？
直到我们发现汽车ADAS/AD决策必须讲究实时性，否则避障决策从云发到车上，即便决策精度再高，1秒响应时间足够发生车祸了。工业生产制造的操作安全亦如是，不讲究实时性的AI决策无论如何都会造成生产损失，不必谈预测性维护解决方案有多智能。
而曾被我们认定实时性要求不高的生成式AI，实则也在落地过程中发现了高实时性要求的应用场景：比如AI PC上的游戏教练助手——这类AI助手通过录屏、检测画面，藉由AI CV(计算机视觉)识别，以浮窗的方式给出玩家指导与辅助，已经在一些竞技类游戏及赛事训练中使用。
这是一个典型的对实时性有要求的生成式AI应用场景。在交互性强的游戏场景中，几乎无法通过云AI来完成整个流程，更不用说当“生成式AI”不仅涉及文字、图片的生成，还扩展到机械臂动作、脑波等的生成时，问题将变得更加复杂。
因此，边缘AI是真正具备了价值的。IIC Shenzhen 2024活动上，TI(德州仪器)嵌入式处理高级副总裁Amichai Ron在主题演讲中表示，边缘AI让算力和数据源更加靠近，在设备端而非云端做决策。
“将智能带到芯片上，这关乎响应速度、功耗和数据隐私，以低延迟做出实时决策。”“系统需要在微秒级时间内做出决策，拯救生命。”Amichai说，“就像无线连接已经是我们日常生活的一部分，边缘AI也会持续扩散，进入到越来越多的应用中。”
这一轮边缘AI与上一轮AIoT
边缘AI近两年都是技术或市场趋势热词。“边缘AI是指，在云上设计和训练能够运行特定功能的模型，并使用神经网络引擎在嵌入式设备之上执行该模型的能力。Amichai如此定义边缘AI。
或许更多企业有关边缘AI的定义是将AI模型的本地执行能力扩展到了一切非数据中心的边缘与端侧，包括手机、PC、汽车、机器人、家电、AIoT，以及工业、医疗、零售等各行各业的边缘嵌入式设备，乃至企业为生产制造而设立的边缘高算力设备或集群。
英特尔、英伟达这类市场参与者对“边缘”的定义就可能与TI、瑞萨等不同。所以笔者更愿意将“边缘”的范围，扩展到一切行业的边缘。但无论如何，边缘AI强调的都是在算力和扩展能力有限的本地进行AI模型推理的技术。
图1：机器人也是典型的工业边缘应用
从这样的定义来看，早在2018年甚至更早，在边缘或端侧执行AI运算就已经不新鲜了。只不过当年还不流行“边缘AI”和“TinyML(指在超低功耗、资源受限的微型设备上进行机器学习的技术)”的说法，顶多是“边缘计算”及“AIoT”。当年英伟达的股价还在5美元上下波动，生成式AI也尚未爆发。那么这两年兴起的“边缘AI”一说，是对当年旧概念的热炒吗？
2024年进博会上，瑞萨电子全球销售与市场副总裁、瑞萨电子中国总裁赖长青在接受《国际电子商情》采访时提到了3个挺有说服力的差异：(1)当代边缘AI技术比以前明显更成熟；(2)AI覆盖应用范围变得更广；(3)边缘开发范式的转变。这是前些年我们谈AI都还不会涉及的问题。
在技术成熟度上，“包括感知、通信、电机控制、人机界面、安全等关键技术”都和以前不同。随之而来，这波AI技术发展也就“催生了更大的市场”。“智能家庭、汽车自动驾驶、智慧城市等等，应用变得越来越广泛”，AI在边缘实现了“深度和广度的普及”。
对于嵌入式开发范式发生改变，“传统的嵌入式工程师，其设计还是基于原有规则的。而人工智能是基于数据做设计。”赖长青谈到。也就是说越来越多的嵌入式设计和算法，从规则驱动走向了数据驱动。
另一个能够更务实地体现这一轮边缘AI与上一轮AIoT差异的，还在于近两年AI MCU的涌现——虽然这并非边缘AI实施的唯一芯片类型：包括瑞萨、英飞凌、TI在内的企业都在热推自家的AI MCU，不仅是MCU+DSP/NPU这类加速模式，还在于IP供应商正从扩展指令层面实践CPU的AI加速，且已经在上市的AI MCU中得到体现。
很难想象的是，当代的微控制器已经可以凭借一己之力、在完全不需要额外加速器的情况下，处理摄像头捕捉到的视觉数据，检测画面中的对象且达到可观的帧率。
考虑更大的“边缘”外延，笔者认为在赖长青阐述的这3点以外，可以再加一个“(4)生成式AI或将在边缘焕发活力，且不仅是PC、手机、汽车这类算力资源比较充沛的边缘，还在于嵌入式应用”。这一点将在下文做更详细的阐述。
行业谈论“边缘AI”的内在逻辑
更具体的边缘AI应用案例在《国际电子商情》的历史文章中能大量见到。举例来说，中信泰富铁钢集团就已经在其生产工艺中采用AI技术，比如说预测高炉的内部工作，实时优化工艺参数，增加了15%的吞吐，降低了11%的能耗。这也是相较数年前的AIoT无法达成的当代行业边缘AI应用典型。
以上大概是从半导体领域观测到的、属于边缘AI的具体现象。接下来，我们有必要深入到行业和应用，相对宏观地理解这一轮“边缘AI”和上一轮“AIoT”热点的本质差异。
罗列任何研究机构的市场价值数字都无法表达真正的市场潜力：来看一些更具体的数据。在2024年初的市场趋势文章中，麦肯锡(McKinsey & Company)将AI形容为第四次工业革命。当然这个形容方式本身没什么了不得，因为这些年被称为“第四次工业革命”的技术实在太多了。麦肯锡提供的数据是，过去20年美国制造行业下滑1.4%。
但在AI、数字技术、可持续发展大趋势及更高技能水平的加持下，市场在过去5年中又重新焕发了活力。相比之前的15年，美国工业企业这五年创造了更多400个基点的股东收益。
而麦肯锡的研究网络GlobalLighthouse Network明确了促成这“第四次工业革命”的两大要素。其一是机器智能技术已经达成前所未有的成熟度。这里的机器智能尤指AI，让机器能够在虚拟和物理世界中进行生产，赋予其可执行复杂任务的特定智能。其二是全球领先的企业机构不再像以前一样，仅在个别用例上尝鲜新技术，而是以整个工厂或工厂集群为单位进行前沿技术的扩充。
或者说麦肯锡的批量研究对象已经在工厂级乃至跨工厂部署AI技术，而不再停留于先期小规模试验和验证了。以更前沿的生成式AI为例，这些工厂都至少在流程中试行1个生成式AI应用；其中某些能够在以天或者以周计的周期内对生成式AI用例做实施、测试和迭代。具体到麦肯锡定义的第四次工业革命系统性先进用例实施，绝大部分企业所需时间<6个月，30%则少于3个月。
之所以能够在如此短的周期内完成新技术部署和迭代，是因为既有基础设施构建已经在上一阶段完成，包括必须的数据、技术基础设施、人才储备及灵活的运营模型。
本文不打算花笔墨在AI具体做了些什么的问题上，而且麦肯锡针对AI在工业生产制造之中的研究实际上并不只是关乎边缘AI的问题。但我们有必要看到这一轮市场在谈边缘AI，及上一轮AIoT话题差异的本质。即技术革新，尤其是上升到“工业革命”程度的技术革新往往是个漫长的过程。
图2：第四次工业革命的S曲线；来源：McKinsey & Company
每次大型技术革命总是呈现出进度的“S曲线”。麦肯锡认为，在技术发展初期，市场要先经历“学习”曲线阶段——这个周期可能会很长，伴随各种试错，也需要先行者去解决各种实际问题。
而到了下一阶段进入到曲线的“实施(Doing)”部分，则建立在基础技术已经建立，企业组织开始在生产网络中对其进行部署的基础上。最后还会进入到“优化”曲线阶段，此时行业会开始对技术做对齐：标准、协议细节化，技术实施成本持续稳定。
麦肯锡根据第四次工业革命扩散的S曲线模型研究发现，全球灯塔网络(Lighthouse Network)中的先驱企业在技术演进中呈现显著特征。这些企业2018年就处在AI驱动的第四次工业革命“学习”曲线阶段，而今年已经进入到“实施”阶段后期，所以在麦肯锡的描述里能够相对快地在工业生产过程中构建或部署AI用例。
我们理解这也是不同时期，市场在对待AI技术时赋予其不同名词称谓的内在逻辑。即便对于绝大部分企业而言，或许还远未走到Lighthouse所在位置——甚至他们中的绝大部分还将经历“学习”阶段的一段倒退和试错期(ScalingSlump)，毕竟要让一项新技术扩展到整个生产网络面临着各方各面的挑战。
而现在渡过了这一时期的市场参与者将会真正意义上地定义整个行业，乃至率先设立技术标准，就像当年六西格玛(Six Sigma)概念那样。
生成式AI走向边缘的下一步
2024年11月份的英特尔新质生产力技术生态大会上，面壁智能谈到过所谓“模型知识密度”的概念，即模型能力÷模型参数。在此概念中，在模型参数量级不变的情况下，每8个月模型能力就会提升一倍。据说当前一个20亿参数规模的模型，就已经可以达到前些年1,700亿参数GPT-3的水平。
将这一趋势与晶体管尺寸微缩的摩尔定律放在一起，两条趋势相反的曲线在某一点上相交，则意味着在给定更为有限的算力之下，能完成更复杂的功能。这在我们看来是大模型走向边缘的理论依托：即不单是摩尔定律、加速计算持续发展并提升算力，而且AI模型及算法本身也在不断优化。
最终不只是AI PC、AI手机、AI机器人，以及更多行业边缘能跑生成式AI，低功耗嵌入式应用也将获得生成式AI技术加成，且已经有面向边缘的AI芯片理论上能够以低功耗实现SLM(小语言模型)推理。这让我们看到了边缘AI的更多可能性。
图3：AIoT到边缘AI的进化论
最后仍以Amichai的主题演讲对边缘AI的价值做结：“在工业系统中，边缘AI能够实现预测性维护，让系统更稳定、高效，具备成本效益。”比如对太阳能系统而言，“藉由边缘AI进行错误检测，发现电压浪涌、在问题出现之前就关闭系统，提升太阳能板的安全性。这对太阳能板的广泛采用很重要，也间接提升了可持续能源技术的普及率。”
如我们2023年对边缘AI的定义那般，边缘AI是全社会数字化转型走向高级阶段的写照。所以在《国际电子商情》的2025市场趋势总结里，笔者也将边缘AI作为重要议题做了展开：边缘AI也将半导体全行业的潜在增长点长期存在——即便或许在下一个5-10年，它可能会因为进入S曲线的新阶段而以另一个新名称出现。
