端侧模型，创新的新赛道

吕本富

随着人工智能（AI）技术的快速发展，大模型的竞争正在从技术驱动过渡到市场驱动。在这一背景下，2024年以来，全球主流大模型间的比拼有两个要点。一是重要产品发布，OpenAI等企业的重大发布吸引全球目光；二是关注大规模产业应用和成本控制。

成本是商业考量的第一要义，OpenAI目前已经4次降价，国内头部互联网企业的主力模型也不得不大幅降价或将全面免费。数字经济的发展经历表明，平台型通用技术一旦形成，市场会快速进入“马太效应”，形成一家独大或几家垄断的局面。当然AI 对人类社会的塑造，端侧模型，创新的新赛道绝不仅仅生成式大语言模型这一个赛道。

5月22日，在欧洲最大的科技盛会“欧洲科技创新展览会”（VivaTechnology）上，来自中国的百度和荣耀分别阐述了大模型的新赛道——“超级应用和端侧模型”，引起了大会的关注。其中，荣耀CEO赵明认为，基于手机端的AI模型能承载生活娱乐、工作、学习等多个场景，具备在知识问答、文字扩写、表格生成、编写代码、图像处理，实现图像填充、实时语音翻译、智能助手、面部识别解锁等多项功能。手机使用频率最高，使用时间最长，因此在AI的落地竞赛中，将处于最有利的位置。

大模型的参数规模正在快速增长，约每18个月时间会增长40倍。现在生成式大模型的计算和推理都在云端进行，大模型参数和使用量的成倍增长带来巨大计算推理压力,当数十亿用户都日常使用生成式AI时，云端模式显然难以支持生成式AI的规模化扩展。过大参数也造成了在开发及使用过程中的成本高企，在一定程度上限制了AI应用的拓展和变现。因此，需要针对应用场景的小参数模型。

相比之下，端侧模型通常不需要依赖云端服务器的计算资源，可以减少云端计算的成本，并且在没有网络连接的情况下也能工作。随着生成式AI模型使用量和复杂性的不断增长，仅在云端进行推理并不经济。将一些处理从云端转移到边缘终端，可减轻云基础设施的压力并减少推理服务成本。推动一部分算力下沉到端侧，尤其是与用户规模庞大的移动端设备结合，正是端侧模型的努力方向。据统计，我国存量手机算力是数据中心算力的12倍，但算力利用率不足15%；全国宽带用户规模达5.9亿,却有80%带宽资源处于闲置状态。发展端侧AI将极大地体现AI应用的中国特色。

除了成本以外，发展端侧模型还有两个因素。一是当前企业或个人用户的AI应用场景都在端侧，聊天记录、办公记录、视频和照片等数据也在端侧。只有使用端侧模型，才能打消用户使用AI的疑虑。二是很多工业场景和野外场景，与云端链接网络不稳定，甚至存在断线的情况，AI模型可靠性和稳定性就难以保障，必须有独立运行能力的端侧模型才能保障。

一旦大模型的竞争进入到端侧领域就面临几个需要：完成底层芯片到上层操作系统及应用开发的软硬一体深度适配；能够在较低的功耗下运行且适合电池供电的移动设备；有电子围栏技术感知周围的场景。端侧模型也需要链接智能音箱、安全监控、自动化家居控制系统等，提供更个性化和安全的服务。

对于很多中国企业来说，上述竞争就相当于进入主场。部分手机厂商，电池的超长待机、电子围栏的场景感知的专长技术，从魔法大模型巧妙融入手机硬件，到系统级AI手机操作系统的崛起，具备了对大模型进行量化、剪枝、蒸馏，轻量化、小型化的技术。中国厂商的端侧模型通常注重与国内市场的需求和特点相适应，正华丽变身为世界手机端侧AI创新的先锋。（作者是中国国家创新与发展战略研究会副会长）▲

Tags： 端侧模型创新的新赛道

版权声明： 感谢您对【奚诗百科网】网站平台的认可，无特别说明，本站所有文章均归【奚诗百科网】平台所有，转载请说明文章出处“来源【奚诗百科网】”。 https://www.sptgyg.com/post/16032.html