将训练好的机器学习或深度学习模型直接部署在智能手机、平板电脑、个人电脑等终端设备,而不依赖云端服务器进行推理计算,是目前人工智能大模型发展的热门方向。但由于所需算力资源过于庞大,大模型几乎无法在手机、人形机器人等小型终端上开展本地部署,限制了大模型的应用场景。于是,更多的人工智能企业及研发机构另辟蹊径,加码小模型赛道。
小模型,即参数少、占用算力资源少、反应速度快、可以本地化运行的模型。大多数小模型参数量在几百万至数千万,结构也更简单。参数量缩小带来的明显改变,是对功耗以及算力需求的降低,许多智能手机都能轻松“驾驭”小模型。模型虽小,但在部分专业领域,其功能表现并不输大模型。例如,小模型通过专注于学习某个细分领域的精华数据,可降低不相关、意外或不一致的内容输出风险,更贴近用户端需求,小模型的本地化部署也可以更大程度保障用户的数据控制权和隐私权。
不过,在具体研发层面,大、小模型之间的关系更多是协作而非竞争。当下,许多科技巨头的做法是先训练出通用能力足够强的大模型,再借助大模型对数据进行初步筛选处理,构建站在大模型“肩膀”上的小模型,用质量更高、数量更少的数据完成训练,以更低成本实现不输大模型的应用效果。
——《科技日报》