21世纪经济报道记者白杨 北京报道
在AI大模型的激烈竞争中,算力资源和算法优化一直是各大企业追逐的焦点。然而,随着技术逐渐成熟,行业的焦点正在发生微妙的转变——从单纯的模型训练和算力投入,转向了如何处理和利用海量、高质量的数据。
事实上,数据已经成为了大模型能否成功落地的决定性因素。11月27日,猎豹移动董事长兼CEO傅盛在接受21世纪经济报道记者采访时明确指出:“算法和算力并不是大模型的核心竞争力,真正的壁垒是数据。”
傅盛提到,大多数大模型公司在算法上并没有显著的差异化。尽管芯片和算法依然关键,但它们的差距并不像数据那么深刻。“如果数据没有足够的质量和数量,任何算法和算力的优势都无法发挥作用。”
大模型的训练依赖大量标注过的数据,这一过程直接决定了模型的实际效果。傅盛比喻说,模型就像一个正在成长的孩子,只有得到正确的信息,他才能正确学习。
数据面临质量和数量双重挑战
然而,在数据的获取和利用方面,大模型的发展正面临诸多挑战。
首先是能用于大模型训练的真实数据正在枯竭。DeepMind在一篇论文中深入探讨了Scaling问题,并得出结论:为充分训练一个模型,其token数量需要达到该模型参数量的20倍。
目前,已知闭源模型中训练token数最多的是GPT4,约为20T;开源模型中训练token数最多的是LLaMA3,约为15T。照此计算,如果一个5000亿参数的Dense模型要达到相同的训练效果,则需要训练约token数为107T,而这已远超当前业界拥有的数据量。
因此,使用合成数据已经成为大模型的一个共识。有预测数据显示,到2026年,自然数据将被大模型全部用完,而2030年,人工智能使用的合成数据将超过真实数据。
但傅盛认为,直接使用合成数据训练大模型存在巨大风险。由于合成数据本身不可避免地带有系统性偏差,若直接将其用于训练,模型可能会错误地将这些偏差视为常规,长期下来,模型的认知可能会出现致命缺陷。
所以合成数据也需要进行一些处理,如人工调优或者是用其他数据进行增强,来提升合成数据质量。
而针对真实数据,最显著的问题是利用率不高。许多企业有足够的数据,但是训练出的大模型效果总是不理想,原因也在于他们的数据质量不够高。
挖掘数据服务商机
基于此,猎豹移动也看到一个商机,其控股公司猎户星空推出了全新的数据服务产品——AI数据宝AirDS(AI-Ready Data Service)。
AI数据宝AirDS提供的服务涵盖数据收集、清洗、标注、提示词工程以及评估等环节。傅盛表示,因为猎豹移动自己也在训练大模型,所以相对于传统的数据标注公司,猎豹移动对大模型有更深刻的理解,也更能满足企业对数据的需求。
需要指出的是,目前的数据服务依然离不开人工。在大模型时代,数据筛选、清理等环节,可以借助一些工具提高效率,但要想获得高质量数据,人工精细标注仍是不可或缺的。
傅盛表示,在大模型时代,猎豹移动的核心业务模式并非通过模型接口来赚钱,而是通过帮助客户实现AI应用的落地来创造价值。
该业务模式的核心是围绕大模型的应用场景进行深度挖掘。以AI数据宝(AirDS)为例,猎豹移动通过数据服务产品,帮助企业客户实现从数据清洗到标注、再到应用优化的全流程服务,这不仅大幅提升了企业的AI应用效果,也为猎豹移动创造了巨大的商业化空间。
目前,AI数据宝的成功案例已经覆盖了多个行业,包括移动通信、互联网娱乐、新能源汽车等。
对于大模型未来的发展,傅盛认为,尽管技术瓶颈已使得模型的迭代速度放缓,但应用场景的深度和广度却在不断扩展。特别是在搜索、企业服务等垂直行业,随着数据质量和应用能力的提升,AI有望为行业带来革命性的变革。
“明年将是应用大繁荣的一年,”傅盛预测,“大模型的能力已经相对稳定,下一步的竞争将更多依赖于如何在特定场景中应用大模型。只要场景足够清晰,它的爆发力将非常强。”