每经记者:朱成祥 每经编辑:杨夏
(资料图)
ChatGPT的火热,让国内不少互联网、AI企业纷纷加码大模型。比如云从科技(SH688327,股价41.95元,市值310.71亿元)近期就拟募集36亿元投向“大模型”。
曾经的AI,是CV(计算机视觉)的天下。就国内而言,最受瞩目的AI公司当属“CV四小龙”商汤科技(HK00020,股价2.93港元,市值980.64亿港元)、旷视科技、云从科技和依图科技。ChatGPT的横空出世,令AI产业的焦点迅速从视觉转为语言,从CV转为NLP(自然语言处理)。
在语言大模型时代,CV四小龙之一的云从科技又将何去何从?特别是大模型追求“强者恒强”,可能将是少数巨头的游戏。在算力“军备竞赛”中,云从科技能否跟上巨头的脚步?
值得注意的是,云从科技已被列入实体清单。这意味着公司采购海外厂商生产的高端AI芯片存在限制,比如目前最火热的AI芯片当属英伟达A100和H100。对此,《每日经济新闻》记者4月13日致电云从科技。其工作人员表示,(上述芯片)此前有一点库存,公司也在与国内厂商合作。
少数玩家的游戏
互联网、移动互联网的兴盛,使得各行各业崛起了一大批细分领域的巨头。AI的兴起,同样在各细分领域百花齐放。比如CV(计算机视觉)领域的“四小龙”;语音领域的科大讯飞(SZ002230,股价59.18元,市值1374.80亿元)、思必驰。
而大模型时代,游戏规则骤然改变。算力的“军备竞赛”,导致大模型成本高企,可能仅有少数巨头能够负担。
据国盛证券计算机团队测算,以英伟达A100芯片、DGX A100服务器、现阶段每日2500万访问量等假设为基础,估算得出:在初始算力投入上,为满足ChatGPT当前千万级用户的咨询量,投入成本约为8亿美元,对应约4000台服务器;在单日运行电费上,参考美国平均0.08美元/kwh工业电价,每日电费约为5万美元,成本相对高昂。
此次云从科技欲募集资金36.35亿元,用于云从“行业精灵”大模型研发项目。其中,场地购置及装修费5.54亿元,研发设备购置费20.94亿元,人力资源成本7.60亿元,其他费用2.27元。
投资明细。 图片来源:云从科技定增预案截图
算力投入应属于研发设备购置费。照此计算,云从科技欲投入不超过20.94亿元用于算力投入。
截至2022年三季度末,云从科技货币资金12.47亿元。2022年第三季度,上市公司营收6479.03万元,同比下降80.07%;归母净利润-2.64亿元。2022年前三季度,上市公司营收4.55亿元,同比下降41.53%;归母净利润-5.89亿元,经营性现金流净额-5.29亿元。
从云从科技财务数据看,初始投入之后的训练费用、运行电费对其也是较沉重的负担。据国盛证券计算机团队,基于参数数量和token数量估算,GPT-3训练一次的成本约为140万美元;对于一些更大的LLM模型(如拥有2800亿参数的Gopher和拥有5400亿参数的PaLM),采用同样的计算公式,可得出,训练成本介于200万美元至1200万美元之间。
据天风计算机团队,参考GPT-3的发展历程,OpenAI从45TB的文件中过滤出570GB的数据集,仅训练费用就高达1200万美金,随后OpenAI经过约3年时间不断探索,中途有InstructGPT、davinci不同版本的尝试,最终在2023年发布了GPT-4,打造一个有竞争力的大模型需要数据、算法等资源的持续投入。
强者恒强
那么,云从科技是否可以与巨头进行差异化竞争,做一个“小而美”的垂直行业领军者?
在信达证券看来,参数量超级庞大的模型在任何垂直领域都具备优势,垂直细分的小模型难有生产空间。因此,信达证券认为在大模型格局未完全形成之前,参数量的无上限堆砌是各家企业发力的焦点,故算力的“军备竞赛”无可避免。
据天风计算机团队统计,百度Ernie大模型参数量约为2600亿,京东言犀、商汤商量SenseChat参数量为千亿级别,腾讯混元AI大模型参数量为万亿级别。华为盘古α参数量为2000亿。
据云从科技公告,2020年,OpenAI发布的NLP大模型GPT-3,实现了千亿级数据参数,大模型也成为了超大规模预训练模型的代名词。2022年,ChatGPT的出现更进一步确定了大模型作为人工智能主流技术路线的趋势。
可以看出,各大巨头的参数级别为千亿级乃至万亿级。
图片来源:天风计算机团队公众号“牛骨挖掘机”
为何各家都在比拼参数量?信达证券认为,从论文研究来看,参数量的提升有助于构建语言预测模型的精确度,同时提高泛化能力。泛化能力的提升意味着一个参数量超级庞大的大模型,其在垂直细分领域的预测能力可超过针对垂直领域开发的中等参数量模型。
这意味着,做大模型似乎只有成为巨头,才能避免被边缘化。
天风计算机团队也认为,拥有一个大模型并不难,但是持续打造一个有竞争力的大模型难度很大。虽然国内有众多厂商推出了大模型,但从终局的角度看,大模型终将收敛并稀缺。参考OpenAI在海外的发展历程,大模型需要连同生态一起进化,形成强者恒强的格局。
芯片何来?
中航证券研究所认为,在ScalingLaw的框架下,只要追加数据与算力,大模型的能力就能持续增强。对OpenAI而言,目前大模型的最大限制是数据和算力的总量。
或许,大模型之间的竞争,已经转为对数据与算力资源的争夺。
对于云从科技而言,由于公司被纳入美国“实体清单”,购买模型训练用的高端芯片面临限制。即使资金充足,能否成功获取庞大算力所需芯片呢?
云从科技定增预案显示,2020年5月至今,美国商务部宣布将包括公司在内的多家中国公司及机构列入“实体清单”,该行为不会对公司日常对外销售、客户拓展等产生重大不利影响,但可能对公司研发和项目交付过程中采购境外厂商的芯片、服务器等器件产生一定限制,尽管公司已制定国产器件替代的产品方案,但由于方案落地需要一定验证时间、客户对使用替代器件的产品认可具有不确定性等因素,可能会对公司的生产经营产生一定影响。
简而言之,对销售影响不大,影响主要是采购境外厂商芯片、服务器。
对于芯片问题,《每日经济新闻》记者4月13日致电云从科技,其工作人员表示:“首先有一部分库存,然后我们和国产芯片供应商之前也完成深度适配。”
该工作人员也表示,具体芯片问题公司在2月份投资者活动记录表有回复。记者查询后了解到,云从科技芯片的采购分两类。第一类:公司过去向英伟达采购部分芯片用以训练侧方面,公司具有一定量的库存储备且国产化的训练芯片水平也已经在快速提升中。第二类:过去两年中,公司在国产化硬件适配方面稳扎稳打,已与华为、寒武纪(SH688256,股价195元,市值782亿元)、曙光等提供芯片和服务器的厂商完成了深度适配。
值得一提的是,云从科技一度研发过AI芯片,如承担工信部“基于自研SoC芯片的高准确度人脸识别产业化应用”等国家级重大项目建设任务。
而根据云从科技招股书,其表示公司所处的人工智能行业尚处于发展初期,未来发展趋势存在较大不确定性,相关技术及各应用场景的定制化解决方案迭代速度快,技术的产品化和市场化亦具有一定的不确定性。2020年,由于芯片设计成果未达预期,且EDA软件和生产流片遭遇限制,公司终止了“人工智能SOC芯片研制及结合高准确度人脸识别技术的产业化应用”项目。
也就是说,云从科技终止了自研人工智能SOC芯片。
每日经济新闻
标签:
最新推荐
创业者、河长、村支书,这是重庆市合川区三庙镇戴花村青年何波的不同头衔,但几个身份都指向了同一个使...
律师兼任调解员,不打官司也能化解纠纷,代理调解受指派的公益性案件还免费。这是兵团第十师北屯市探索...
根据教育部教育考试院统一安排,2022年上半年全国大学英语四、六级口语考试将于5月21日-22日举行,笔试...
学生代购的“苦”与“乐” “你问的这个产品现在做促销活动,买一件包邮,还送小样和面膜……”...
11月11日大连市新冠肺炎疫情防控总指挥部发布,11月10日0时至24时,大连市新增21例本土新冠肺炎确诊...
纤维素制成闪光材料无毒可降解 或彻底改变化妆品行业 科技日报北京11月11日电 (实习记者张...
海洋中或堆积了2 8万吨新冠废物 科技日报北京11月11日电 (记者刘霞)据美国趣味科学网站10日报...
开屏广告又现新花招,换个马甲就重来? ■ 来论 据媒体报道,“双十一”期间,一些App的开屏...
对不合理教师资格认定标准,该全面清理了 ■ 来论 针对网友留言反映的“糖尿病无法通过教师...
虚假宣传、以次充好、售卖临期产品不提示直播间商家“放水”让消费者闹心 关注“双11” 今年...
“扫码抽手机”实则是广告 快递单能“领红包”面单广告是谁发的? “双11”之际,消费者被商...
中新网11月12日电 据北京市疾病预防控制中心微信公众号消息,2021年11月10日北京市接报1例在京存在...
(抗击新冠肺炎)辽宁大连本轮疫情病毒为德尔塔变异株 24个区域划定为中风险地区 中新社大连11月1...
中新网西安11月11日电 (梅镱泷 杨起超)记者11日从西安市鄠邑区秦保局获悉,太平国有生态林场架设...
(抗击新冠肺炎)成都停业整顿56家零售药店 买感冒药需提供身份证 中新网成都11月11日电 (记者 ...
中新网大连11月11日电 (记者 杨毅) 11月11日,大连市政府秘书长衣庆焘在大连疫情防控新闻发布会...
新华社杭州11月11日电(记者冯源)在商周时期,如今的浙江中西部活跃着一个名为“姑蔑”的族群,但是...
中新网大连11月11日电 (记者 杨毅)11月11日,大连市政府秘书长衣庆焘在大连疫情防控工作新闻发布...
中新网大连11月11日电 (记者 杨毅)11月11日,大连市政府秘书长衣庆焘在大连疫情防控工作新闻发布...
中新网昆明11月11日电(记者 缪超)云南“最美政法干警”发布仪式11日在昆明举行。会上,授予昆明市...
(抗击新冠肺炎)甘肃凝聚“她力量”:互助抗疫,女人更懂女人心 中新网兰州11月11日电 (记者 徐...
中新网兰州11月11日电 (史静静)在甘肃金川公司,27年来葛小海始终在生产一线,他参与的“渣罐车制...
中新网乌鲁木齐11月11日电 (王小军 罗宣政 廖超)11月11日,一批来自浙江嘉兴的爱心物资,跨越...
中新网兰州11月11日电 (邬凡 朱学成)11月10日5时30分,位于敦煌车站旁的敦煌综合工区,钢轨探伤车...
中新网重庆11月11日电 (梁钦卿)“我今年上小学三年级了,我不怕疼,打疫苗是为了抵抗新冠病毒。”1...
中新网绵阳11月11日电 (岳波 李远梅)四川绵阳警方11日通报称,一男子酒后无聊多次报警称自己的...
中新网11月11日电 据中国民航局网站消息,11月11日,民航局再发熔断指令,对德国汉莎航空公司LH728...
中新网成都11月11日电 题:疫情中轮椅上的“逆行者”:想为大家做力所能及的事 作者 祝欢 ...
中新网上海11月11日电 (记者 李姝徵)上海警方11日召开发布会披露,在近期“砺剑”行动中破获了一...
中新网太原11月11日电 (记者 李庭耀)记者11日从山西省政府新闻办举行的新闻发布会上获悉,山西推...
中新网乌鲁木齐11月11日电 (刘雨珊 牛雨萌 艾尼)11日,记者从新疆水产科研所获悉,新疆博湖县将...
中新网大连11月11日电 (记者 杨毅)大连市新冠肺炎疫情防控总指挥部 11日发布公告,大连市将庄河...
中新网西安11月11日电 (记者 党田野)身穿白色“礼服”,摇晃着酒杯,时不时浅酌一口啤酒,然后与...
11月11日大连市新冠肺炎疫情防控总指挥部发布,按照国务院应对新冠肺炎疫情联防联控机制关于科学划...
中新网南京11月11日电 题:这个“双十一”南京的猪都“脱单”了 其实还有更让人嫉妒的…… ...
中新网呼伦贝尔11月11日电 (记者 张林虎)11日,记者从内蒙古自治区呼伦贝尔市公安局获悉,该局将...
中新网广州11月11日电 (记者 程景伟)“寻味帅府邂逅甜蜜——2021年帅府之夜”暨“海外拾珠——孙...
中新网徐州11月11日电 题:江苏徐州“家门口车管所”便民服务驶入“高速路” 作者 朱志庚 ...
中新网重庆11月11日电 (梁钦卿)为加强秋冬季空气污染应对,重庆市生态环境局11日发出2021年第九次...
新华社重庆11月11日电 题:深藏功名三十载 化作春蚕报乡亲——一名抗美援朝老兵的人生选择 新...
中新网益阳11月11日电 (王鹏 王庆庆)爱花本是修身养性、陶冶情操之事,湖南益阳市桃江县桃花江镇...
中新网成都11月11日电 题:成都25位民辅警的“封闭”生活:有人“转行”送外卖 有人变身“仓鼠管...
中新网南京11月11日电 (徐珊珊)江苏省教育厅体育卫生与艺术教育处处长张鲤鲤11日在南京表示,到202...
中新网成都11月11日电 (记者 吕杨)成都市公园城市建设管理局11日正式发布公园城市银杏观叶指数,...
中新网南京11月11日电 (徐珊珊)11日,江苏省教育厅召开新闻发布会,发布2020年江苏省学生体质健康...
中新网宜昌11月11日电 (江雅丽 董晓斌)17年前,四川广安一夫妇的6岁儿子被人拐走,夫妻俩寻找多年...
中新网宁德11月11日电 (林榕生)福建宁德市柘荣县应对新型冠状病毒感染肺炎疫情工作领导小组(指挥部...
11月11日,内蒙古额济纳旗新冠肺炎防控工作指挥部发布《关于调整额济纳旗达来呼布镇风险等级的公告...
(抗击新冠肺炎)内蒙古现有本土确诊病例32例 伊金霍洛旗确诊病例清零 中新网呼和浩特11月11日电...
中新网呼和浩特11月11日电 (记者 张林虎)11日,记者从内蒙古自治区通辽市相关部门获悉,从10日下...
以“高利息、高回报”为诱饵 200余名老人被骗1000余万元
成都抗疫的外籍志愿者:愿为城市“康复”贡献力量
Copyright © 2015-2022 西南律师网版权所有 备案号:皖ICP备2022009963号-8 联系邮箱:39 60 29 14 2@qq.com