第57章 孙博的能力(第3/5 页)
最新都市言情小说:
直播金字塔:成就在世摸金老祖!、
邪神卡组造物主、
凡人的成长之金融新贵、
穿越高武世界!系统?没用?!、
城市穿越:从战士面板开始、
唯有我会空间系,阁下该如何应对、
才醒,媳妇儿就要和人订婚了?、
全民:我的金光咒能无限进化、
抢我异能时你笑,我修仙了你哭啥、
剑术奇才养成记、
病娇:都重生了谁还网恋啊?、
众生封神、
回到治沙村我用空间治理沙漠、
都市:开局负债万亿,我杀父上位、
狂龙下山,绝色师姐太妩媚、
异能觉醒的夏天、
重生之后,我成了文娱之王、
春寒料峭时的相遇、
SSSS级天赋!我!超凡剑仙!、
暗影传承之学渣的逆袭之旅、
也就是说,当显卡堆积达到一定规模之后,就算再堆积硬件,性能虽然也会增加,但增加的也会十分有限,到最后甚至肉眼都不可见了。
这么说着,孙博还举例道:“以现在的GPT4为例,如果想要一个2倍GPT4参数的大模型,对算力的需求大约会是多少呢?
“我计算过,大约需要十几倍。而且公式计算的只是理论效果,而更大规模的集群,片间互联的损失肯定也会更大,实际效果只会更差。”
孙博很是热情,只要不涉及他自己工作的机密和核心,只要他在的时候,那几乎是有问必答的。
纪弘也正好翻看到这儿,他没有过多的惊讶,片间互联损失这一块儿本身就不好解决,要不然超大规模智算中心也不至于这么稀有了——河州大学搞的那个还是纯国产第一例。
“按你这么说,微软这孤注一掷的效果,不一定会好啊!”有人这么回了一句。
“效果不好是一定的,花费两倍的价格,可能能得到1.5倍的性能,最多也就如此了,想要赶上耳语的能力,我觉得不大行。
“其实OpenAI自己肯定也清楚,GPT4乃至后续没有发布的4.5版本,之所以没这么堆规模,就是在卡能效比的两个节点。
“再堆规模下去,性价比会越来越低不高。但现在不是被耳语逼的没办法了吗?”
孙博本就是研究前沿理论的,现有模型的理论上限他清楚的很,哪个算力节点卡一下性价比最高他大约也都清楚。
到了一定程度,盲目的加规模肯定得不偿失。除非迫不得已,一般不会这么干的。
本章未完,点击下一页继续。