機(jī)器之心報(bào)道
【資料圖】
編輯:吳昕
George Hotz:除了蘋果之外,大部分公司保密的原因都不是在隱藏什么黑科技,而是在隱藏一些?「不那么酷」的東西。
「GPT-4 的參數(shù)量高達(dá) 100 萬億?!瓜嘈藕芏嗳诉€記得這個(gè)年初刷屏的「重磅」消息和一張被病毒式傳播的圖表。
不過很快,OpenAI 的 CEO Sam Altman 就出來辟謠,證實(shí)這是一條假消息,并表示,「關(guān)于 GPT-4 的謠言都很荒謬。我甚至不知道這從何而起?!?/p>
實(shí)際上,許多人相信并傳播這樣的謠言是因?yàn)榻陙?AI 社區(qū)不斷在增加 AI 模型的參數(shù)規(guī)模。谷歌在 2021 年 1 月發(fā)布的 Switch Transformer 就把 AI 大模型參數(shù)量拉高到了 1.6 萬億。在此之后,很多機(jī)構(gòu)也陸續(xù)推出了自己的萬億參數(shù)大模型。據(jù)此,人們有充分的理由相信,GPT-4 將是一個(gè)萬億參數(shù)的巨量模型,100 萬億參數(shù)也不是不可能。
雖然 Sam Altman 的辟謠幫我們?nèi)サ袅艘粋€(gè)錯(cuò)誤答案,但他背后的 OpenAI 團(tuán)隊(duì)一直對 GPT-4 的真實(shí)參數(shù)量守口如瓶,就連 GPT-4 的官方技術(shù)報(bào)告也沒透露任何信息。
直到最近,這個(gè)謎團(tuán)疑似被「天才黑客」喬治?霍茲(George Hotz)捅破了。
喬治?霍茲因 17 歲破解 iPhone、21 歲攻陷索尼 PS3 而聞名,目前是一家研發(fā)自動(dòng)駕駛輔助系統(tǒng)的公司(comma.ai)的老板。
最近,他接受了一家名為 Latent Space 的 AI 技術(shù)播客的采訪。在采訪中,他談到了 GPT-4,稱 GPT-4 其實(shí)是一個(gè)混合模型。具體來說,它采用了由 8 個(gè)專家模型組成的集成系統(tǒng),每個(gè)專家模型都有 2200 億個(gè)參數(shù)(比 GPT-3 的 1750 億參數(shù)量略多一些),并且這些模型經(jīng)過了針對不同數(shù)據(jù)和任務(wù)分布的訓(xùn)練。
在這段播客播出之后,PyTorch 創(chuàng)建者 Soumith Chintala 表示自己似乎聽過同樣的「傳聞」,很多人可能也聽過,但只有 George Hotz 在公開場合將其說了出來。
「混合模型是你在無計(jì)可施的時(shí)候才會(huì)考慮的選項(xiàng),」George Hotz 調(diào)侃說,「混合模型的出現(xiàn)是因?yàn)闊o法讓模型的參數(shù)規(guī)模超過 2200 億。他們希望模型變得更好,但如果僅僅是訓(xùn)練時(shí)間更長,效果已經(jīng)遞減。因此,他們采用了八個(gè)專家模型來提高性能?!怪劣谶@個(gè)混合模型是以什么形式工作的,George Hotz 并沒有詳細(xì)說明。
為什么 OpenAI 對此諱莫如深呢?George Hotz 認(rèn)為,除了蘋果之外,大部分公司保密的原因都不是在隱藏什么黑科技,而是在隱藏一些「不那么酷」的東西,不想讓別人知道「只要花 8 倍的錢你也能得到這個(gè)模型」。
對于未來的趨勢,他認(rèn)為,人們會(huì)訓(xùn)練規(guī)模較小的模型,并通過長時(shí)間的微調(diào)和發(fā)現(xiàn)各種技巧來提升性能。他提到,與過去相比,訓(xùn)練效果已經(jīng)明顯提升,盡管計(jì)算資源沒有變化,這表明訓(xùn)練方法的改進(jìn)起到了很大作用。
目前,George Hotz 關(guān)于 GPT-4 的「爆料」已經(jīng)在推特上得到了廣泛傳播。
有人從中得到了靈感,聲稱要訓(xùn)練一個(gè) LLaMA 集合來對抗 GPT-4。
還有人說,如果真的像 George Hotz 說的那樣,GPT-4 是一個(gè)由 8 個(gè) 2200 億參數(shù)的專家模型組合的混合模型,那很難想象背后的推理成本有多高。
需要指出的是,由于 George Hotz 并未提及消息來源,我們目前無法判斷以上論斷是否正確。有更多線索的讀者歡迎在評論區(qū)留言。
標(biāo)簽:
GPT-4是8x2200億參數(shù)的混合模型?這個(gè)小道消息今天傳瘋了,吳昕,播客,大
明天(22日)是端午假期第一天,今年端午假期(22日至24日)出行人數(shù)或
人工智能與一、二、三產(chǎn)業(yè)融合成效顯著,引擎作用日益凸顯。大模型作為
端午節(jié)前最后一個(gè)交易日(6月21日),大盤低開后震蕩下探,午后單邊下
1、360系統(tǒng)急救箱的修復(fù)系統(tǒng)操作起來是很簡單的,根據(jù)步驟就可以了。2
1、1974年5月25日下午,楊麗坤在區(qū)中心醫(yī)院婦產(chǎn)科生下了一對雙胞胎兒子
1、你好,這位朋友!彩鉛是個(gè)很好畫圖工具,利用彩鉛能畫出各種花草樹
1、經(jīng)查電線電流對照表,10平方的銅線明線敷設(shè)安全載流約74A。2、
6月20日,義烏市國有資本運(yùn)營有限公司公告稱,決定將義烏市國資辦持有
格隆匯6月21日丨有投資者在互動(dòng)平臺(tái)向朗威股份提問:請介紹一下公司的
“專窗”咨詢 “一站式”服務(wù) 青島
半島網(wǎng)6月21日訊(記者王禹涵)為營造和諧穩(wěn)定營商環(huán)境,結(jié)合青島市社
青島慈航機(jī)場迎“新”起飛 看熱訊
6月20日下午,隨著青島銳翔通航的DA40D飛機(jī)、北大荒通航的大棕熊KODIAK
爭分奪秒!男孩服藥輕生,城陽派出所
2023年6月15日下午,城陽公安分局指揮中心接到報(bào)警求助,還沒下班的謝
跨海大橋高架路駛往環(huán)灣路(北向)匝
因李村河互通立交G匝道拓寬改造工程施工需要,2023年6月25日晚21時(shí)至20
當(dāng)前觀點(diǎn):銷售不合格柴雞、雞胸肉
半島網(wǎng)6月21日訊近日,青島市市場監(jiān)督管理局發(fā)布關(guān)于12批次抽檢不合格
氫能每日報(bào),縱覽氫能天下事【2023年
氫能每日報(bào),縱覽氫能天下事【2023年6月21日】,法規(guī)政策1、福建省發(fā)布
當(dāng)前短訊!違規(guī)銷售超標(biāo)電動(dòng)自行車?
電動(dòng)自行車憑借其便捷的特點(diǎn)給群眾出行帶來了很大的便利,但隨著保有量
天天消息!桌面助手哪個(gè)好用知乎_桌
1、現(xiàn)在最火,最好用的應(yīng)該是360桌面助手,之前為安全衛(wèi)士集成的。2、
全球看點(diǎn):中行襄陽分行成功投放谷城
中行襄陽分行成功投放谷城縣首筆保租房貸款---襄陽中行第一時(shí)間成立營
今日熱聞!江西省興國縣屬于哪個(gè)區(qū)_江
對于江西興國縣屬于哪個(gè)市這個(gè)問題感興趣的朋友應(yīng)該很多,這個(gè)也是目前
【全球熱聞】泉州城市產(chǎn)業(yè)會(huì)客廳舉辦
電商培訓(xùn)現(xiàn)場6月19日,由泉州市商務(wù)局指導(dǎo),泉州市電子商務(wù)協(xié)會(huì)主辦的
環(huán)球今亮點(diǎn)!生鐵必難成金 化龍定是
生鐵必難成金,化龍定是鰍鱔,關(guān)于生鐵必難成金,化龍定是鰍鱔介紹這個(gè)
廣西養(yǎng)殖信息網(wǎng)_廣西攀鱸魚的養(yǎng)殖方
1、龜殼鱸是鱸魚科的一種小魚,是一種常年性、獨(dú)居性、晝行性、雜食性
帕金斯:湖人應(yīng)該追求追夢 用他和AD
近日,著名評論員帕金斯在節(jié)目中表示湖人應(yīng)該追求追夢。帕金斯說道:“
生鐵塊_關(guān)于生鐵塊介紹|環(huán)球看熱訊
生鐵塊,關(guān)于生鐵塊介紹這個(gè)很多人還不知道,我們一起來看看!1、生鐵塊
當(dāng)前焦點(diǎn)!銷售的辣椒不合格 青島家
半島網(wǎng)6月21日訊近日,青島市市場監(jiān)督管理局發(fā)布關(guān)于12批次抽檢不合格
六小齡童走進(jìn)深圳觀瀾展現(xiàn)猴戲真功夫
為鞏固轄區(qū)精神文明創(chuàng)建成果,推動(dòng)文明城市創(chuàng)建工作深入開展,弘揚(yáng)中國
“高質(zhì)量發(fā)展調(diào)研行”繼續(xù)采訪 媒體
近年來,泉州市實(shí)施“雙碳”行動(dòng)計(jì)劃,通過加大科技創(chuàng)新力度,引導(dǎo)企業(yè)
天天視點(diǎn)!南都調(diào)查|羅湖執(zhí)法部門連
執(zhí)法人員檢查鉑雅醫(yī)療美容門診部藥房。19日,南都記者報(bào)道了深圳醫(yī)美行
環(huán)球熱議:生鐵劍_關(guān)于生鐵劍介紹
生鐵劍,關(guān)于生鐵劍介紹這個(gè)很多人還不知道,我們一起來看看!1、單機(jī)游
焦點(diǎn)速訊:廣西南寧有什么??芲廣西
1、分別是廣西警官學(xué)院、廣西體育學(xué)院、廣西工商職業(yè)技術(shù)學(xué)院、廣西電
環(huán)球簡訊:公示!山東青島嘉凱城110KV
近日,山東青島嘉凱城110KV輸變電工程(變電站)批前公示,項(xiàng)目位于李
彩鉛畫花草鳥蟲魚圖片(彩鉛畫花)|
1、你好,這位朋友!彩鉛是個(gè)很好畫圖工具,利用彩鉛能畫出各種花草樹
環(huán)球動(dòng)態(tài):高于市場預(yù)期!英國5月CPI
周三,英國國家統(tǒng)計(jì)局公布,5月CPI同比上漲8 7%,與4月漲幅持平,但高
新華人壽保險(xiǎn)原董事長萬峰被開除黨籍
據(jù)中央紀(jì)委國家監(jiān)委駐中國投資有限責(zé)任公司紀(jì)檢監(jiān)察組、山東省紀(jì)委監(jiān)委
新資訊:福島民眾:排污入海讓多年努
福島縣磐城市部分民眾近日表示,福島核事故的影響仍未消除,核污染水一
廣東一居民已婚期間被冒名再次登記結(jié)
南都訊記者趙青通訊員吁青段弘宏6月20日,廣東省高級(jí)人民法院發(fā)布一批
有感五首·其三_對于有感五首·其三
1、《有感五首》,作于唐代宗763年(廣德元年)秋。2、這是其中第三首
匡威尺碼對照表 1970_匡威1970s的尺
從匡威1970s的尺碼對照表判斷,匡威70年代鞋碼總體處于正常水平,比其
農(nóng)業(yè)銀行加入!青島開展商轉(zhuǎn)公貸款業(yè)
6月21日,市住房公積金管理中心發(fā)布公告,試運(yùn)行農(nóng)業(yè)銀行商業(yè)性住房貸