久久久国产精品视频袁燕,99re久久精品国产,亚洲欧美日韩国产综合v,天天躁夜夜躁狠狠久久,激情五月婷婷激情五月婷婷

徐土豆
認(rèn)證:優(yōu)質(zhì)創(chuàng)作者
作者動態(tài)
給定計(jì)算預(yù)算下的最佳LLM模型尺寸與預(yù)訓(xùn)練數(shù)據(jù)量分配
05-19 09:33
大模型推理時的尺度擴(kuò)展定律
05-18 10:32
世界多胞體與世界模型
05-13 09:42
獎勵模型中的尺度擴(kuò)展定律和獎勵劫持
05-12 08:41
MeCo——給預(yù)訓(xùn)練數(shù)據(jù)增加源信息,就能減少33%的訓(xùn)練量并且提升效果
05-08 09:13

世界多胞體與世界模型

什么是世界多胞體(World Polytope)呢?我給出的定義是,每一個世界中的事實(shí)(Fact),比如『在地球上,太陽從東邊出來』、『地球是太陽系中的行星』等等,都可以編碼為N維超空間里面的一個節(jié)點(diǎn),記作V∈RN,那么假如當(dāng)前世界有M個事實(shí),構(gòu)成了事實(shí)集合V={Vi,i=1,?,M},此時可以從事實(shí)集合里面提取出一個多胞體(凸包的N維擴(kuò)展),記多胞體的節(jié)點(diǎn)集合為Vpolytope⊆V,可知VpolytopeV的真子集,其組成的世界多胞體,如Fig 1的藍(lán)色區(qū)塊所示(此處為了繪圖方便,用二維圖形代表多胞體),可以認(rèn)為是整個世界的知識邊界,在其之外是未知知識的空間,其中的淡藍(lán)色圓點(diǎn)表示可以通過世界多胞體節(jié)點(diǎn)集合內(nèi)插(Interpolation)得到,在世界多胞體之內(nèi)的知識,只要提供了世界多胞體的節(jié)點(diǎn)集合(也可以認(rèn)為是整個世界的最小知識集合),我認(rèn)為是可以通過大模型去學(xué)習(xí)然后內(nèi)插得到其他知識的,最終大模型得以建模整個世界多胞體,我把這個大模型稱之為世界大模型(World Large Model)。當(dāng)然,只提供最小知識集合,整個內(nèi)插的學(xué)習(xí)會極其容易過擬合,因此需要提供世界多胞體的體內(nèi)知識作為預(yù)訓(xùn)練,以提高世界大模型的泛化能力,在這個語境下,其實(shí)就是提高世界大模型的內(nèi)插能力。此處,我假設(shè)世界大模型是沒法進(jìn)行外插(Extrapolation)的。

一旦有新的知識加入,而且新的知識是世界多胞體的體外知識,這意味著這個知識具有唯一性,不能通過現(xiàn)有的所有知識內(nèi)插得到。待加入后,Vpolytope得到更新,從而更新整個世界多胞體,如Fig 1所示,此處新增的綠色區(qū)塊就是新增的新知識帶來的其他可內(nèi)插推理得到的知識,這些知識我感覺也可以通過世界大模型推理得到,但是問題是,正確性是否可以通過大模型保證呢?

從這個視角看,我認(rèn)為大模型具有提高探索知識內(nèi)插的能力,但是探索新的知識邊界,可能還是需要人類的助力,以后人與大模型的合作關(guān)系,可能是兩種:

  1. 人類探索知識邊界,而大模型負(fù)責(zé)知識內(nèi)插,得到更多具有洞見的知識從而啟發(fā)人類,人類基于這些洞見可能又能繼續(xù)發(fā)現(xiàn)新的知識,從而整個世界多胞體得到進(jìn)一步的延展。
  2. 人類驗(yàn)證世界大模型內(nèi)插得到的知識的正確性,優(yōu)化世界大模型的內(nèi)插能力。

Fig 1. 藍(lán)色區(qū)塊的當(dāng)前的世界多胞體,新增的V0可以構(gòu)成新的世界多胞體,從而帶來更多的知識,如綠色區(qū)塊所示。

聲明:本內(nèi)容為作者獨(dú)立觀點(diǎn),不代表電子星球立場。未經(jīng)允許不得轉(zhuǎn)載。授權(quán)事宜與稿件投訴,請聯(lián)系:editor@netbroad.com
覺得內(nèi)容不錯的朋友,別忘了一鍵三連哦!
贊 2
收藏 3
關(guān)注 52
成為作者 賺取收益
全部留言
0/200
成為第一個和作者交流的人吧