管家婆官网

其次是工程上的優(yōu)化。大模型的調(diào)用量越大，優(yōu)化推理成本的空間也越大。以前的模型都是單機(jī)推理，大模型用的是分布式推理。所以如果能把各種各樣的底層算力用得更好，推理成本就會(huì)大大降低。

譚待進(jìn)一步解釋說，豆包大模型平均每天處理1200億Tokens文本、生成3000萬張圖片，這里有不同的負(fù)載，可以把不同任務(wù)混合在一起，互相錯(cuò)峰，通過智能調(diào)度把它們的利用率都跑得很高，就能極大地提升資源利用率，實(shí)現(xiàn)整體成本的優(yōu)化。

管家婆官网5月15日，字節(jié)跳動(dòng)豆包大模型在火山引擎原動(dòng)力大會(huì)上正式發(fā)布?；鹕揭婵偛米T待在接受媒體采訪時(shí)，談到了大模型的定價(jià)策略。

另外以字節(jié)內(nèi)部業(yè)務(wù)為例，飛書的主要流量高峰在工作時(shí)間，抖音在下班后休閑時(shí)間的流量更高，這些不同業(yè)務(wù)的大模型推理，也能根據(jù)業(yè)務(wù)特點(diǎn)錯(cuò)峰使用，就可以降低成本。

豆包大模型的超低價(jià)格引發(fā)行業(yè)震動(dòng)。據(jù)悉，豆包主力模型的推理輸入價(jià)格只有0.0008元/千Tokens，比行業(yè)便宜99.3%。對此，譚待坦言，“降價(jià)是用技術(shù)優(yōu)化成本來實(shí)現(xiàn)的。如果只是補(bǔ)貼，用虧損換收入是不可持續(xù)的，火山引擎不會(huì)走這條路?！?/p>

對于“大模型開始價(jià)格戰(zhàn)”的說法，譚待認(rèn)為，大模型市場仍在發(fā)展初期，遠(yuǎn)遠(yuǎn)沒到激烈競爭的階段?！俺靥劣卸啻螅~就有多大，現(xiàn)在整個(gè)池塘還在培養(yǎng)的過程?！?/p>
＠聯(lián)系我們
-應(yīng)用內(nèi)反饋:「我」-「右上角菜單」-「設(shè)置」-「反饋與幫助」
客戶24小時(shí)在線服務(wù)