8月28日消息，Cerebras Systems 今日宣布推出 Cerebras Inference，官方稱這是全球最快的 AI 推理解決方案。該新解決方案為 Llama 3.1 8B 提供每秒 1800 個 token，為 Llama 3.1 70B 提供每秒 450 個 token，速度是微軟 Azure 等超大規(guī)模云中提供的基于英偉達 GPU 的 AI 推理解決方案的 20 倍。
除了令人難以置信的性能之外，這款新型推理解決方案的定價也比流行的 GPU 云低得多，起價僅為每百萬個 token 10 美分，從而為 AI 工作負載提供 100 倍更高的性價比。
該方案將允許 AI 應(yīng)用程序開發(fā)人員構(gòu)建下一代 AI 應(yīng)用程序，而不會影響速度或成本。該方案使用了 Cerebras CS-3 系統(tǒng)及其 Wafer Scale Engine 3(WSE-3)AI 處理器，其中 CS-3 的內(nèi)存帶寬是 Nvidia H100 的 7000 倍，解決了生成式 AI 的內(nèi)存帶寬技術(shù)挑戰(zhàn)。
據(jù)了解，Cerebras Inference 提供以下三個層級：
免費層為登錄的任何人提供免費的 API 訪問和慷慨的使用限制。
開發(fā)者層專為靈活的無服務(wù)器部署而設(shè)計，為用戶提供一個 API 端點，其成本只是市場上替代方案的一小部分，Llama 3.1 8B 和 70B 模型的定價分別為每百萬 token 10 美分和 60 美分。
企業(yè)層提供微調(diào)模型、定制服務(wù)級別協(xié)議和專門支持。企業(yè)可以通過 Cerebras 管理的私有云或客戶場所訪問 Cerebras Inference，非常適合持續(xù)的工作負載。
Cerebras 團隊稱：“憑借創(chuàng)紀錄的性能、業(yè)界領(lǐng)先的定價和開放的 API 訪問，Cerebras Inference 為開放的 LLM 開發(fā)和部署設(shè)定了新標準。作為唯一能夠同時提供高速訓(xùn)練和推理的解決方案，Cerebras 為 AI 開辟了全新的可能性。”
AI 領(lǐng)域正在迅速發(fā)展，雖然英偉達目前在 AI 市場占據(jù)主導(dǎo)地位，但 Cerebras 和 Groq 等公司的出現(xiàn)預(yù)示著行業(yè)動態(tài)可能發(fā)生變化。隨著對更快、更具成本效益的 AI 推理解決方案需求的不斷增加，這些挑戰(zhàn)者在顛覆英偉達的霸主地位，尤其是在推理領(lǐng)域方面。
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
數(shù)據(jù)分類分級方法、標準及應(yīng)用實踐
