近日，2024云棲大會(huì)，阿里云發(fā)布全新的AI原生全?？捎^測平臺(tái)，首次實(shí)現(xiàn)云上AI大模型從訓(xùn)練到推理再到應(yīng)用的全鏈路實(shí)時(shí)觀測、告警與診斷。同時(shí)，阿里云可觀測產(chǎn)品家族也實(shí)現(xiàn)了全新升級(jí)，最常用的日志服務(wù)SLS相較于自建體系，運(yùn)維監(jiān)控綜合成本可降低30% 。
AI模型的深入發(fā)展，導(dǎo)致了數(shù)據(jù)處理方式與技術(shù)架構(gòu)的深刻變 化，相關(guān)應(yīng)用產(chǎn)生的日志、鏈路等可觀測數(shù)據(jù)規(guī)模呈指數(shù)級(jí)增長，數(shù)據(jù)結(jié)構(gòu)復(fù)雜度也與日俱增，而AI部署的異構(gòu)環(huán)境、資源及平臺(tái)也越發(fā)多元，都給可觀測性的準(zhǔn)確、實(shí)時(shí)、高效與智能化發(fā)展帶來了巨大挑戰(zhàn)。
“以阿里云可觀測產(chǎn)品家族為代表的云原生可觀測工具，正引領(lǐng)著AI-native可觀測加速邁向智能化。企業(yè)用戶可以像‘搭積木’一樣輕松、靈活地構(gòu)建可觀測體系，更高效地管理與觀測IT資源與服務(wù)，為AI創(chuàng)新夯實(shí)技術(shù)底座。”阿里云云原生應(yīng)用平臺(tái)負(fù)責(zé)人丁宇表示。
在2024云棲大會(huì)上，日志服務(wù)SLS、云監(jiān)控CMS、應(yīng)用實(shí)時(shí)監(jiān)控服務(wù)ARMS等阿里云可觀測產(chǎn)品家族實(shí)現(xiàn)了重磅更新，面向模型訓(xùn)練、推理及應(yīng)用提供全鏈路的可觀測服務(wù)。
在模型訓(xùn)練場景中，云監(jiān)控CMS與阿里云AI算力產(chǎn)品及平臺(tái)深度集成，全面采集計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)調(diào)度等AI基礎(chǔ)設(shè)施的可觀測數(shù)據(jù)，有效覆蓋數(shù)據(jù)準(zhǔn)備、模型開發(fā)、訓(xùn)練和部署等環(huán)節(jié)，確保模型訓(xùn)練全流程可感知、可觀測，為企業(yè)在AI基礎(chǔ)設(shè)施的容量管理和可用性保障保駕護(hù)航。
在模型推理場景中，可觀測性更多聚焦于推理性能提升、模型輸入輸出的質(zhì)量優(yōu)化及資源消耗的有效管理。應(yīng)用實(shí)時(shí)監(jiān)控服務(wù)ARMS推出符合 OpenTelemetry標(biāo)準(zhǔn)的自研Python Agent，全面支持通義千問/ LLamaIndex / LangChain等國內(nèi)外主流框架和模型，采集豐富的指標(biāo)、鏈路及持續(xù)剖析數(shù)據(jù)，借助開箱即用的數(shù)據(jù)可視化大盤與性能診斷功能，確保用戶實(shí)時(shí)掌握模型運(yùn)行狀態(tài)及潛在瓶頸，為大模型應(yīng)用的穩(wěn)定運(yùn)行與高效運(yùn)維提供堅(jiān)實(shí)的基礎(chǔ)。
與此同時(shí)，日志服務(wù)SLS與大模型服務(wù)平臺(tái)百煉深度集成，實(shí)現(xiàn)百煉模型API層面的可觀測指標(biāo)全覆蓋，并應(yīng)用于性能觀測、穩(wěn)定性評估、成本管控、安全合規(guī)等不同應(yīng)用場景，幫助企業(yè)優(yōu)化資源配置和業(yè)務(wù)決策。同時(shí)，SLS核心能力大幅提升，掃描性能提升10倍，達(dá)到1GB/s以上;處理性能提升至TB級(jí)每分鐘，單GB處理成本降低60%。此外，SLS推出Elasticsearch兼容方案，相較于自建其綜合成本可降30%以上。
據(jù)悉，阿里云已為全球80余個(gè)國家的百萬企業(yè)級(jí)用戶提供高效便捷、安全穩(wěn)定的可觀測服務(wù)。茶百道基于ARMS快速建立運(yùn)維觀測與響應(yīng)能力，故障恢復(fù)效率提升50%以上;傳音借助Prometheus、Grafana等可觀測產(chǎn)品，業(yè)務(wù)上線效率提高60%;極氪基于阿里云可觀測產(chǎn)品推行的應(yīng)急響應(yīng)機(jī)制與ChatOps協(xié)同機(jī)制，告警平均恢復(fù)耗時(shí)縮短50%。
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
王愛民：組織行為學(xué)在MES當(dāng)中的應(yīng)用...
