9月22日消息,據(jù)微軟亞洲研究院官方披露,該研究院與上海市精神衛(wèi)生中心攜手展開(kāi)聯(lián)合研究,基于微軟AzureOpenAI服務(wù)中的多模態(tài)大模型,開(kāi)發(fā)了利用多種模態(tài)數(shù)據(jù)(如語(yǔ)音、文字、圖片、音樂(lè)等信息)的個(gè)性化認(rèn)知訓(xùn)練框架,為認(rèn)知障礙患者的認(rèn)知訓(xùn)練帶來(lái)了新的可能。
從微軟亞洲研究院獲悉,綜合上海市精神衛(wèi)生中心專家的建議與患者的需求,微軟亞洲研究院的研究員們從易用性、界面友好性、功能專業(yè)性和入門(mén)難易度等多個(gè)維度出發(fā),開(kāi)發(fā)了個(gè)性化認(rèn)知訓(xùn)練框架“憶我”(ReMe)。該工具以微軟AzureOpenAI服務(wù)為基礎(chǔ)模型,具備即時(shí)交互響應(yīng)功能,支持文字、圖像、語(yǔ)音等多種模態(tài)的輸入輸出,以對(duì)話機(jī)器人的形式為用戶提供全新的認(rèn)知訓(xùn)練體驗(yàn)。
從使用流程和功能來(lái)看,個(gè)性化認(rèn)知訓(xùn)練框架“憶我”首先通過(guò)手機(jī)或可穿戴設(shè)備上傳個(gè)人記憶內(nèi)容,隨后采用更貼近生活的方式,進(jìn)行個(gè)體化的情景記憶或世界知識(shí)的開(kāi)放性記憶訓(xùn)練。研究員們還提供了一個(gè)訓(xùn)練框架,讓該領(lǐng)域的醫(yī)生等研究者可以利用內(nèi)置的認(rèn)知游戲模板快速創(chuàng)建個(gè)性化的訓(xùn)練游戲。除此之外,該工具還包括交互式的評(píng)估,以便追蹤患者的認(rèn)知水平,并根據(jù)需要調(diào)整訓(xùn)練任務(wù)。
不僅如此,微軟亞洲研究院與上海市精神衛(wèi)生中心還在不斷向該訓(xùn)練框架擴(kuò)展更多訓(xùn)練功能和任務(wù),除了開(kāi)放性的和個(gè)體化的訓(xùn)練任務(wù)外,通過(guò)語(yǔ)音對(duì)話的自然交互體驗(yàn),也兼容并實(shí)現(xiàn)已被驗(yàn)證有效的成熟認(rèn)知訓(xùn)練任務(wù)。例如鍛煉思維靈活性的顏色識(shí)別、鍛煉工作記憶的數(shù)學(xué)運(yùn)算等。同時(shí),微軟亞洲研究院也在嘗試基于傳感器技術(shù),通過(guò)可穿戴設(shè)備以機(jī)會(huì)感知(opportunisticsensing)的方式記錄日常生活中的重要節(jié)點(diǎn)和事件,促進(jìn)更便捷的個(gè)性化個(gè)人記憶訓(xùn)練。
分享到微信 ×
打開(kāi)微信,點(diǎn)擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。