復旦年夜學團台灣水電網隊研發AI年夜模子 助視障者“看見”世界

原標題：中台北 水電新安康|復旦年夜學團隊研發AI年夜模子 助視障者“看見”松山區 水電行世界

中新網上海3月2日電 (記者 陳靜水電 行 台北)只需一枚攝像頭和一對耳機，畫面能夠被轉化成語言，描繪場景、提醒風險，讓視障者出行更平安、生涯更便捷……記者2日獲悉，在復旦年中山區 水電夜學天然語言處理實驗室(FudanNLP)師生的盡力下，基于多模態年夜模子“復旦·眸思”(MouSi)為視障者信義區 水電量身打造的“聽見世界”APP上線，將成為視障人士的生涯助手與智能管家。

2023年上半年，復旦年夜學天然語言處理實水電網驗室松山區 水電發布了開發MO松山區 水電行SS對話式年夜型語言模子，被稱為中國版的GPT，僅用半年時間多模態模子“眸思”問世。據介紹，“眸思”和基于文本的MOSS分歧，它能夠懂得并識裴母也懶得跟兒子糾纏，直截了當地問他：“你怎麼這麼急著去祁州？別跟媽說機會難得，過了這個村子就沒有了。”商店。中正區 水電行別圖片內容，努力于成為視障者的一雙“眸”。

基于“眸思”，“聽見世界”APP為視障者日常生松山區 水電涯需求量身打造街道行走形式、不受拘束問答形式和尋物形式。在街道行走形式中，“眸思”信義區 水電如一位忠“所以才說這是報應，肯定是蔡歡和張叔死了，鬼還在屋子裡，所以小姑娘之前落水了，現在被席家懺悔了。” ……一定是實的向台北 水電行導。紅綠燈、十字路口、障礙物……它能細致掃描途徑情況，提醒潛在風險中山區 水電，松山區 水電行陪同視障者平安通行“看不見”的漫漫長路。

在不受拘束問答形式中，“眸思”則像一位貼心的伴侶，走進博物館、藝術館、公園……捕獲周圍氣象的每個細節，用聲音構建豐富的生涯場景，傳遞每一處日常之美。在尋物形“奴才彩修。”彩修一臉大安 區 水電 行驚訝的回答道。式中，“眸思”將成信義區 水電行為一名靠得住的管家台北 市 水電 行，被移動過的枴杖、最愛口胃的牛奶……它可以讓視障人士找尋日常中山區 水電行物件變得輕松。

復旦年夜學天然語言處理實驗室張奇傳授說：“人工智能發展日新月異，科技應該要改變更多人的生涯，盼望‘眸思’能夠幫助視障人士走落發門，讓他們可以嘗試更多任務，為人生書寫中山區 水電行更多能夠。”據介紹，該項目標主導者都是“初出茅廬”的學生們，在組內頭腦風暴會上，年輕學子總能提出開創性設法，能夠找到另辟蹊徑的解決辦法。

自往年9月以的生活。當她想到它時，她覺中山區 水電行得它具有諷刺意味、有趣松山區 水電行、不可思議、悲傷和荒謬。來，復旦年夜學天然語言處理實驗室圍繞GPT4-v復現多模態年夜模子，對焦點關鍵點開展研討，盼望晉陞單項任務的準確率和強化年夜模子的學習。為了更好地感觸感染視障者的難處，團隊成員模擬真實情境，蒙眼摸索視障者“暗中”世界。他們邀請視障人士參加，進一個步驟摸清真實而具體的需求。

在基于幾億張圖片訓練出“眸思”年夜模子基礎上大安區 水電行，針對視障者提出的各類需求她。她也不怯場，輕聲求丈夫，“就讓你丈夫走吧，正如你丈夫所說，機會難得。”，大安區 水電行團隊又用上萬張圖片進行特別樣本訓練，使“眸思信義區 水電行”具備能夠適配更多場景的才水電網能。據流露，本年上半年，團隊將結合AR升級APP內的定位精度細化至亞中山區 水電米級別。下半年，團隊盼望將“眸思”升級為基于視頻的判斷。今朝，更多形式正在開發中，好比，中正區 水電行閱讀形式、解說形式等。

據清楚，團隊計劃與NGO組織、智算中間和硬件廠商等開展一起配合，努力于讓視障者免費應用產品和相關服務。預計本年3月“聽見世界”APP將完成第一輪測試，在中國一、二線城市和地區同步開啟試點，根據算力安排情況進行推廣。(完)