微軟公司今日宣布推出 Mu ，這是一款內置于 Windows 11的新型設備端小型語言模型。該模型旨在為用戶提供更加智能和自然的語言交互體驗，進一步優(yōu)化系統(tǒng)設置中的搜索功能。
去年，微軟曾推出搭載專用神經(jīng)處理單元（NPU）的 Copilot + 個人電腦，該 NPU 算力超過 40 TOPS。這些電腦配備了 Phi - Silica，一款用于在設備上為微軟第一方應用程序以及第三方開發(fā)者應用程序提供語言智能功能的本地 SLM（小型語言模型）。
如今，微軟在 Windows 11 中引入了 Mu，這是一款全新的本地小型語言模型。微軟的目標是創(chuàng)建一個基于人工智能的智能代理，使其能夠理解用戶的自然語言查詢，并將其無縫集成到系統(tǒng)設置應用中現(xiàn)有的搜索框內，從而為用戶提供更加流暢的使用體驗。為此，微軟利用 Mu 模型為設置應用中的新代理功能提供支持，該功能最近已在開發(fā)頻道向 Windows 預覽體驗計劃成員開放，且僅限于使用 Copilot + 個人電腦的用戶使用。
據(jù)IT之家了解，與 Phi - Silica 類似，Mu 被設計為能夠在 NPU 上高效運行，能夠在本地以每秒超過 100 個 token 的速度運行。在官方博客文章中，微軟詳細介紹了 Mu 語言模型的設計和訓練過程。以下是 Mu 語言模型的概要信息：
Mu 是一款擁有 3.3 億參數(shù)的編碼器 - 解碼器語言模型。與同尺寸的解碼器模型相比，編碼器 - 解碼器架構能夠將首 token 延遲降低約 47%，并將解碼速度提高 4.7 倍。Mu 在某些組件中采用了權重共享技術，以減少總參數(shù)數(shù)量。微軟利用 NVIDIA A100 GPU 在 Azure 機器學習平臺上對 Mu 進行了訓練。盡管 Mu 的尺寸僅為 Phi - 3.5 - mini 的十分之一，但其性能幾乎與經(jīng)過類似微調的 Phi - 3.5 - mini 相當。此外，該模型更適合處理多詞查詢。對于短詞或部分詞輸入，系統(tǒng)設置應用仍會在搜索框中顯示詞匯和語義搜索結果。
對于有興趣體驗這一全新人工智能代理功能的用戶，可以下載 Windows 11 Build 26120.3964（KB5058496）或更高版本，以體驗 Windows 設置應用中的這一新功能。
