週五，研究人員來自 NVIDIA 宣布Magic3D－一種人工智慧模型，可以根據文字描述產生3D模型。輸入線索後，例如“一隻藍色箭毒蛙坐在睡蓮上”，Magic3D 在大約 40 分鐘內生成一個帶有顏色紋理的 D 網格模型。經過修改，生成的模型可以用於 CGI 格式的視訊遊戲或藝術場景。
在他的科學文章中 NVIDIA Magic3D 視為對 DreamFusion 的回應，DreamFusion 是 Google 研究人員在 3 月宣布的文字轉 2D 模型。正如 DreamFusion 使用文字到圖像模型創建 3D 圖像，然後將其優化為體積 NeRF（神經輻射場）數據一樣，Magic3D 使用兩步過程，採用低分辨率創建的粗略模型並將其優化為更高的分辨率。根據文章作者介紹，由此產生的 MagicD 方法生成三維物體的速度是 DreamFusion 的兩倍。
Magic3D 還可以執行 3D 網格的即時編輯。 使用低分辨率 3D 模型和基本工具提示，您可以更改文本以更改生成的模型。 Magic3D 還演示了在幾代人之間保存相同的情節（通常稱為連貫性的概念）以及將 2D 圖像樣式（例如立體派繪畫）應用於 3D 模型。
NVIDIA 她的研究工作沒有發布任何 Magic3D 代碼。
從文本生成 3D 的能力似乎是現代擴散模型的自然演變，現代擴散模型使用神經網絡在對一系列數據進行密集訓練後合成新內容。 直到 2022 年，我們才看到強大的文本到圖像模型（例如 DALL-E 和 Stable Diffusion）以及來自 Google 和 Meta 的基本文本到視頻生成器的出現。
至於 Magic3D，其背後的研究人員希望它能讓任何人無需特殊培訓即可創建 3D 模型。 一旦完善，由此產生的技術可以加速視頻遊戲（和虛擬現實）的發展，並最終可能在電影和電視的特效中找到用途。 在文章的結尾，他們寫道：“我們希望藉助 Magic3D，我們可以使 3D 合成大眾化，並釋放每個人在創建 3D 內容方面的創造潛力。”
你可以幫助烏克蘭對抗俄羅斯侵略者。 最好的方法是通過以下方式向烏克蘭武裝部隊捐款 拯救生命 或通過官方頁面 NBU.
另請閱讀：