周五，研究人员来自 NVIDIA 宣布Magic3D——一种人工智能模型，可以根据文本描述生成3D模型。输入线索后，例如“一只蓝色箭毒蛙坐在睡莲上”，Magic3D 在大约 40 分钟内生成一个带有颜色纹理的 D 网格模型。经过修改，生成的模型可以用于 CGI 格式的视频游戏或艺术场景。
在他的科学文章中 NVIDIA Magic3D 视为对 DreamFusion 的回应，DreamFusion 是 Google 研究人员在 3 月份宣布的文本转 2D 模型。正如 DreamFusion 使用文本到图像模型创建 3D 图像，然后将其优化为体积 NeRF（神经辐射场）数据一样，Magic3D 使用两步过程，采用低分辨率创建的粗略模型并将其优化为更高的分辨率。据文章作者介绍，由此产生的 MagicD 方法生成三维物体的速度是 DreamFusion 的两倍。
Magic3D 还可以执行 3D 网格的即时编辑。 使用低分辨率 3D 模型和基本工具提示，您可以更改文本以更改生成的模型。 Magic3D 还演示了在几代人之间保存相同的情节（通常称为连贯性的概念）以及将 2D 图像样式（例如立体派绘画）应用于 3D 模型。
NVIDIA 没有随她的研究论文发布任何 Magic3D 代码。
从文本生成 3D 的能力似乎是现代扩散模型的自然演变，现代扩散模型使用神经网络在对一系列数据进行密集训练后合成新内容。 直到 2022 年，我们才看到强大的文本到图像模型（例如 DALL-E 和 Stable Diffusion）以及来自 Google 和 Meta 的基本文本到视频生成器的出现。
至于 Magic3D，其背后的研究人员希望它能让任何人无需特殊培训即可创建 3D 模型。 一旦完善，由此产生的技术可以加速视频游戏（和虚拟现实）的发展，并最终可能在电影和电视的特效中找到用途。 在他们文章的结尾，他们写道：“我们希望借助 Magic3D，我们可以使 3D 合成大众化，并释放每个人在创建 3D 内容方面的创造潜力。”
你可以帮助乌克兰对抗俄罗斯侵略者。 最好的方法是通过以下方式向乌克兰武装部队捐款 拯救生命 或通过官方页面 NBU.
另请阅读：