AI 生成内容从文本、图片、视频到 3D 模型,进化的速度越来越快。最近 img2threejs 这个开源项目让不少人惊讶——它能把一张参考图片直接变成可交互的 Three.js 三维场景,而且整个过程是代码化、过程式生成的,不是传统的网格提取或摄影测量。

img2threejs 是什么

img2threejs 是一个开源工具,接收一张参考图片后,利用 AI 技术(结合 Codex/Claude Code)自动分析图片中的物体结构、比例、颜色和材质,然后生成完整的 Three.js 代码来重建该物体。生成的模型是纯代码构成的——使用几何体、程序化着色器和生成式几何,而非照片贴图或下载的模型包。

项目托管在 GitHub,采用 Apache-2.0 开源协议,目前获得超过 4700 颗星标,社区活跃度较高,近半年持续有代码提交。

实际效果

下图展示了 img2threejs 的实际工作效果:将一张宝箱参考图片通过 AI 重建为程序式 Three.js 模型,包含正确的比例、颜色、倒角、金色镶边和发光徽章,在浏览器中可交互操作。

核心特点

  • 代码化重建:生成的模型完全由 Three.js 代码构成,非网格文件或照片贴图
  • Token 高效:针对 AI Token 消耗做了优化,单个模型生成的 Token 用量可控
  • 动画就绪:生成的模型支持动画,可直接用于 Web 交互场景
  • 质量控制:内置质量门控机制,确保输出符合预期
  • 多类型支持:涵盖硬表面物体(耳机、刀具、枪械)和场景化对象(哆啦A梦的房屋、宝箱等)

上手路径

项目本身基于 Python 3.10+ 标准库开发,配合 Codex 或 Claude Code 使用。用户只需要准备一张参考图片,运行相关脚本即可自动生成 Three.js 模型代码,无需掌握复杂的 3D 建模技能。

项目提供了在线演示画廊(img2threejs-showcase),每个模型都可以直接在浏览器中旋转查看,并查看生成的源代码,方便学习和二次改造。

项目地址(需自行评估可用性和适用性):

https://github.com/hoainho/img2threejs

注意事项

该项目为开源社区项目,使用者需注意以下几点:

  • 项目许可证为 Apache-2.0,请遵守相应开源协议条款
  • AI 生成的 3D 模型质量受参考图片质量和复杂度影响,复杂场景可能效果有限
  • 当前主要适用于硬表面物体和具有一定结构规律的场景,生物体等不规则对象可能效果不佳
  • 建议结合实际业务需求评估工具的可落地性,不可盲目依赖 AI 生成的 3D 内容
  • GitHub 项目仍在积极开发中,API 和使用方式可能有变化,关注项目动态和更新日志