| 一个将图片转3D的开源项目TripoSR | 您所在的位置：网站首页 › mimics怎么把图生成立体模型 › 一个将图片转3D的开源项目TripoSR |
一个将图片转3D的开源项目TripoSR
|
TripoSR AI是StabilityAI联合发布的图生3D模型，TripoSR是一个快速的3D物体重建模型。TripoSR能够在不到一秒钟的时间内从单张图片生成高质量的3D模型。TripoSR模型的特点是能够快速处理输入，在 NVIDIA A100 GPU 上不到 0.5 秒的时间内生成高质量的 3D 模型。TripoSR在定性和定量评估中都表现出卓越的性能，在多个公共数据集中优于其他开源替代方案。下图说明了TripoSR相对于其他领先型号的性能的视觉比较和指标。
该模型有两个版本，一个是可以独立运行的TripoSR，一个是可以与ComfyUI集成的图生3D节点。该模型在 MIT 许可下发布，其中包括源代码、预训练模型和交互式在线演示。我们的目标是使研究人员、开发人员和创意人员能够突破 3D 生成式 AI 和 3D 内容创作的可能性。 一、TripoSR 1、代码地址： git clone https://github.com/VAST-AI-Research/TripoSR.git 2、配置 #设置python环境 conda create -n tsr python=3.10 conda activate tsr #安装pytorch pip3 install torch torchvision torchaudio安装相关依赖 pip install --upgrade setuptools cd TripoSR pip install -r requirements.txt安装gradio pip install gradio3、模型地址： (1)TripoSR模型地址：https://huggingface.co/stabilityai/TripoSR
下载config.yaml和model.ckpt，两个文件，点击VERIFIED值转到以下页面，并复制该值。
VERIFIED值 ：2ba2f5591f8eb0821784764ab9ab99a12e1abb08，注意不同版本时该值可能不同。本案所讲解的只代表这一阶段下载时的VERIFIED值。将这两个文件放置到下面的文件夹中。设置位置如下： /root/.cache/huggingface/hub/models--stabilityai--TripoSR 在这下面创建以下几个文件：
blobs文件夹，保持为空 refs文件夹，下面一个main文件，main文件中放置下载时的VERIFIED值，当前下载时的VERIFIED值为：2ba2f5591f8eb0821784764ab9ab99a12e1abb08 snapshosts文件夹，在这下面以VERIFIED值为文件夹创建一个文件夹，名字为：2ba2f5591f8eb0821784764ab9ab99a12e1abb08，然后把模型放在这个文件夹下面
(2)dino-vitb16 该模型位于：https://github.com/facebookresearch/dino 目录结构如下：/root/.cache/huggingface/hub/models--facebook--dino-vitb16，目录结构同（1）
dino-vitb16当前版本的VERIFIED值为:f205d5d8e640a89a2b8ef0369670dfc37cc07fc2 与（1）的方法一样，创建相应的文件夹，把模型和文件放入相应的文件夹。 （3）u2net.onnx：一般情况下，运行gradio_app.py会自动下载该模型，如无法正常下载，你可以手动将该模型考贝到： /root/.u2net/u2net.onnx 4、运行 修改运行文件：gradio_app.py interface.launch( auth=(args.username, args.password) if (args.username and args.password) else None, share=args.share, server_name="0.0.0.0" if args.listen else None, server_port=args.port ) #修改为： interface.launch( auth=(args.username, args.password) if (args.username and args.password) else None, share=True, server_name="192.168.29.221",#请填写实际的服务器IP地址。 server_port=args.port )图形页面请运行下面的指令： python gradio_app.py
二、其它问题解答 1、No module named 'trimesh' pip install trimesh==2.38.39 2、No module named 'omegaconf' pip install omegaconf 3、No module named 'skimage' pip install scikit-image 4、No module named 'shapely' pip install shapely 5、AttributeError: module 'numpy' has no attribute 'bool'.目前适用版本numpy==1.23.5 pip uninstall numpy pip install numpy==1.23.5 |
【本文地址】