逼近从照片制作“简直就是真人”的3D空间的新技术。 期待在影像制作和游戏行业等的运用
6/13 (星期五) 7:03发布
图片
1/2
图片
图片提供:首选网络
在AI相关技术方面拥有优势的preferred networks ( preferred networks，以下简称: PFN )于2025年3月31日宣布，将开发拍摄建筑物、房间、空间整体，将现实位置重构为照片的高精细3D数据的技术 据说不仅是影像制作和游戏，在观光、房地产、建筑等各个行业的运用也备受期待。 向PFN询问了本技术的先进性和可利用性。
从大量照片中创建“仿佛真人一样的3D”1/2
图片
PFN的3D业务分为“物体”、“人物”、“空间”3个类别( PFN提供，下同)
2014年创业的PFN，以深层学习为首的AI相关的尖端技术为优势。 有利用其独自技术的各个事业领域，从2016年开始了3D技术的开发。
＄-------从小型物体的3D化开始，确立了可以再现用以往的手法难以实现的透明和金属材质的技术。 之后，推广到人物等有动作的对象，现在也可以实现屋内、屋外的大范围3D化(松元氏)└—————————————————————————
图片
使用“3D高斯拼接”制作的空间3D数据
小型物体的3D化作为“pfn 3d scan”( 1点2万日元~ )被服务化，通过影像和电商网站的制作、元宇宙有在领域、零售科技开发等方面得到有效利用的实绩。
此次发布的高精细3D数据的恢复绘制，是利用被称为“3D高斯拼接”(以下: 3DGS )的最先进的机器学习方法实现的。 3DGS具有用小椭圆体(类似球形圆盘橄榄球的形状的立体)的集合来表现3D模型的特征，据说与以往的3D扫描方法中使用的点云表现(将物体的形状表现为无数点的集合体的方法)相比，再现性更高。 使用3DGS化的室内·室外的样品动画
图片
与以往的3D化方法相比，3DGS的“质量”和“描绘速度”特别出色
这个视频是使用3DGS化的样本视频。 有大量书籍排列的空间、配备精美彩色玻璃的教堂、绿色丰富的公园等，复杂的形状和细节都得到了再现。 据说在高精度的数据的同时，也解决了显示速度的问题。
＄-------以往的3D数据制作，以多面体(多边形)表现的被称为“网格”的方法为主流，但细小部分的再现性受到限制。 另一方面，“3DGS”与网格的方法不同，它的质量和绘制速度优于网格。 如果用网格再现本公司的演示视频的质量的话，成本会变得非常高，我认为这是不现实的(松元氏)……
图片
根据来自多个方向的照片复原3D结构，逼真地描绘
━━━━━━━3dgs本身是一种公开的技术，但如何实现它会影响质量和绘制速度。 本公司独自开发用于运行AI的超级计算机和AI调谐技术。 在将高精度的3D化发展到可商用的水平这一点上，我认为在国内是先进的(伊藤先生)└──────———————
为了制作这样的3D数据，需要从各种位置角度拍摄空间和建筑物的数百张、数千张照片数据。 这是为了吸收物品的距离感和光的反射等。 从该照片数据中恢复3D结构，完成致密的3D数据。 据说数据的交货期约为2~3周。 ━━━━━━━━━━━━━━━为了达到和真人相比也看不出差别的再现性，把交货期设定得稍长。 虽然可以实现所有场景的3D化，但是虽然旋转的风车和食品的蒸汽、烟、火焰等会起作用，但3D化从现状来看很难实现(松元)
可以在影像制作和游戏中利用，还开发了面向Unreal Engine 5的插件图片
为了便于在各种环境下使用，还开发了针对Unreal Engine 5的插件
PFN将利用3DGS制作的3D数据在影像制作和游戏开发中柔软性为了能在中使用，同时开发了面向Unreal Engine 5(现实引擎5:UE5 )的插件。
Unreal Engine是美国Epic Games公司开发的游戏引擎，以游戏开发为中心，在影像制作和建筑领域等被广泛利用。 这是与“unity ( unity )”齐名的行业标准。 PFN可以说，在这样的领域中灵活处理3DGS数据的插件在世界上是不存在的。 为此，开发了面向Unreal Engine 5的插件。
除了“虚拟制作”之外，还可以广泛利用观光、房地产、建筑等图片
据说适用于将背景影像显示在大型LED上进行拍摄的“内嵌式摄像机VFX”
PFN开发的3D化技术，今后被期待如何运用呢？ 目前，使用可能性较高的是利用3D影像和CG背景创造出现实虚拟环境的摄影制作方法“虚拟制造”。
用内嵌VFX方式制作的虚拟制作的演示影像
图片
松元先生(笔者摄影)说:“以虚拟制造为开端，有各种各样的利用可能性。”
━━━━━━━━━━━即使在虚拟产品中，也最适用于将背景影像显示在大型LED墙上并使用相机进行拍摄的“内嵌相机VFX”方法。 通过在背景上放映影像，可以不进行后处理就制作出在演员的脸上等反射了背景光的真实影像。 也有演员容易沉浸在世界观中的好处(松元氏)└——————————————
据悉，incamera VFX比合成CG背景和绿色背景下拍摄的视频的传统方法具有高质量、短交货期等优点，是近年来在视频行业开始普及的方法。 作为其他3D数据的可利用性，广泛设想了游戏、观光、房地产、建筑等。 ━━━━━━例如，在观光中制作再现现实空间的数字孪生，虚拟现实医疗护目镜等活用，使其能在其中行走。 在不动产方面，可以考虑照片的内部装饰和室内装饰的模拟等(松元氏)└————————————————————————————————————————在建筑行业中——也可以利用3D数据来设计工厂内部————建筑物的 这是因为通过照片上的3D，可以进行精密的模拟和现场的确认。 除此之外，我认为它还可以有效利用于文化财产的保护(伊藤)└————————————————————————甚至，无论什么行业，似乎对教育都有帮助。 通过在医疗现场和危险作业的模拟等更接近现实世界的环境中体验，可以期待提高学习的精度。 ※数字孪生:在虚拟空间上再现现实世界的物品等的技术
成本和商业模式正在考虑中3月末发表该技术后，以国内影像行业的企业为中心，出现了很多咨询的状况。 据说复原质量高和独自的插件，在海外也很受关注。
图片
伊藤说:“来自海外的反响比预想的要多。”(笔者摄影)
━━━━━━━━以实用水平提供如此高质量的3D数据非常困难，因此首先要评估数据本身的精度。 而且，因为这个世界上几乎没有可以在Unreal Engine上满意地使用这样的3D数据的工具，所以即使不积极地宣传，也能在国内外得到反响(伊藤)。
虽然很在意制作3D数据的成本，但现状是“正在讨论中”。 据悉，虽然核心技术已经完成，但商业模式还未完成，为了在各种各样的行业、用途上实现商用化，成本的计算并不容易。
图片
考虑将与3D化相关的一系列技术打包提供(由PFN提供)
┌------- -各行业的课题和预算感也不一样吧。 在这种情况下，我想在作为事业获得利益的同时，观察与各行业需求的平衡，以现实的费用提供。 接下来我们将聆听各行业客户的声音，构建合适的商业模式(伊藤)└└└└└└└。
在目前的构想中，将各种位置3D化并登记在库中，将各数据柔软性正在设想可以再利用的状态。 客户端设想大致有2种模式，第一种是拥有该位置的运营商和个人，第二种是想使用该位置的运营商和个人。 根据属于哪种模式，可以设想服务提供内容和成本也不同。 ━━━━━━━虽然没有打包为服务，但是有很多单独的项目在运行。 根据咨询内容，处于灵活应对的状态(伊藤)└----------- -另外，作为新的发展，PFN正在开发的“3D模型生成AI”也是关注度较高的领域。经济产业省和NEDO (国立研究开发法人新能源产业技术综合开发机构)以提高国内的生成AI开发力为目的而成立的“Generative Ai accelerator challenge”( Geniac，GENIAC )通过了PFN，该项目 据悉，实现需要大量的3D模型数据集，但目标是在几年内实现实用化。
本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。