Membuat objek atau adegan 3D bukan perkara yang mudah. Padahal, merekayasa objek dan adegan 3D di dunia virtual merupakan bagian penting dari metaverse dan pengembangan game. Biasanya, untuk membuat rekayasa objek 3D, Anda harus melakukan scanning dari objek tersebut. Sayangnya, proses ini membutuhkan waktu yang lama. Selain itu, terkadang, objek atau adegan yang ingin Anda rekayasa tidak bisa di-scan dengan mudah. Neuralangelo dari Nvidia bisa memecahkan masalah tersebut.
Apa Itu Neuralangelo?
Nvidia baru saja memperkenalkan Neuralangelo, Artificial Intelligence (AI) model yang dapat membuat replika dari objek 3D berdasarkan video 2D. Jika dibandingkan dengan metode untuk membuat replika objek 3D lain, satu kelebihan Neuralangelo adalah ia dapat meniru detail dan tekstur dari objek yang ia rekonstruksi. Dalam situs resminya, Nvidia menyebutkan, Neuralangelo bisa meniru beragam tekstur, mulai dari kaca yang mulus sampai atap rumah yang bertekstur kasar.
Dengan adanya Neuralangelo, Nvidia mengatakan, developer dan pelaku industri kreatif lain akan bisa membuat objek 3D di dunia virtual dengan lebih mudah. Karena, AI model itu bahkan bisa membuat aset 3D berdasarkan video yang diambil menggunakan smartphone.
Setelah membuat replika objek 3D dengan Neuralangelo, Anda juga bisa mengedit objek tersebut sesuai dengan kebutuhan. Nvidia menyebutkan, objek 3D buatan Neuralangelo bisa digunakan untuk berbagai hal, mulai dari mengembangkan game, robotik, sampai pembuatan digital twins.
“Kemampuan Neuralangelo untuk membuat aset 3D akan memberikan banyak kemudahan pada kreator, membantu mereka untuk menciptakan dunia virtual yang mirip dengan dunia nyata,” kata Ming-Yu Liu, Senior Director of Research, Nvidia dan salah satu penulis dari riset Neuralangelo. “Nantinya, AI ini akan memungkinkan developer untuk menciptakan berbagai objek digital — mulai dari patung kecil sampai bangunan yang menjulang — di dunia virtual, baik untuk teknologi digital twins maupun game.”
Neuralangelo bukan AI model pertama yang dibuat untuk merekonstruksi adegan 3D. Hanya saja, selama ini, AI cenderung mengalami kesulitan untuk membuat replika dari objek dengan tekstur berpola yang repetitif, warna yang cenderung senada, atau variasi warna yang terlalu beragam. Namun, Neuralangelo dapat menyelesaikan semua masalah tersebut berkat instant neural graphics primitives yang ia gunakan.
Cara kerja Neuralangelo cukup sederhana. Sebelum membuat replika 3D dari sebuah objek atau adegan, AI model ini akan memilih beberapa frame dari video 2D. AI itu akan memilih frame yang menampilkan objek atau adegan dari sudut yang berbeda-beda. Menggunakan frame tersebut, AI model buatan Nvidia ini akan menentukan ukuran dan kedalaman objek atau adegan.
Setelah itu, Neuralangelo akan membuat replika 3D kasar dari objek atau adegan yang diinginkan. Pada akhirnya, AI model itu akan mengoptimalkan render yang telah ia buat. Di sini, Neuralangelo akan menambahkan detail dari objek atau adegan yang direkayasa.
Instant NeRF dan Nvidia MaMo
Neuralangelo bukan AI pertama yang Nvidia buat untuk merekayasa objek dan adegan 3D. Faktanya, instant neural graphics primitives, teknologi di balik Neuralangelo, juga digunakan pada Instant NeRF. Diperkenalkan pada tahun lalu, Instant NeRF merupakan singkatan dari Instant Neural Radiance Field. Sama seperti Neuralangelo, pada dasarnya, NeRF merupakan AI yang dapat membuat objek 3D berdasarkan foto 2D.
Satu hal yang menarik dari NeRF adalah ia tetap dapat merekayasa sebuah objek, meskipun ada bagian dari objek tersebut yang tidak tertangkap kamera. Seperti yang disebutkan oleh Engadget, keberadaan teknologi ini dapat memajukan berbagai industri, termasuk industri game dan autonomous car.
Sama seperti AI lainnya, Instant NeRF juga perlu dilatih. Materi yang digunakan untuk melatih AI model tersebut adalah puluhan foto dari berbagai sudut dari objek yang ingin direplika. Kabar baiknya, proses latihan AI model ini hanya menghabiskan waktu beberapa detik. Setelah dilatih, Instant NeRF akan bisa menciptakan replika objek 3D dalam hitungan milliseconds.
Riset Nvidia tentang Neuralangelo akan dibahas dalam Conference on Computer Vision and Pattern Recognition (CVPR), yang digelar pada 18-22 Juni 2023. Tahun lalu, Nvidia juga ikut dalam CVPR. Ketika itu, Nvidia memperkenalkan 3D MoMa, yang juga dibuat untuk mereplika objek 3D berdasarkan gambar 2D.
Dalam artikel tentang 3D MoMa, Nvidia menjelaskan bahwa studio game dan kreator biasanya membuat objek 3D menggunakan teknik photogrammetry. Photogrammetry adalah teknik untuk menghitung ukuran dari sebuah objek menggunakan foto. Masalahnya, teknik ini memakan waktu dan usaha yang tidak sedikit. Karena itulah, Nvidia tertarik untuk membuat teknologi yang memudahkan para teknisi dan digital artists dalam membuat replika 3D dari sebuah objek dengan cepat.
Menggunakan Nvidia Tensor Core GPU, Nvidia 3D MoMa dapat membuat replika 3D sebuah objek dalam waktu satu jam. Nvidia juga memastikan bahwa objek yang dibuat oleh 3D MoMa kompatibel dengan berbagai tools yang digunakan para developer dan digital artists, termasuk game engine, 3D modelers, dan film renderers. Dengan begitu, pengguna akan bisa langsung mengedit replika objek yang dibuat oleh 3D MoMa.
