Την Παρασκευή, ερευνητές από NVIDIA ανακοίνωσε το Magic3D - ένα μοντέλο τεχνητής νοημοσύνης που μπορεί να δημιουργήσει τρισδιάστατα μοντέλα από περιγραφές κειμένου. Αφού εισαγάγετε μια ένδειξη, όπως "Ένας μπλε δηλητηριώδης βάτραχος βελών που κάθεται σε ένα νούφαρο", το Magic3D δημιουργεί ένα μοντέλο τρισδιάστατου πλέγματος με υφή χρώματος σε περίπου 3 λεπτά. Με τροποποιήσεις, το μοντέλο που προκύπτει μπορεί να χρησιμοποιηθεί σε βιντεοπαιχνίδια ή καλλιτεχνικές σκηνές σε μορφή CGI.
Στο επιστημονικό του άρθρο NVIDIA βλέπει το Magic3D ως απάντηση στο DreamFusion, το μοντέλο κειμένου σε 3D που ανακοίνωσαν οι ερευνητές της Google τον Σεπτέμβριο. Ακριβώς όπως το DreamFusion χρησιμοποιεί ένα μοντέλο κειμένου σε εικόνα για να δημιουργήσει μια εικόνα 2D που στη συνέχεια βελτιστοποιείται σε ογκομετρικά δεδομένα NeRF (πεδίο νευρικής ακτινοβολίας), το Magic3D χρησιμοποιεί μια διαδικασία δύο βημάτων που χρησιμοποιεί ένα πρόχειρο μοντέλο που δημιουργείται σε χαμηλή ανάλυση και το βελτιστοποιεί υψηλότερη ανάλυση. Σύμφωνα με τους συντάκτες του άρθρου, η προκύπτουσα μέθοδος Magic3D μπορεί να δημιουργήσει τρισδιάστατα αντικείμενα δύο φορές πιο γρήγορα από το DreamFusion.
Το Magic3D μπορεί επίσης να εκτελεί επιτόπου επεξεργασία τρισδιάστατων ματιών. Με ένα τρισδιάστατο μοντέλο χαμηλής ανάλυσης και μια βασική επεξήγηση εργαλείου, μπορείτε να αλλάξετε το κείμενο για να αλλάξετε το μοντέλο που προκύπτει. Το Magic3D καταδεικνύει επίσης τη διατήρηση της ίδιας πλοκής για πολλές γενιές (μια έννοια που συχνά ονομάζεται συνοχή) και την εφαρμογή ενός στυλ 3D εικόνας (όπως ένας κυβιστικός πίνακας) σε ένα τρισδιάστατο μοντέλο.
NVIDIA δεν κυκλοφόρησε κανένα Magic3D κώδικα με την ερευνητική της εργασία.
Η ικανότητα δημιουργίας 3D από κείμενο φαίνεται μια φυσική εξέλιξη στα σύγχρονα μοντέλα διάχυσης, τα οποία χρησιμοποιούν νευρωνικά δίκτυα για να συνθέσουν νέο περιεχόμενο μετά από εντατική εκπαίδευση σε μια σειρά δεδομένων. Μόλις το 2022 είδαμε την εμφάνιση ισχυρών μοντέλων μετατροπής κειμένου σε εικόνα, όπως το DALL-E και το Stable Diffusion, καθώς και οι στοιχειώδεις γεννήτριες κειμένου σε βίντεο από την Google και τη Meta.
Όσο για το Magic3D, οι ερευνητές πίσω από αυτό ελπίζουν ότι θα επιτρέψει σε οποιονδήποτε να δημιουργήσει τρισδιάστατα μοντέλα χωρίς την ανάγκη ειδικής εκπαίδευσης. Μόλις τελειοποιηθεί, η προκύπτουσα τεχνολογία θα μπορούσε να επιταχύνει την ανάπτυξη βιντεοπαιχνιδιών (και εικονικής πραγματικότητας) και μπορεί τελικά να χρησιμοποιηθεί σε ειδικά εφέ για ταινίες και τηλεόραση. Στο τέλος του άρθρου τους, γράφουν: «Ελπίζουμε ότι με το Magic3D μπορούμε να εκδημοκρατίσουμε τη σύνθεση 3D και να ξεκλειδώσουμε τις δημιουργικές δυνατότητες όλων μας στη δημιουργία τρισδιάστατου περιεχομένου».
Μπορείτε να βοηθήσετε την Ουκρανία να πολεμήσει ενάντια στους Ρώσους εισβολείς. Ο καλύτερος τρόπος για να γίνει αυτό είναι να δωρίσετε χρήματα στις Ένοπλες Δυνάμεις της Ουκρανίας μέσω Savelife ή μέσω της επίσημης σελίδας NBU.
Διαβάστε επίσης:
- Στη Σουηδία, έμαθαν πώς να εκτυπώνουν μικροηλεκτρονικά σε τρισδιάστατους εκτυπωτές
- Η σκόνη μπορεί να χρησιμοποιηθεί για τρισδιάστατη εκτύπωση στον Άρη