ടെക്സ്റ്റിൽ നിന്ന് 3D ലോകം നിർമ്മിക്കാം, തിരികെ വരുമ്പോഴും പശ്ചാത്തലം മാറില്ല; ‘ഡ്രീം എക്സ്-വേൾഡ് 1.0’ പുറത്തിറക്കി

ടെക് കമ്പനിയായ അലിബാബയുടെ ഓട്ടോനാവി (Alibaba AutoNavi) മാപ്പിംഗ് വിഭാഗത്തിന് കീഴിലുള്ള കമ്പ്യൂട്ടർ വിഷൻ ലാബായ AMAP-ML, തങ്ങളുടെ പുതിയ എഐ വേൾഡ് മോഡലായ ‘ഡ്രീം എക്സ്-വേൾഡ് 1.0’ (DreamX-World 1.0) പുറത്തിറക്കി. വെറും ടെക്സ്റ്റ് പ്രോംപ്റ്റുകൾ (Text Prompts) നൽകിക്കൊണ്ട് ഉപയോക്താക്കൾക്ക് ക്യാമറ നിയന്ത്രണങ്ങളുള്ള 3D ഡിജിറ്റൽ പരിസ്ഥിതികൾ ഇതിലൂടെ നിർമ്മിച്ചെടുക്കാൻ സാധിക്കും.

ഹഗ്ഗിങ്ഫേസിൽ (HuggingFace) എംഐടി (MIT) ലൈസൻസിലും, ഗിറ്റ്ഹബ്ബിൽ (GitHub) അപ്പാച്ചെ 2.0 (Apache 2.0) ലൈസൻസിലുമാണ് ഈ ഓപ്പൺ സോഴ്സ് മോഡൽ ലഭ്യമാക്കിയിട്ടുള്ളത്. ഇവ രണ്ടും വാണിജ്യാവശ്യങ്ങൾക്കായി (Commercial use) സൗജന്യമായി ഉപയോഗിക്കാൻ സാധിക്കും.

മറ്റ് എഐ വീഡിയോ മോഡലുകളിൽ നിന്നും ഡ്രീം എക്സ്-വേൾഡിനെ വ്യത്യസ്തമാക്കുന്നത് ഇതിന്റെ ‘വേൾഡ് മെമ്മറി’ (World Memory)പവറാണ്. സാധാരണ ഓപ്പൺ സോഴ്സ് മോഡലുകൾ ഏതാനും സെക്കൻഡുകൾ മാത്രമാണ് പശ്ചാത്തലം കൃത്യമായി നിലനിർത്താറുള്ളത്, ക്യാമറ മാറുമ്പോൾ ദൃശ്യങ്ങൾ ആകെ മാറിപ്പോകാറുണ്ട്. എന്നാൽ ഡ്രീം എക്സ്-വേൾഡ് മുൻപ് ജനറേറ്റ് ചെയ്ത ഫ്രെയിമുകളുടെ 3D ഘടന ഓർമ്മയിൽ സൂക്ഷിക്കുന്നു. ക്യാമറ ഒരു വശത്തേക്ക് മാറിയിട്ട് പിന്നീട് അതേ സ്ഥലത്തേക്ക് തന്നെ തിരികെ വരുമ്പോഴും പശ്ചാത്തലത്തിൽ യാതൊരു മാറ്റവും വരാതെ കൃത്യമായ ദൃശ്യം നിലനിർത്താൻ (Consistency) ഇതിന് സാധിക്കും. 7.5 സെക്കൻഡ് വിൻഡോയിലും ഒന്നിലധികം തുടർച്ചയായ ജനറേഷനുകളിലും ഈ കൃത്യത നിലനിൽക്കും.

Wan2.2-T2V-5B മോഡലിലാണ് ഇത് നിർമ്മിച്ചിരിക്കുന്നത്.

704×1280 ഹൈ-ക്വാളിറ്റി റെസല്യൂഷൻ ലഭ്യമാക്കുന്നു.

ഡൗൺലോഡ് ചെയ്യാൻ രണ്ട് വ്യത്യസ്ത പതിപ്പുകളുണ്ട്:

DreamX-World-5B: പൊതുവായ ഉപയോഗങ്ങൾക്ക് വേണ്ടി.

DreamX-World-5B-Cam: ക്യാമറയുടെ ചലനങ്ങൾ കൃത്യമായ പാതയിലൂടെ (Explicit camera trajectory) നിയന്ത്രിക്കാൻ

എഐ ഫിലിം മേക്കേഴ്സിനും കോൺടെന്റ് ക്രിയേറ്റേഴ്സിനും പശ്ചാത്തല സ്ഥിരതയുള്ള (Environment consistency) മികച്ച 3D ലോകങ്ങൾ സൃഷ്ടിക്കാൻ ഈ പുതിയ ടൂൾ വലിയ രീതിയിൽ സഹായകരമാകും.