മിനിറ്റുകൾക്കുള്ളിൽ 2D ചിത്രങ്ങളിൽ നിന്നും 60 second videos നിർമിക്കാം; ഓപ്പൺ സോഴ്സ് മോഡലുമായി NVDIA

AI ഫിലിം മേക്കേഴ്സിനും കണ്ടന്റ് ക്രിയേറ്റർമാർക്കും സഹായകമാകുന്ന ‘SANA-WM’ (World Model) ഓപ്പൺ സോഴ്സ് മോഡൽ എൻവിഡിയ അവതരിപ്പിച്ചു. Apache 2.0 ലൈസൻസിന് കീഴിൽ പുറത്തിറക്കിയതിനാൽ കമ്പനികൾക്കും വ്യക്തികൾക്കും ഇത് വാണിജ്യ ആവശ്യങ്ങൾക്കായി (Commercial use) സൗജന്യമായി ഉപയോഗിക്കാം. ഇതിന്റെ കോഡ് ഗിറ്റ്‌ഹബിലും (GitHub) മോഡൽ വെയിറ്റുകൾ ഹഗ്ഗിംഗ് ഫേസിലും (HuggingFace) ലഭ്യമാണ്.

2.6 ബില്യൺ പാരാമീറ്ററുകളുള്ള ഈ മോഡലിന് 6 ഡിഗ്രീസ് ഓഫ് ഫ്രീഡം (6-DoF) ക്യാമറ കൺട്രോളുണ്ട്. അതായത് , നൽകുന്ന ചിത്രത്തിനുള്ളിലൂടെ ക്യാമറ ഏത് വശത്തേക്ക് എങ്ങനെ ചലിക്കണമെന്ന് ക്രിയേറ്റർമാർക്ക് കൃത്യമായി നിശ്ചയിക്കാം.

പുതിയ RTX 5090 ഗ്രാഫിക്സ് കാർഡിൽ വെറും 34 സെക്കൻഡ് കൊണ്ട് 60 സെക്കൻഡ് ദൈർഘ്യമുള്ള ഒരു വീഡിയോ ക്ലിപ്പ് ഇതിന് റെൻഡർ ചെയ്യാനാകും. സാധാരണ ഹാർഡ്‌വെയറുകളിൽ പോലും 2 മുതൽ 3 മിനിറ്റിനുള്ളിൽ ഇത് സാധ്യമാകും. സാധാരണയായി വീഡിയോകളുടെ ദൈർഘ്യം കൂടുമ്പോൾ കമ്പ്യൂട്ടർ മെമ്മറി (VRAM) വലിയ തോതിൽ ആവശ്യമായി വരാറുണ്ട് (Quadratically scales). എന്നാൽ SANA-WM-ലെ ഹൈബ്രിഡ് ലീനിയർ ഡിസൈൻ കാരണം വീഡിയോ എത്ര നീളമുള്ളതാണെങ്കിലും ഓരോ ഫ്രെയിമിനും മെമ്മറി ഒരേ അളവിൽ (Constant memory) മാത്രമേ ഉപയോഗിക്കൂ.

സിനിമകളിൽ വിഎഫ്എക്സ് (VFX) ചെയ്യുമ്പോൾ ബാക്ക്ഗ്രൗണ്ട് പ്ലേറ്റുകൾ (Background plates) നിർമ്മിക്കാനാണ് ഇത് ഏറ്റവും കൂടുതൽ സഹായിക്കുക. ഒരു റഫറൻസ് ചിത്രവും ക്യാമറയുടെ ചലനവും നൽകിയാൽ, പശ്ചാത്തലത്തിലെ ഒഴുക്കും വ്യക്തതയും നഷ്ടപ്പെടാതെ കൃത്യമായ 60 സെക്കൻഡ് ക്ലിപ്പ് ഈ എഐ നിർമ്മിച്ച് നൽകും.

ഇന്ത്യയിലെ ആദ്യ Comprehensive AI Filmmaking പഠിക്കാം.https://sostorytelling.com/

Summary: NVIDIA has released SANA-WM, an open-source 2.6B parameter world model under the Apache 2.0 license that generates a 60-second 720p video from a single image and a defined camera path. Leveraging a hybrid linear design, it maintains constant VRAM usage per frame and delivers blazing-fast performance, rendering a full-minute clip in just 34 seconds on an RTX 5090 to quickly produce consistent background plates for filmmakers.