ഒന്നിലധികം പേരുടെ ശബ്ദം ഇനി തത്സമയം മാറ്റാം; അലിബാബയുടെ ‘ഫൺ-സിനിഫോർജ്’ എത്തി

ഡബ്ബിംഗ് രീതികളെ അടിമുടി മാറ്റാൻ ‘ഫൺ-സിനിഫോർജ്’ (Fun-CineForge) എന്ന അത്യാധുനിക AI മോഡൽ അലിബാബ പുറത്തിറക്കി. ഒന്നിലധികം കഥാപാത്രങ്ങൾ ഒരേസമയം സംസാരിക്കുകയാണെങ്കിൽ പോലും ഓരോരുത്തരുടെയും ശബ്ദം തിരിച്ചറിഞ്ഞ് അവ കൃത്യമായി ഡബ്ബ് ചെയ്യാൻ ഈ മോഡലിന് കഴിയും. ഇതുവരെ ഒരു ഓപ്പൺ സോഴ്സ് മോഡലിനും ഇത് സാധ്യമായിരുന്നില്ല. ശബ്ദത്തിന് അനുസരിച്ച് കഥാപാത്രങ്ങളുടെ ചുണ്ടുകളുടെ ചലനം മാറ്റാനും ഇതിലൂടെ കഴിയും.

സംഭാഷണങ്ങളിലെ വികാരങ്ങൾ (Emotions), ശബ്ദത്തിലെ സ്ഥിരത (Voice Stability), സമയം (Timing) എന്നിവ ഒട്ടും ചോർന്നുപോകാതെ തന്നെ മറ്റ് ഭാഷകളിലേക്ക് മാറ്റാൻ ഇതിലൂടെ സാധിക്കും. ആർക്കും ഈ ടെക്നോളജി ഉപയോഗിക്കാനും മെച്ചപ്പെടുത്താനും സാധിക്കുന്ന വിധത്തിലാണ് അലിബാബ ഇത് ലഭ്യമാക്കിയിരിക്കുന്നത്.

വിദേശ ഭാഷാ സിനിമകളും വീഡിയോകളും സ്വന്തം ഭാഷയിലേക്ക് മാറ്റാൻ ഇനി ദിവസങ്ങൾ നീണ്ട ഡബ്ബിംഗ് പ്രക്രിയ ആവശ്യമില്ല. സിനിമ, ഡോക്യുമെന്ററികൾ, യൂട്യൂബ് വീഡിയോകൾ എന്നിവ ചെയ്യുന്നവർക്ക് കുറഞ്ഞ ചെലവിൽ നിലവാരമുള്ള ഡബ്ബിംഗ് ഇനി സാധ്യമാകും.

Summary : Alibaba has released Fun-CineForge, the world’s first open-source AI model capable of handling complex multi-speaker dubbing with high emotional accuracy and voice stability. The tool revolutionizes the industry by ensuring precise lip-syncing and timing across multiple characters simultaneously, a feat previously unachieved by open-source models. This technology allows filmmakers and content creators to dub foreign language movies and documentaries into local languages quickly and cost-effectively, eliminating the need for lengthy traditional dubbing processes.