ഇന്റർനെറ്റ് ഇല്ലാതെ സ്മാർട്ട്ഫോണുകളിൽ എഐ ചാറ്റ് സാധ്യമാക്കുന്ന ലോക്കൽ ലാംഗ്വേജ് മോഡലുകൾ വരുന്നു

ഇന്റർനെറ്റോ ക്ലൗഡ് പ്രോസസ്സിംഗോ ആവശ്യമില്ലാതെ സ്മാർട്ട്ഫോണുകളിൽ നേരിട്ട് ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് (എഐ) ചാറ്റുകൾ ഉപയോഗിക്കാനുള്ള പുതിയ സംവിധാനങ്ങൾ സാങ്കേതിക ലോകത്ത് ശ്രദ്ധ നേടുന്നു. ഒരൊറ്റ സന്ദേശം പോലും ഇന്റർനെറ്റിലേക്ക് അയക്കാതെ ഫോണിൽ മാത്രം പ്രവർത്തിക്കുന്ന ഒരു ലാംഗ്വേജ് മോഡൽ ഡൗൺലോഡ് ചെയ്ത് പരീക്ഷിച്ചപ്പോഴുള്ള അനുഭവം ഉപയോക്താക്കൾക്കിടയിൽ വലിയ തോതിൽ ചർച്ചയാകുന്നുണ്ട്.

എയർപ്ലെയിൻ മോഡലിൽ ഇട്ട ഫോണിൽ ഇന്റർനെറ്റ് കണക്ഷൻ ഇല്ലാതെ തന്നെ എഐയുമായി സംഭാഷണം നടത്താൻ സാധിച്ചു എന്നത് ശ്രദ്ധേയമായ കാര്യമാണ്.

ചെറിയ ചില പരിമിതികൾ ഉണ്ടെങ്കിലും, പൂർണ്ണമായും ഓഫ്‌ലൈനായി പ്രവർത്തിക്കുകയും സംഭാഷണങ്ങൾ ഉപയോക്താവിന്റെ ഡിവൈസിൽ തന്നെ സൂക്ഷിക്കുകയും ചെയ്യുന്ന ഈ സംവിധാനം പ്രതീക്ഷിച്ചതിലും ഉപരിയായി പ്രയോജനകരമാണെന്ന് തെളിയുന്നു. ആൻഡ്രോയിഡ് ഫോണുകളിൽ ലോക്കൽ എൽ.എൽ.എം (LLM) പ്രവർത്തിപ്പിക്കാൻ നിരവധി മാർഗ്ഗങ്ങളാണ് ലഭ്യമായിട്ടുള്ളത്.

ഫോണിന്റെ ഹാർഡ്‌വെയർ ഉപയോഗപ്പെടുത്തി വേഗത്തിൽ പ്രവർത്തിക്കാൻ സഹായിക്കുന്ന മികച്ചൊരു മാർഗ്ഗമാണ് MLC Chat. ഗൂഗിളിന്റെ ഓൺ-ഡിവൈസ് മോഡലുകളും ഇമേജ്, ഓഡിയോ എന്നീ ഫീച്ചറുകളും നൽകിക്കൊണ്ട് Google AI Edge Gallery തികച്ചും വ്യത്യസ്തമായ ഒരു സമീപനമാണ് സ്വീകരിക്കുന്നത്.

കൂടാതെ കൂടുതൽ സാങ്കേതിക ജ്ഞാനമുള്ളവർക്ക് Maid, LM Playground അല്ലെങ്കിൽ Termux വഴി Ollama പ്രവർത്തിപ്പിക്കുന്നത് പോലുള്ള നൂതന മാർഗ്ഗങ്ങളും പരീക്ഷിക്കാവുന്നതാണ്. എന്നാൽ സ്വന്തമായി മോഡലുകൾ തിരഞ്ഞെടുക്കാൻ സാധിക്കുന്ന ലളിതമായ ഒരു ആപ്ലിക്കേഷൻ എന്ന നിലയിൽ PocketPal AI ആണ് പലരും തിരഞ്ഞെടുക്കുന്നത്.

ഓപ്പൺ സോഴ്സ് സ്വഭാവമുള്ള ഈ ആപ്ലിക്കേഷന്റെ കോഡുകൾ GitHub-ൽ ലഭ്യമാണ്. എന്നിരുന്നാലും ഭൂരിഭാഗം ആളുകൾക്കും ഇത് ഇൻസ്റ്റാൾ ചെയ്യാനുള്ള ഏറ്റവും എളുപ്പ മാർഗ്ഗം Google Play Store ഉപയോഗിക്കുക എന്നതാണ്.

ഹഗ്ഗിംഗ് ഫേസിൽ നിന്നുള്ള (Hugging Face) ജി.ജി.യു.എഫ് (GGUF) മോഡലുകളെ PocketPal പിന്തുണയ്ക്കുന്നുണ്ട്. ഇതിലൂടെ ജെമ്മ (Gemma), ക്യൂവൻ (Qwen), ഫൈ (Phi) തുടങ്ങിയ വിവിധ മോഡലുകൾ ഡൗൺലോഡ് ചെയ്ത് ഫോണിൽ സൂക്ഷിക്കാൻ സാധിക്കും.

ലോക്കൽ എൽ.എൽ.എം ഇൻസ്റ്റാൾ ചെയ്യുന്നത് സാധാരണ ആൻഡ്രോയിഡ് ആപ്ലിക്കേഷനുകൾ പോലെ എളുപ്പമുള്ള കാര്യമല്ല. മോഡലുകൾക്ക് വലിയ തോതിൽ സ്റ്റോറേജ് ആവശ്യമായി വരുകയും, അത് ലോഡ് ചെയ്ത് പ്രവർത്തിപ്പിക്കാൻ ആവശ്യമായ മെമ്മറി ഫോണിൽ ഉണ്ടായിരിക്കുകയും വേണം.

ചെറിയ മോഡലുകൾക്കായി കുറഞ്ഞത് 6GB RAM-ഉം വലിയ മോഡലുകൾക്കായി 8GB അല്ലെങ്കിൽ അതിൽ കൂടുതലോ റാം ആണ് PocketPal ശുപാർശ ചെയ്യുന്നത്. കൂടുതൽ റാമും വേഗതയേറിയ ചിപ്പുകളും ഉള്ള പുതിയ ഫോണുകളാണ് ലോക്കൽ എഐ മോഡലുകൾ പ്രവർത്തിപ്പിക്കാൻ കൂടുതൽ അനുയോജ്യമായിട്ടുള്ളത്.

ആപ്ലിക്കേഷൻ ഇൻസ്റ്റാൾ ചെയ്ത ശേഷം ഹോം സ്ക്രീനിലെ Download Model എന്ന ഓപ്ഷൻ തിരഞ്ഞെടുക്കുക. ഇതിലൂടെ ലഭ്യമായ മോഡലുകളുടെ വലുപ്പം, പാരാമീറ്റർ കൗണ്ട്, മറ്റ് സവിശേഷതകൾ എന്നിവ പരിശോധിക്കാൻ സാധിക്കും.

വിവരങ്ങൾ മനസ്സിലാക്കിയ ശേഷം ആവശ്യമുള്ള മോഡലിൽ ടാപ്പ് ചെയ്ത് ഫോണിലേക്ക് ഡൗൺലോഡ് ചെയ്യാം. ഡൗൺലോഡിംഗിന് ശേഷം Load എന്ന ബട്ടൺ അമർത്തി മെമ്മറിയിലേക്ക് ലോഡ് ചെയ്താൽ ചാറ്റിംഗ് ആരംഭിക്കാൻ സാധിക്കും.

Gemma 3 1B തിരഞ്ഞെടുത്ത് ഡൗൺലോഡ് ചെയ്ത ശേഷം ഇത് വിജയകരമായി പരീക്ഷിക്കാൻ സാധിച്ചു. കൂടുതൽ മോഡലുകൾ ചേർക്കാനായി ഹാംബർഗർ മെനു തുറന്ന് Models എന്ന ഓപ്ഷൻ വഴി ഹഗ്ഗിംഗ് ഫേസിൽ നിന്നോ ലോക്കൽ ആയിട്ടോ റിമോട്ട് ആയിട്ടോ പുതിയ മോഡലുകൾ ആഡ് ചെയ്യാവുന്നതാണ്.

Gemma 3 1B ഡൗൺലോഡ് ചെയ്തതിന് ശേഷം ഇന്റർനെറ്റ് കണക്ഷൻ ഇല്ലാതെ തന്നെ PocketPal വഴി ചാറ്റ് ചെയ്യാൻ സാധിച്ചു. ക്ലൗഡ് അധിഷ്ഠിത എഐ നൽകുന്ന വേഗതയേറിയ പ്രതികരണങ്ങളെ അപേക്ഷിച്ച് ഇതിന്റെ മറുപടികൾക്ക് വേഗത കുറവായിരുന്നു.

എങ്കിലും ഫോണിൽ നേരിട്ട് മോഡൽ പ്രവർത്തിപ്പിക്കുമ്പോൾ ഉണ്ടാകുന്ന സ്വാഭാവികമായ ഒരു പരിമിതി മാത്രമാണിത്. ഫോണിലെ ലഭ്യമായ സി.പി.യു (CPU), ജി.പി.യു (GPU) അല്ലെങ്കിൽ എൻ.പി.യു (NPU) ഹാർഡ്‌വെയർ ഉപയോഗപ്പെടുത്തി ജി.ജി.യു.എഫ് മോഡലുകൾ പ്രവർത്തിപ്പിക്കാനായി llama.cpp ആണ് ഈ ആപ്പ് ഉപയോഗിക്കുന്നത്.

ചാറ്റ് സ്ക്രീനിൽ നിന്ന് ആരോ ഐക്കൺ ഉപയോഗിച്ച് വിവിധ മോഡലുകൾക്കിടയിൽ എളുപ്പത്തിൽ മാറാൻ സാധിക്കും. ഈ മെനുവിൽ മുൻകൂട്ടി സജ്ജീകരിച്ച എഐ വ്യക്തിത്വങ്ങളായ Pals ലഭ്യമാണ്.

ലോക്കൽ ആയി പ്രവർത്തിക്കാൻ രൂപകൽപ്പന ചെയ്തിട്ടുള്ള ജനറൽ പർപ്പസ് അസിസ്റ്റന്റായ Pip അല്ലെങ്കിൽ ഫോണിന്റെ ക്യാമറയിൽ നിന്നുള്ള വീഡിയോ വിശകലനം ചെയ്യാൻ സാധിക്കുന്ന Lookie തുടങ്ങിയ വ്യത്യസ്ത ഫീച്ചറുകളിലേക്ക് മാറാൻ ഇതിലൂടെ സാധിക്കും. തത്സമയ ഓൺ-ഡിവൈസ് വീഡിയോ വിശകലനത്തിനായാണ് Lookie രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്.

എങ്കിലും ഇതിന്റെ പ്രകടനം ഉപയോഗിക്കുന്ന മോഡലിനെയും ഫോണിനെയും ആശ്രയിച്ചിരിക്കുന്നു. ടൈപ്പ് ചെയ്ത് വായിക്കുന്നതിന് പുറമെ ശബ്ദം നൽകാനും ഇതിൽ സൗകര്യമുണ്ട്.

Kitten, Kokoro, Supertonic തുടങ്ങിയ വോയ്സ് ഓപ്ഷനുകളും ഫോണിന്റെ സിസ്റ്റം വോയ്സുകളും ഇതിനായി ഉപയോഗിക്കാവുന്നതാണ്. ഓഫ്‌ലൈൻ എഐ ഉപയോഗിക്കുന്നതിന്റെ ഏറ്റവും വലിയ ഗുണം സ്വകാര്യതയാണ്.

ചില സംഭാഷണങ്ങൾ ഫോണിൽ തന്നെ സൂക്ഷിക്കുന്നതാണ് നല്ലത്. ലോക്കൽ മോഡൽ ഉപയോഗിക്കുമ്പോൾ പ്രോസസ്സിംഗിനായി പ്രോംപ്റ്റുകളും മറുപടികളും ഡിവൈസിന് പുറത്തേക്ക് പോകുന്നില്ല.

ഇന്റർനെറ്റ് കണക്ഷൻ വിച്ഛേദിക്കുമ്പോഴാണ് ഇതിന്റെ മറ്റൊരു പ്രയോജനം വ്യക്തമാകുന്നത്. മോഡൽ ഫോണിൽ ഡൗൺലോഡ് ചെയ്തു കഴിഞ്ഞാൽ ഫ്ലൈറ്റിൽ വെച്ചോ, റേഞ്ച് ഇല്ലാത്ത സ്ഥലങ്ങളിലോ, അല്ലെങ്കിൽ ക്ലൗഡ് സേവനങ്ങൾ ഉപയോഗിക്കാൻ താൽപ്പര്യമില്ലാത്തപ്പോഴോ ഇത് ഉപയോഗിക്കാം.

കൂടാതെ സ്വന്തം നിയന്ത്രണത്തിലുള്ള ഒരു മോഡൽ ഉപയോഗിക്കാൻ സാധിക്കുന്നു എന്നതും ഇതിന്റെ പ്രത്യേകതയാണ്. വ്യത്യസ്ത ജി.ജി.യു.എഫ് മോഡലുകൾ ഡൗൺലോഡ് ചെയ്ത് ആവശ്യാനുസരണം മാറിക്കൊണ്ടിരിക്കാം.

ഒരു ക്ലൗഡ് എഐ സേവനം നൽകുന്ന മോഡലിനെ മാത്രം ആശ്രയിക്കേണ്ടി വരുന്നില്ല. എന്നിരുന്നാലും ഇതിന് ചില പരിമിതികളുമുണ്ട്.

ഫോണിൽ ലഭിക്കുന്ന മറുപടികൾക്ക് വേഗത കുറവായിരിക്കും. ചെറിയൊരു ലോക്കൽ മോഡലിന് വലിയ ക്ലൗഡ് മോഡലുകളുടെ എല്ലാ ജോലികളും ചെയ്യാൻ കഴിയില്ല.

എല്ലാ കാര്യങ്ങളും ഓഫ്‌ലൈനായി സൂക്ഷിക്കുന്നതിന്റെ പ്രധാന ദോഷം എഐക്ക് പുറംലോകവുമായുള്ള ബന്ധം നഷ്ടപ്പെടുന്നു എന്നതാണ്. ഇന്നത്തെ വാർത്തകളിൽ എന്താണ് സംഭവിക്കുന്നത് എന്നോ, ബ്രേക്കിംഗ് സ്റ്റോറികൾ എന്താണെന്നോ അല്ലെങ്കിൽ നിലവിലെ വിവരങ്ങളെ ആശ്രയിക്കുന്ന ചോദ്യങ്ങൾക്ക് മറുപടി നൽകാനോ ഈ ലോക്കൽ മോഡലിന് സാധിക്കില്ല.

ഫോണിൽ ഒരു എൽ.എൽ.എം പ്രവർത്തിപ്പിക്കുന്നത് Gemini അല്ലെങ്കിൽ ChatGPT എന്നിവയ്ക്ക് പകരമാവില്ല. ഇതിന്റെ മറുപടികൾ മെ缓慢മായതും, ചെറിയ മോഡലുകളുടെ ശേഷി കുറഞ്ഞതുമാണ് കാരണം.

കൂടാതെ പൂർണ്ണമായും ഓഫ്‌ലൈൻ ആയതിനാൽ നിലവിലെ സംഭവങ്ങളെക്കുറിച്ച് വിവരങ്ങൾ നൽകാനും കഴിയില്ല. എങ്കിലും സെർവറിലേക്ക് പ്രോംപ്റ്റുകൾ അയക്കാതെ തന്നെ സംഭാഷണങ്ങൾ നടത്താനും, ഇന്റർനെറ്റ് ഇല്ലാത്തപ്പോഴും ഫോൺ ഉപയോഗിക്കുന്നത് തുടരാനും ഇതിലൂടെ സാധിച്ചു.

ഫോണിൽ ഒരു എഐ മോഡൽ പ്രവർത്തിപ്പിക്കുന്നത് എത്രത്തോളം എളുപ്പമാണെന്ന് തിരിച്ചറിഞ്ഞതോടെ, സ്മാർട്ട്‌ഫോണുകൾക്ക് മറ്റ് എതൊക്കെ കാര്യങ്ങൾ ചെയ്യാൻ സാധിക്കുമെന്ന പരീക്ഷണങ്ങളിൽ കൂടുതൽ താൽപ്പര്യമുണർന്നിരിക്കുകയാണ്.