ഓബ്‌സിഡിയൻ നോട്ട് ഓർഗനൈസേഷനിലെ പരിമിതികളും പുതിയ ആപ്പിലൂടെയുള്ള പരിഹാരവും

ഫോണിലെ Obsidian ആപ്പിൽ വർഷങ്ങളായി ഒരു സെക്കൻഡ് ബ്രെയിൻ നിർമ്മിക്കുകയും അതിനെ പൂർണ്ണമായി വിശ്വസിക്കുകയും ചെയ്തിരുന്നു. എന്നാൽ ക്രമേണ കാര്യങ്ങൾ കൈവിട്ടുപോയി, അതിന്റെ ഉത്തരവാദിത്തം പൂർണ്ണമായും തനിക്കായിരുന്നു.

വർഷങ്ങളായി എഴുതിക്കൊണ്ടിരിക്കുന്ന ഒരു പുസ്തകത്തിലെ പശ്ചാത്തലത്തെക്കുറിച്ച് ഒരു കുറിപ്പ് തയ്യാറാക്കുന്നതിനിടയിലാണ് പ്രശ്നം ശ്രദ്ധയിൽപ്പെട്ടത്. എഴുതിക്കൊണ്ടിരിക്കുന്ന ആശയം വളരെ പരിചിതമായി തോന്നി, കാരണം സമാനമായ ഒരു സ്ഥലം ഇതിനുമുമ്പ് താൻ തന്നെ സൃഷ്ടിച്ചിരുന്നു.

ബന്ധപ്പെട്ട കുറിപ്പ് കണ്ടെത്താൻ ലിങ്കുകൾ പരിശോധിച്ചെങ്കിലും ഒന്നും ലഭിച്ചില്ല.

തുടർന്ന് നടത്തിയ മണിക്കൂറുകൾ നീണ്ട മാനുവൽ തിരച്ചിലിനൊടുവിലാണ് ആ കുറിപ്പ് കണ്ടെത്താനായത്.

ഒരു വർഷത്തിലധികം മുമ്പ് എഴുതിയതായിരുന്നു അത്, പിന്നീട് ആ വിവരം മറന്നുപോവുകയും ചെയ്തു. Obsidian കൃത്യമായിട്ടാണ് നോട്സ് സൂക്ഷിച്ചിരുന്നതെങ്കിലും, അവ ക്രമീകരിക്കുന്നതിലെ ബുദ്ധിമുട്ട് ഒഴിവാക്കാൻ മറ്റൊരു സംവിധാനം ആവശ്യമായിരുന്നു.

ആദ്യത്തെ ഏതാനും വർഷങ്ങൾ Obsidian ചിതറിക്കിടന്ന ചിന്തകളെ കൃത്യമായി ക്രമീകരിച്ചിരുന്നു. എന്നാൽ നൂറുകണക്കിന് കുറിപ്പുകൾ പിന്നിട്ടപ്പോൾ സിസ്റ്റത്തിന്റെ ഘടന തകരാൻ തുടങ്ങി.

ഒരേ വിഷയത്തെക്കുറിച്ച് സംസാരിക്കുന്ന രണ്ട് ടാഗുകളും, പരസ്പരബന്ധമില്ലാത്ത മൂന്ന് പ്രോജക്റ്റുകളിൽ ഉപയോഗിച്ച ഒരു ലേബലും കണ്ടെത്തുകയുണ്ടായി. കൂടാതെ ദൈനംദിന ലോഗുകളിൽ ഭൂരിഭാഗത്തിനും വിഭാഗങ്ങളൊന്നും ഉണ്ടായിരുന്നില്ല.

അവയൊന്നും കൃത്യമായി ഓർഗനൈസ് ചെയ്യാതെ ലൂസ് ടെക്സ്റ്റുകളായി വാൾട്ടിൽ സൂക്ഷിക്കപ്പെട്ടു. എഴുതിയത് മറന്നുപോയ കുറിപ്പുകൾ കണ്ടെത്താൻ സെർച്ച് സഹായിച്ചിരുന്നില്ല.

കൃത്യമായി എന്താണ് തിരയേണ്ടതെന്ന് അറിയാമെങ്കിൽ മാത്രമേ Obsidian-ന്റെ ഫുൾ ടെക്സ്റ്റ് സെർച്ച് സഹായിക്കൂ. ഈ വിടവാണ് നികത്തേണ്ടിയിരുന്നത്.

കാര്യങ്ങൾ സ്വയം പേരിട്ട് വിളിക്കുന്നതിന് മുൻപ് മുഴുവൻ വാൾട്ടും വായിച്ച് പരസ്പരമുള്ള ബന്ധങ്ങൾ പറഞ്ഞുതരാൻ കഴിയുന്ന ഒന്ന് ആവശ്യമായിരുന്നു. റിട്രീവൽ-ഓഗ്മെന്റഡ് ജനറേഷൻ (RAG) ആപ്പുകൾ ഈ പ്രശ്നത്തിന് പരിഹാരം കാണുന്നു.

ഒരു RAG ആപ്പ് ഡോക്യുമെന്റുകൾ ഇൻഡക്സ് ചെയ്യുകയും, തുടർന്ന് പ്രസക്തമായ ഭാഗങ്ങൾ പുറത്തെടുത്ത് ചോദ്യങ്ങൾക്ക് മറുപടി നൽകുകയും ഓരോന്നും എവിടെ നിന്നാണെന്ന് കാണിച്ചുതരികയും ചെയ്യുന്നു. വാൾട്ടിലെ എല്ലാ കുറിപ്പുകളും പ്ലെയിൻ മാർക്ക്ഡൗൺ (Markdown) ഫയലുകളായി ഡിവൈസിൽ തന്നെ സൂക്ഷിക്കുന്നതിനാൽ, ഫയൽ ആക്സസ് ഉള്ള ഏത് ആപ്പിനും വാൾട്ട് വായിക്കാൻ കഴിയും എന്നതാണ് Obsidian-ന്റെ പ്രധാന മെച്ചം.

ഫോണിൽ ഓഫ്‌ലൈൻ എൽ.എൽ.എം ആക്‌സസിനായി PocketPal ഉപയോഗിച്ചിരുന്നതിനാൽ, ഫോണിന് സ്വന്തമായി ഒരു മോഡൽ പ്രവർത്തിപ്പിക്കാൻ കഴിയുമെന്ന് അറിയാമായിരുന്നു. ചാറ്റ് വിൻഡോയ്ക്ക് പകരം ഡോക്യുമെന്റ് ഇൻഡക്സിംഗാണ് ആവശ്യമായിരുന്നത്.

LocalRAG! മാർക്ക്ഡൗൺ ഉൾപ്പെടെ 25 ഫയൽ ഫോർമാറ്റുകൾ കൈകാര്യം ചെയ്യുന്നുണ്ട്. ഇത് ആന്ത്രാപ്പിക്കിന്റെ (Anthropic) ക്ലൗഡ് ക്ലോഡ് വഴിയോ അല്ലെങ്കിൽ കൂടെയുള്ള ഓൺ-ഡിവൈസ് മോഡൽ വഴിയോ പ്രവർത്തിക്കുന്നു.

ലോക്കൽ മോഡലിന് ഏകദേശം 3GB ഡൗൺലോഡ് ആവശ്യമാണ്. അതിനുശേഷം എക്സ്ട്രാക്ഷൻ, ഇൻഡക്സിംഗ്, സെർച്ച്, ഉത്തരം തയ്യാറാക്കൽ എന്നിവയെല്ലാം ഇന്റർനെറ്റ് കണക്ഷൻ ഇല്ലാതെ ഫോണിൽ തന്നെ നടക്കുന്നു.

ആപ്പിന്റെ ഫയൽ പിക്കർ വഴി വാൾട്ട് ചേർത്ത ശേഷം സ്റ്റോറി സെറ്റിംഗിനെക്കുറിച്ച് ആദ്യം ചോദിച്ചു. ഒരു വർഷത്തിനിടയിൽ എഴുതപ്പെട്ട

അതേ സ്ഥലത്തെക്കുറിച്ചുള്ള മൂന്ന് കുറിപ്പുകൾ ആപ്പ് തിരികെ നൽകി. ഓരോ ഉത്തരത്തിലും തൊടാൻ കഴിയുന്ന നമ്പരിട്ട

സിറ്റേഷനുകൾ ഉണ്ടായിരുന്നു. ഓരോ സോഴ്സ് നോട്ടും തുറന്ന് വായിച്ച് Obsidian-ലേക്ക് ലിങ്കുകൾ കൈകൊണ്ട് ചേർത്തു.

LocalRAG!-ന്റെ സൗജന്യ പ്ലാനിൽ പ്രതിദിനം അഞ്ച് ചോദ്യങ്ങൾ ലഭിക്കും, അതിൽ ഓൺ-ഡിവൈസ് മോഡലും ഉൾപ്പെടുന്നു. സ്റ്റാൻഡേർഡിന് പ്രതിമാസം 4.99 ഡോളറും പ്രോയ്ക്ക് 9.99 ഡോളറുമാണ് നിരക്ക്, ഇവ രണ്ടിനും ഒരു ആഴ്ചത്തെ ട്രയൽ ലഭ്യമാണ്.

മുഴുവൻ വാൾട്ട് ഓഡിറ്റിംഗിന് പ്രതിദിനം അഞ്ച് ചോദ്യങ്ങൾ പോരാ. ആന്ത്രാപ്പിക് എപിഐ കീ ഉപയോഗിച്ച് സബ്സ്ക്രിപ്ഷൻ ഒഴിവാക്കാനും സാധിക്കും.

വില ഒരു തടസ്സമാണെങ്കിൽ, AnythingLLM സൗജന്യമായി ഓൺ-ഡിവൈസ് RAG പ്രവർത്തിപ്പിക്കുന്നു. കൃത്യമായ പാസേജുകൾ തുറന്നു നൽകുന്നതുകൊണ്ടാണ് LocalRAG! തിരഞ്ഞെടുത്തത്.

ആപ്പുകൾ വാൾട്ട് ഓർഗനൈസ് ചെയ്തു തരില്ല. എന്നാൽ എഴുതിയതിനെക്കുറിച്ച് ചോദിച്ചാൽ സോഴ്സ് സഹിതം ഉത്തരം ലഭിക്കും എന്നതാണ് മാറ്റം.

നോട്ട് വായിച്ച് ലിങ്ക് ആവശ്യമാണോ എന്ന് സ്വയം തീരുമാനിക്കുകയാണ് ചെയ്യുന്നത്. ഓർമ്മക്കുറവ് മൂലം വർഷങ്ങളായി നഷ്ടപ്പെട്ടുകൊണ്ടിരുന്ന വിവരങ്ങളാണ് ഇപ്പോൾ തിരികെ ലഭിക്കുന്നത്.