Cara Kerja Memory di Hermes: Hot Memory, Vault, dan Session Search

Hermes punya sistem memory yang sering disalahpahami. Banyak yang mengira memory itu tempat menyimpan semua hal tentang user, lalu berharap AI mengingat segalanya tanpa konsekuensi. Kenyataannya, memory Hermes punya tiga layer dengan karakter berbeda — dan salah pakai bisa bikin context window penuh, biaya membengkak, atau respons jadi lambat.

Artikel ini membahas cara kerja ketiga layer tersebut, kapan harus menyimpan informasi ke layer mana, serta pola-pola yang sebaiknya dihindari.

Layer Pertama: Hot Memory

Hot memory adalah layer paling dekat dengan context window AI. Setiap kali user berinteraksi, informasi di hot memory langsung tersedia sebagai bagian dari prompt. Ini berarti setiap byte di hot memory menghitung — baik dari sisi kualitas respons maupun biaya token.

Hot memory dirancang untuk informasi yang benar-benar relevan dengan interaksi saat ini. Contohnya preferensi penulisan, konteks proyek yang sedang berjalan, atau instruksi spesifik yang user berikan berulang kali. Informasi ini harus singkat, padat, dan selalu fresh.

Cara kerja hot memory cukup sederhana. Setiap kali AI menyimpan entry baru, entry tersebut bersaing dengan entry lain untuk tetap berada di window. Entry yang paling sering diakses atau paling baru dibuat punya prioritas lebih tinggi. Entry yang jarang disentuh bisa tergeser secara otomatis.

Ini juga berarti hot memory bukan tempat untuk menyimpan data historis panjang. Kalau lo menyimpan riwayat lengkap semua percakapan ke hot memory, context window akan cepat penuh dan performa AI menurun.

Layer Kedua: Vault

Vault adalah layer penyimpanan jangka panjang di Hermes. Informasi di vault tidak langsung masuk ke context window. Sebaliknya, vault bertindak sebagai database yang bisa diakses secara selektif melalui mekanisme search.

Vault cocok untuk menyimpan informasi yang jarang dibutuhkan tapi tetap perlu tersedia kalau dipanggil. Contohnya dokumentasi proyek lama, referensi teknis, atau arsip percakapan penting yang tidak relevan untuk interaksi hari ini.

Mekanisme search di vault bekerja dengan cara memindai entri-entri yang relevan dengan konteks saat ini, lalu hanya menyuntikkan bagian yang paling cocok ke dalam prompt. Ini berbeda dengan hot memory yang selalu aktif — vault bersifat pasif sampai dibutuhkan.

Keuntungan utama vault adalah efisiensi. Lo bisa menyimpan ribuan entry tanpa langsung membebani context window. Yang perlu diurus adalah kualitas indexing dan query, bukan jumlah entry.

Tapi vault punya trade-off. Karena tidak semua entry langsung tersedia, ada kemungkinan AI melewatkan informasi penting yang sebenarnya tersimpan di vault. Ini mengapa pemilihan kapan harus ke vault vs hot memory menjadi krusial.

Layer Ketiga: Session Search

Session search adalah layer paling dinamis di antara ketiganya. Berbeda dengan vault yang menyimpan entry permanen, session search bekerja dalam scope percakapan saat itu saja.

Ketika user memulai sesi baru, session search mengumpulkan semua entry yang relevan dari vault dan hot memory, lalu menyaringnya berdasarkan konteks percakapan. Hasilnya adalah subset informasi yang paling cocok untuk sesi tersebut.

Session search berperan sebagai jembatan antara memori jangka panjang dan kebutuhan moment-to-moment. Tanpa layer ini, AI akan kewalahan memuat semua informasi sekaligus atau justru kehilangan konteks penting.

Cara kerja session search bergantung pada kemiripan semantik. AI mengevaluasi query user, mencocokkannya dengan entry di vault dan hot memory, lalu memilih yang paling relevan. Makin spesifik konteks lo, makin akurat hasil search-nya.

Ini juga berarti session search bisa "terkecoh" kalau entry di vault terlalu umum atau ambigu. Entry yang ditulis tanpa konteks jelas cenderung menghasilkan false positive saat di-search.

Kapan Harus Save ke Layer Mana

Pertanyaan paling sering muncul adalah kapan harus menyimpan informasi ke hot memory, vault, atau skill. Jawabannya bergantung pada frekuensi penggunaan dan durasi relevansi.

Simpan ke hot memory kalau informasi itu digunakan setiap hari dan harus selalu tersedia tanpa delay search. Preferensi gaya komunikasi, nama project aktif, atau instruksi berulang termasuk kategori ini.

Simpan ke vault kalau informasi itu penting tapi jarang dibutuhkan. Dokumentasi teknis, referensi arsip, atau catatan proyek yang sudah selesai masuk kategori vault. Vault menjaga context window tetap ringan sambil tetap menyimpan pengetahuan.

Simpan ke skill kalau informasi itu berupa pola atau prosedur yang bisa diotomatisasi. Skill berbeda dari memory karena skill bersifat procedural — ia memberi AI cara melakukan sesuatu, bukan sekadar menyimpan fakta.

Anti-Pattern: Task Progress ke Memory

Salah satu kesalahan paling umum adalah menyimpan progress tugas ke memory. Misalnya, "sudah menyelesaikan bagian A dari proyek X" atau "hari ini sedang mengerjakan feature Y".

Masalahnya, progress tugas bersifat sementara dan cepat kedaluwarsa. Entry seperti ini akan menumpuk di memory, mengisi space yang seharusnya dipakai untuk informasi jangka panjang yang lebih bernilai. Inilah yang disebut bloat memory.

Bloat memory tidak hanya membuang kuota context window — ia juga mengaburkan sinyal. AI bisa kesulitan membedakan antara informasi penting dan noise ketika keduanya menempati layer yang sama.

Cara menghindari bloat adalah dengan menerapkan prinsip ephemeral. Kalau informasi itu hanya relevan untuk satu sesi atau satu tugas, simpan di session saja. Jangan naikkan ke hot memory atau vault.

Memory Hygiene: Audit dan Bersih

Memory yang sehat butuh perawatan rutin. Audit memory secara berkala membantu menjaga kualitas entry dan mencegah akumulasi data usang.

Langkah pertama adalah meninjau semua entry di vault dan hot memory. Tandai entry yang sudah tidak relevan — misalnya proyek yang sudah selesai, preferensi yang sudah berubah, atau informasi yang sudah tidak dipakai lagi.

Langkah kedua adalah menghapus entry usang. Jangan ragu untuk membersihkan. Memory yang kosong lebih berharga daripada memory yang penuh dengan noise.

Langkah ketiga adalah mengevaluasi entry yang masih tersisa. Apakah entry itu masih akurat? Apakah formatnya jelas dan mudah di-search? Kalau belum, perbaiki sekarang sebelum entry tersebut memicu kesalahan di masa depan.

Contoh Entry: Useful vs Buang Kuota

Entry yang berguna di hot memory biasanya singkat dan spesifik. Contoh: "User lebih suka respons dalam bahasa Indonesia dengan tone santai tapi tetap informatif." Ini langsung relevan untuk setiap interaksi dan tidak memakan banyak space.

Entry yang berguna di vault cenderung lebih panjang tapi terstruktur. Contoh: dokumentasi arsitektur sistem dengan poin-poin jelas sehingga search engine bisa memindai bagian yang relevan dengan akurat.

Entry yang membuang kuota biasanya terlalu umum atau terlalu detail. Contoh: "User suka coding" terlalu ambigu untuk berguna. Sebaliknya, menyalin seluruh log percakapan ke vault juga tidak berguna karena tidak ada nilai tambah dibanding menyimpannya di chat history biasa.

Perbedaan utamanya terletak pada signal-to-noise ratio. Entry yang bagus memberi AI informasi yang bisa langsung ditindaklanjuti. Entry yang buruk hanya mengisi ruang tanpa kontribusi nyata.

Implikasi untuk Penggunaan Sehari-hari

Memahami tiga layer memory Hermes mengubah cara lo berinteraksi dengan AI. Alih-alih menganggap memory sebagai tempat sampah digital, lo bisa menggunakannya sebagai alat strategis untuk meningkatkan kualitas respons.

Penggunaan yang tepat membuat AI lebih fokus, respons lebih cepat, dan biaya token lebih efisien. Sebaliknya, penyalahgunaan memory bisa membuat AI kewalahan dan hasil jadi kurang relevan.

Kunci utamanya adalah kesadaran. Setiap kali lo menyimpan entry, tanyakan dulu: apakah ini benar-benar perlu? Apakah ini akan berguna lagi dalam jangka panjang? Kalau jawabannya ragu, simpan saja di session.