Java 端怎么弄大模型的长期记忆

目前第一次做大模型的长期记忆这方面，不知道有没有有经验的大哥指导一下。
目前的难点是不知道用哪种库去存以及怎么去做更新。
当前想法：
用 es 做大模型长期记忆存储，现在的 es 结构大致为 category ，key ，value 。其中 category 是大分类，比如用户偏好，需求，个人信息，key 是一个 category 的具体方面，如个人信息中 key 可以是身高，体重，血糖等具体方面，value 就是对应的值。
目前的大致流程：用户问题进来-->通过某种技术来判断是否是长期记忆并且解析出对应的 category ，key ，value(这种技术在我的认知里 java 应该实现不了，这个先不深究，就当能够实现)---->我拿到这些信息对用户记忆做添加或者修改--->再把记忆拼接到 prompt 里面。
因为我第一次弄这方面也不知道可不可行，在网上看了很多也没有一个明确的方向，所以想请教下各位大哥，不知道有没有业界更先进的做法。