ice-only/localai-rag-live2d
一个开源项目把二次元Live2D角色搬上桌面，配上完全离线运行的AI聊天模型，还能记住你自己的文档
这个项目把本地运行的量化语言模型、文档检索功能和Live2D二次元角色结合起来，做成一个不联网、不上传数据的桌面AI伴侣。用户只需把txt、md、pdf文件扔进docs目录就会自动被索引，供AI回答时参考，对话记录也会持久保存方便继续聊。除了桌面应用，还支持接入QQ。
它做什么
- 通过llama.cpp在本地运行量化版的Qwen3.5-4B语言模型，可用Vulkan GPU加速也可纯CPU运行，聊天全程不需要联网或调用云端API
- 实现了RAG（检索增强生成）：放入docs目录的文档会用中文嵌入模型BAAI/bge-small-zh-v1.5和ChromaDB向量数据库自动建立索引，AI回答前会先检索相关内容作为参考
- 用PyQt5和网页渲染组件做出一个透明无边框、可拖动的桌面窗口，展示Live2D二次元角色，让聊天机器人有了可视化的形象
- 对话记录以JSON文件形式保存，按用户和渠道分开存储，并根据Token预算自动裁剪旧对话，避免上下文超限
- 采用适配器模式支持多平台，除了桌面模式外，还通过OneBot v11协议提供QQ聊天接入
为什么重要
对于想要拥有私人AI助手、又不想依赖云端AI服务或暴露个人文档、还想给助手加个自定义形象的人来说，这是个实用的参考模板。项目按UI、模型、记忆、RAG、适配器分层的结构，也方便复用来接入自己的聊天平台或知识库。
本仓库术语
仓库简介（英文）
一个本地ai聊天模型localaiAgentWithRAG，让你的本地数据不上传云端，可以自己加入所需要的记忆文件等等，修改角色形象，记忆对话，记忆库允许自己导入或者对话后自动记录
在 GitHub 打开热门仓库
- vorssaint/vorssaint-utils一个免费菜单栏应用,顶替十几款付费Mac工具
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台
- NousResearch/hermes-agentNous Research推出的Hermes是一款越用越聪明的AI智能体
- virgiliojr94/book-to-skill把技术类书籍PDF变成AI编程助手随时可查阅的技能包
- VoltAgent/awesome-agent-skills把上千份让AI编程助手秒变专家的操作手册集中放在一个地方
- anthropics/claude-plugins-community一个把大家做的Claude插件集中起来供安装的仓库