@re-ai/tag 是一个强大的rag服务，提供高效的文档管理、向量数据库操作和集合处理功能。
此包是专为需要在本地环境中处理大量数据的应用程序设计，支持多种数据操作。
- 23.05.20: 添加xinference模型部署支持，用来支持 EMBEDDING 和 RERANK
- 23.05.08：添加文件的处理，分割文件，支持ollama二次处理，目前支持文档格式 markdown，pdf，doc，ppt， excel， txt
- 向量数据库操作：支持文档的插入、查询、搜索、删除和更新。
- Rerank 操作：支持向量数据库中搜索的文档进行重排序。
- 集合操作：提供集合的创建、描述、删除、列出和清空功能。
- 文件操作：支持文件分割，再经过大语言模型处理。
使用 npm 安装:
npm install @re-ai/ragimport { ReAIVector } from '@re-ai/rag';
const service = ReAIVector.getService(ServiceTypes.CHROMA_VECTOR, {
dbHost: "",
embedderType: "xinference"
})// 示例：插入文档
service.documentUpsert({ /* 数据 */ });
// 示例：查询文档
service.documentQuery({ /* 查询条件 */ });// 示例：创建数据库
service.databaseCreate({ /* 数据库配置 */ });
// 示例：列出所有数据库
service.databaseList();// 示例：创建集合
service.collectionCreate({ /* 集合配置 */ });
// 示例：获取集合描述
service.collectionDescribe({ /* 指定集合 */ });现在rerank模型只使用了xinference部署的模型
import { ReAIRerank } from '@re-ai/rag';
const service = new ReAIRerank({
host: "https://llm.ai.cloudos.com",
model: "bge-reranker-large"
});process.env.OLLAMA_HOST = "http://127.0.0.1:11434" // ollama 服务地址
process.env.OLLAMA_LLM_MODEL = "phi3:mini" // llm 模型
import { FileParserTypes, ReAIFileParser } from "@re-ai/vector.local";
import { join } from 'path';
const parser = new ReAIFileParser()
parser.parse(join(__dirname, "../test.md"), FileParserTypes.MD, {
minSize: 800,
maxSize: 1000,
onProcess: (data) => {
console.log(data)
}
}).then(ret => {
console.log(ret)
})欢迎通过 GitHub 提交问题或请求，以帮助我们改进 @re-ai/rag。
此项目遵循 MIT 许可证。有关更多详细信息，请查看 LICENSE 文件。