
.Net + Qdrant 使用Microsoft.ML.OnnxRuntime调用本地大模型实现文本向量化,实现简单RAG
本文介绍了使用.NET和Qdrant向量数据库实现本地大模型(Onnx)的简单RAG方案。首先从HuggingFace镜像下载all-MiniLM-L6-v2模型文件,包括.onnx和tokenizer.json。然后创建.NET Core WebApi项目并导入必要的NuGet包。核心部分实现了OnnxEmbeddingGenerator类,通过InferenceSession加载模型,使用Tokenizer处理文本,生成384维的文本向量,并计算余弦相似度。最后在Controller中测试文本向量生成功
