


基于C-MTEB/CMedQAv2-rerankingv的Qwen3-1.7b模型微调-demo
本文介绍了一个基于Qwen3-1.7B模型的医疗问答微调项目。使用C-MTEB/CMedQAv2-rerankingv数据集,通过GPT-4生成多轮对话数据,转换为JSONL格式后采用LoRA方法进行参数高效微调。项目包含数据处理脚本、模型训练代码和推理测试脚本,支持FP16/FP32混合精度训练。通过配置Lora参数(r=8,alpha=32)和梯度检查点技术,在保持模型性能的同时显著减少训练参数(仅训练可训练参数)。训练完成后可保存LoRA adapter,便于后续部署使用。项目依赖已整理至requir

