ai-medical-model-32bit：医学技术问题微调模型
本仓库提供基于强大Llama3 8B Instruct模型的微调版本，专为解答医学技术问题设计，其知识体系源自AI医学数据集（ruslanmv/ai-medical-dataset）。
模型开发
- 开发者：ruslanmv
- 许可协议：Apache-2.0
- 基础模型：meta-llama/Meta-Llama-3-8B-Instruct
核心特性
- 医学定向：优化处理健康相关查询
- 知识基础：训练数据包含全面医学数据库
- 文本生成：可生成专业医学解释文本
安装指南
该模型可通过Hugging Face Transformers库调用，安装示例：
!python -m pip install --upgrade pip
!pip3 install torch==2.2.1 torchvision torchaudio xformers --index-url
!pip install bitsandbytes accelerate
使用示例
以下Python代码演示如何与模型交互生成医学解答：
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch
model_name = "ruslanmv/ai-medical-model-32bit"
device_map = 'auto'
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.float16,
)
model = AutoModelForCausalLM.from_pretrained(
model_name,
quantization_config=bnb_config,
trust_remote_code=True,
use_cache=False,
device_map=device_map
)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
def askme(question):
prompt = f"<|start_header_id|>system<|end_header_id|> 您正在使用医学AI助手<|eot_id|><|start_header_id|>用户<|end_header_id|>问题：{question}<|eot_id|>"
inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=256, use_cache=True)
answer = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
try:
answer_parts = answer.split("
", 1)
answers = answer_parts[1].strip() if len(answer_parts) > 1 else ""
print(f"解答：{answers}")
except:
print(answer)
示例问题
question="CD4+ T细胞炎症反应的主要诱因是什么？"
askme(question)
输出示例
解答：CD4+ T细胞炎症反应主要由以下因素触发：
- 细胞激活：通过抗原、细胞因子等信号激活
- 细胞因子释放：产生IL-2、IFN-γ等促炎因子
- 趋化因子分泌：释放CCL3等吸引免疫细胞
- TLR受体激活：识别病原体分子模式
- 感染刺激：细菌/病毒感染直接激活
重要声明
本模型仅用于信息参考，不可替代专业医疗建议。任何医学问题请咨询执业医师。
许可协议
遵循Apache License 2.0协议（详见LICENSE文件）
贡献指南
欢迎提交改进请求，欢迎参与项目共建
免责条款
虽力求准确，但模型输出结果准确性不作保证
【全文结束】
