Shortcuts

自定义模型

定义新模型时,将模型类型定义为auto,即可加载新模型。其他参数自行更改即可。此处以百川模型为例,加载自定义模型。

如果新加入模型参数配置为AutoModelForCausalLM,AutoTokenizer方式加载,模型类型为auto既可进行测评。

#baichuan-13b
model_type=auto #模型类型中不存在的,可以使用auto方式进行加载,采用AutoModelForCausalLM,AutoTokenizer方式加载
model_path=/data/sufeModel/MedicalGPT/Model/baichuan-13b
exp_name=baichuan13b

exp_date=$(date +"%Y%m%d%H%M%S")
echo "exp_date": $exp_date
output_path=$PROJ_HOME/output_dir/${exp_name}/$exp_date
echo "output_path": $output_path

python eval.py \
    --model_type  ${model_type} \
    --model_path ${model_path} \
    ${lora_model:+--lora_model "$lora_model"} \
    --cot True \
    --few_shot True \
    --with_prompt False \
    --ntrain 5 \
    --constrained_decoding True \
    --temperature 0.2 \
    --n_times 1 \
    --do_save_csv True \
    --do_test False \
    --gpus 0,1,2,3 \
    --only_cpu False \
    --output_dir ${output_path}