Prompt template
#7
by
Sebulba46 - opened
Подскажите, какой шаблон используется для иструктирования модели?
Нужен темплейт такого вида:
<s>[INST] Instruction [/INST] Model answer</s>[INST] Follow-up instruction [/INST]
В описании говорится об использовании вот такого токена: [SEP]. Но не совсем ясно какой темплейт рекомендуется к использованию.
Какие у вас стоп токены и токены для инструктирорвания?
Работает следующий формат: сообщение пользователя, затем Ассистент: [SEP]
Например, вы хотите, чтобы бот ответил вам на "привет, как дела?".
Нужно так форматировать:
formatted_prompt="привет, как дела? Ассистент: [SEP]"