我想用開源LLM(例如chatglm,baichuan)實現文本二分類(比如正負情感分類),有一組訓練數據可以用于微調模型,提升分類性能,這時候應該選擇base模型還是chat模型?
少量數據的情況下,盡量不要微調大模型,可能會導致模型散失通用能力,不如好好寫prompt,把數據用few-shot的形式加到指令中,微調還是很有講究的,不是簡單的構造一個分類數據集就行,而且你這還是分類文本,更難微調了。