dify可以調本地部署的大模型,純離線可以的。就看本地的配置,能裝多大參數的了。
實測只能運行7b的,16g顯存應該沒問題啊,我用的lm studio。
如果離網怕敏感數據的話,搞個二手的2080ti試試看。