追忆杏花村 发表于 2025-3-7 16:41:45

4060ti16G使用deepseekr1千问7Bint8

pip安装了vllm，再从modelscope下载了模型权重等，没用github的模型使用程序，直接参考的VLLM的用法。问了重庆市旅游好玩的地方及字符串某字母计数，虽然是7B且Int8量化，效果还真不错。下面先上图。

风情不只万种。 发表于 2025-3-7 16:42:45















冷漠的回应 发表于 2025-3-7 16:43:22

上面问题都是断了网问的，确定不可能远程服务器作弊。

亡鱼深海花夕拾 发表于 2025-3-7 18:25:42

膜拜神贴，后面的请保持队形~
页: [1]
查看完整版本: 4060ti16G使用deepseekr1千问7Bint8