Mistral AI 近日发布了首个开源 MoE 模型 Mixtral8x7B，并宣布在魔搭社区上线。
Mixtral-8x7B 是一款混合专家模型（Mixtrue of Experts），由8个拥有70亿参数的专家网络组成，在能力上，Mixtral-8x7B 支持32k token 上下文长度，支持英语、法语、意大利语、德语和西班牙语，拥有优秀的代码生成能力，可微调为指令跟随模型。
该模型在 MT-Bench 评测上达到了8.3分，与 GPT3.5相当。
Mixtral-8x7B-v0.1模型:
Mixtral-8x7B-Instruct-v0.1模型:
Mistral-7B-Instruct-v0.2新模型:
版权声明：除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。