马斯克将旗下公司 x.ai 的大模型Grok-1正式开源，并且支持商业化用途。
Grok-1是一款类ChatGPT的混合专家模型，有3140亿参数，允许商业化，通过文本问答方式可以生成创意文本、代码等。
根据其公布的测试数据显示，性能超过了GPT-3.5、LLaMA 2 70B，弱于GPT-4、Claude 2、Palm2等闭源模型。
MoE模型全称为Mixture of Experts，其核心原理是将一个庞大的神经网络分解为多个相对独立的小型子网络(即专家),每个专家负责处理输入数据的某些方面。
MoE模型通过一个门控机制根据输入数据选择性地组合不同专家的输出,从而产生最终的输出。
这种架构设计使得MoE模型能够高效利用计算资源,避免对所有参数进行无谓的计算。主要包括门控制机制、专家网络和聚合器三大模块。
github：https://github.com/xai-org/grok-1
磁力链接
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
