马斯克的xAI公司正式开源于：2024 年 3 月 17 日 在https://x.ai/blog重量级开源发布
文章下方附最新下载地址
Grok-1 的公开发布
3140 亿个参数的专家混合模型 Grok-1 的权重和架构。
封面图像是根据 Grok 提出的以下提示使用Midjourney生成的：神经网络的 3D 插图，具有透明节点和发光连接，以不同粗细和颜色的连接线展示不同的权重。
Grok 是一款模仿《银河系漫游指南》的人工智能。它旨在回答几乎所有问题，更难的是，甚至建议要问什么问题！
Grok 的设计目的是用一点智慧来回答问题，并且具有叛逆性，所以如果你讨厌幽默，请不要使用它！
Grok 的一个独特且基本的优势是它通过 𝕏 平台实时了解世界。它还将回答大多数其他人工智能系统拒绝的尖锐问题。
Grok 仍然是一个非常早期的测试版产品——我们在 2 个月的培训中所能做到的最好的产品——所以期望它在您的帮助下每周都能快速改进。
大型语言模型Grok-1的基本模型权重和网络架构。 Grok-1 是一个由 xAI 从头开始训练的 3140 亿参数混合专家模型。
这是 Grok-1 预训练阶段的原始基础模型检查点，该阶段于 2023 年 10 月结束。这意味着该模型没有针对任何特定应用（例如对话）进行微调。
我们正在 Apache 2.0 许可证下发布权重和架构。
要开始使用该模型，请按照github.com/xai-org/grok上的说明进行操作。
型号详情
- 基础模型基于大量文本数据进行训练，未针对任何特定任务进行微调。
- 314B参数混合专家模型，在给定代币上有 25% 的活跃权重。
- xAI 于 2023 年 10 月使用基于 JAX 和 Rust 的自定义训练堆栈从头开始训练。
下载指南：
1.Grok-1 开源模型下载：【磁力链接】 ，支持迅雷进行下载即可！文件大小296.38G
2.Grok 开源项目：【Github】
https://github.com/xai-org/grok-1
模型详情:
- 基于大量文本数据训练,未针对任何特定任务微调
- 3140亿参数MoE模型,激活权重25%
- 使用旋转嵌入而非固定位置嵌入
- Tokenizer词汇大小131,072,嵌入大小6,144
- 64层Transformer,每层解码器层包含多头注意力块和密集块
- 多头注意力:48头查询,8头键/值,键值大小128
- 密集块:加宽因子8,隐藏层大小32768
- 每个token从8个专家选择2个
- 旋转位置嵌入大小6,144
- 上下文长度8192 tokens,精度bf16
模型能力:
- 在标准LM基准测试中表现超过同等计算量模型
- HumanEval编码任务63.2%,MMLU 73%
- 在匈牙利高中数学考试中获C级(59%)
- 整体在推理和编码任务中表现出色
局限性:
- 缺少独立搜索网络能力,需结合搜索工具增强
- 可能产生幻觉,需人工审查
- 目前无法像X平台付费版实现实时获取信息
开源意义:
- 遵循Apache 2.0许可证,用户可自由使用修改分发
- 体现了xAI追求透明化和社区开放的理念
- 为进一步研究和创新提供了宝贵资源
简而言之,Grok-1作为一款大规模开源语言模型,在模型能力和透明度方面都具有重要意义,值得业内外人士关注和探索。当然,模型的实际应用还需要结合其他工具和人工审查,以发挥其最大潜能，如有需要沟通交流的小伙伴可以添加下方微信二维码：
