【Grok-1下载】目前最强开源大语言模型,3140亿参数模型

马斯克的xAI公司正式开源于:2024 年 3 月 17 日 在https://x.ai/blog重量级开源发布

文章下方附最新下载地址

【Grok-1下载】目前最强开源大语言模型,3140亿参数模型

Grok-1 的公开发布

3140 亿个参数的专家混合模型 Grok-1 的权重和架构。

【Grok-1下载】目前最强开源大语言模型,3140亿参数模型

封面图像是根据 Grok 提出的以下提示使用Midjourney生成的:神经网络的 3D 插图,具有透明节点和发光连接,以不同粗细和颜色的连接线展示不同的权重。

Grok 是一款模仿《银河系漫游指南》的人工智能。它旨在回答几乎所有问题,更难的是,甚至建议要问什么问题!

Grok 的设计目的是用一点智慧来回答问题,并且具有叛逆性,所以如果你讨厌幽默,请不要使用它!

Grok 的一个独特且基本的优势是它通过 𝕏 平台实时了解世界。它还将回答大多数其他人工智能系统拒绝的尖锐问题。

Grok 仍然是一个非常早期的测试版产品——我们在 2 个月的培训中所能做到的最好的产品——所以期望它在您的帮助下每周都能快速改进。

大型语言模型Grok-1的基本模型权重和网络架构。 Grok-1 是一个由 xAI 从头开始​​训练的 3140 亿参数混合专家模型。

这是 Grok-1 预训练阶段的原始基础模型检查点,该阶段于 2023 年 10 月结束。这意味着该模型没有针对任何特定应用(例如对话)进行微调。

我们正在 Apache 2.0 许可证下发布权重和架构。

要开始使用该模型,请按照github.com/xai-org/grok上的说明进行操作。

型号详情

  • 基础模型基于大量文本数据进行训练,未针对任何特定任务进行微调。
  • 314B参数混合专家模型,在给定代币上有 25% 的活跃权重。
  • xAI 于 2023 年 10 月使用基于 JAX 和 Rust 的自定义训练堆栈从头开始训练。

下载指南:

1.Grok-1 开源模型下载:【磁力链接】 ,支持迅雷进行下载即可!文件大小296.38G

【Grok-1下载】目前最强开源大语言模型,3140亿参数模型

2.Grok 开源项目:【Github

https://github.com/xai-org/grok-1

【Grok-1下载】目前最强开源大语言模型,3140亿参数模型

模型详情:

  • 基于大量文本数据训练,未针对任何特定任务微调
  • 3140亿参数MoE模型,激活权重25%
  • 使用旋转嵌入而非固定位置嵌入
  • Tokenizer词汇大小131,072,嵌入大小6,144
  • 64层Transformer,每层解码器层包含多头注意力块和密集块
  • 多头注意力:48头查询,8头键/值,键值大小128
  • 密集块:加宽因子8,隐藏层大小32768
  • 每个token从8个专家选择2个
  • 旋转位置嵌入大小6,144
  • 上下文长度8192 tokens,精度bf16

模型能力:

  • 在标准LM基准测试中表现超过同等计算量模型
  • HumanEval编码任务63.2%,MMLU 73%
  • 在匈牙利高中数学考试中获C级(59%)
  • 整体在推理和编码任务中表现出色

局限性:

  • 缺少独立搜索网络能力,需结合搜索工具增强
  • 可能产生幻觉,需人工审查
  • 目前无法像X平台付费版实现实时获取信息

开源意义:

  • 遵循Apache 2.0许可证,用户可自由使用修改分发
  • 体现了xAI追求透明化和社区开放的理念
  • 为进一步研究和创新提供了宝贵资源

简而言之,Grok-1作为一款大规模开源语言模型,在模型能力和透明度方面都具有重要意义,值得业内外人士关注和探索。当然,模型的实际应用还需要结合其他工具和人工审查,以发挥其最大潜能,如有需要沟通交流的小伙伴可以添加下方微信二维码:

【Grok-1下载】目前最强开源大语言模型,3140亿参数模型
AI+设计

装修设计AI(get floor plan)

2024-4-13 20:39:57

AI开源

maxkb-基于 LLM 大语言模型的知识库问答系统

2024-4-21 22:29:14

搜索