马斯克开源Grok-1，3140亿参数模型免费下载

马斯克说到做到：

旗下大模型Grok现已开源！

用于呈现此次开源状况的官方信息表明, 上线于GitHub的是代码以及模型权重该代码与模型权重所关联的此次开源的Grok-1这一事物, 是一个拥有3140亿参数的混合专家模型。

就是说，这是当前开源模型中参数量最大的一个。

一桩消息一经发布, Grok - 1的GitHub仓库已然收获了4.5k颗标星, 而且其数量还在这个仓库里迅猛上涨着。

表情包们，第一时间被吃瓜群众们热传了起来。

GPT 的本 Chat, 也在 Grok 评论区现身了, 开启给了跟马斯克新的一天的斗嘴……

, 就这样, 话不再进一步多说了, 来瞧一瞧马斯克此次针对怼OpenAI, 到底是拿出了什么样确实可用的东西。

Grok-1说开源就开源

在这一回的开源行动之中, xAI公布了Grok-1的基础模型权重, 还公布了其网络架构。

具体说到, 是在2023年10月这个时间点, 处于预训练阶段所涉及的原始基础模型, 它并未针对任何特定运用, 举例而言像对话这样的应用来进行微调。

在结构之中, Grok - 1启用了混合专家也就是MoE架构, 此架构涵盖8个专家, 其总的参数量是314B（也就是3140亿）, 当对Token进行处理之际, 其中的两个专家会被激活, 激活之后的参数量为86B。

只为看这被激活的, 参数量, 而已, 就已然是超过了, 密集地模型, Llama 2的, 70B, 针对MoE架构来讲, 这样的参数量, 称作庞然大物, 也根本不算过分。

只不过, 于GitHub页面里, 官方同时给出提示, 鉴于模型规模颇为大（314B参数）, 得要有具备充足GPU以及内存的机器才干得以运行Grok。

此处MoE层之实现效率并非很高, 选用此种实现方式, 乃是为了防止在验证模型正确性之际, 需进行自定义内核。

模型的权重文件, 是通过磁力链接的形式来提供的, 其文件大小与300GB相接近且比较接近300GB。

并且, 这个所谓的“足够的GPU”, 其要求可不是那种普通程度的高, 在YC上面, 有网友进行了推测, 要是处于8bit量化的情况之下, 或许是需要8块H100的。

除了参数量前所未有开云手机入口官网下载，在工程架构上，Grok也是另辟蹊径——

没有采用那些常见的, 诸如Python、PyTorch或者Tensorflow之类的, 而是选用了Rust编程语言, 以及深度学习框架里的新秀JAX。

然而, 于官方通告范围以外, 存在诸多大佬, 借由扒代码这类途径, 透露了Grok的更多技术细节。

像那个源自斯坦福大学的Andrew Kean Gao这样的人, 针对Grok的技术方面的具体细节, 展开了详尽的解释行为。

首先, Grok采用的是运用旋转的那种embedding方式, 并非固定位置的embedding, 且旋转位置的embedding大小是6144, 这与输入embedding是一样的。

当然开云真人app官网登录app,开云真人app在线登录，还有更多的参数信息：

窗口长度为8192tokens，精度为bf16

用于标记化的词汇表大小是131072（也就是2的17次方）, 它和GPT - 4的情况较为接近。

embedding大小为6144（48×128）；

Transformer, 层数状况是64, 每一层当中, 都存在着这样一种情况, 即有一个解码器层, 此解码器层, 其中包含着多头注意力块, 还有包含密集块。

key value大小为128；

在多头注意力块里头, 存在着用于查询的48个头, 还有8个是用于KV的, 并且KV的大小乃128。

密集块（密集前馈块）扩展因子为8，隐藏层大小为32768。

另外, 英伟达的AI科学家Ethan He（何宜晖）表明, 于专家系统的处理层面, Grok和另一个知名的开源MoE模型Mixtral不一样, 除了Gao之外。

Grok针对全部的8个专家, 都运用了softmax函数, 之后从中挑选出top2专家，然而Mixtral却是提前选定专家, 而后再应用softmax函数。

至于是不是存在着更多方面的细节, 也许就要看官方是不是会去发布后续的进一步的消息了。

此外, 需要着重指出的是, Grok - 1所采用的是Apache 2.0许可协议, 这也就意味着, 对于商业用途而言是十分友好的 句号。

为怼OpenAI怒而Open

大家伙都清楚这事儿, 由于, 马斯克鉴于OpenAI并非处于开放状态, 所以, 已然朝着旧金山高等法院提起了那种诉讼行为, 确切地将OpenAI给告上了法庭。

当时, 马斯克亲自弄的Grok, 未曾开源, 且仅仅是朝着付费用户予以开放, 必然因而遭受质疑双标。

大概是为了堵上这个bug，马斯克在上周宣布：

本周，xAI将开源Grok。

虽说在时间点方面, 好像呈现出的又是那马斯克素来就有的迟到样式, 然而xAI目前所展示的此番Open, 现如今看起来的确并非只是嘴上说说而已, 还是给网友们增添了不大不小的惊愕之感。

有xAI新晋员工感慨说：

这将是激动人心的一年开云正版app下载，快系好安全带吧。

有人已然开始期待, 将Grok视作一个开源模型, 并且能够进一步去搅动, 那大模型竞争的这一池子水。

不过，也并不是每个人都买马斯克的账：

虽说如此这般而言, 有着多线同时推进状况的马斯克, 于最近期间所发生的重要事情, 并不局限于仅有开源Grok这单独的一件事情。

于马斯克旗下, 身为多公司、多业务的时间管理大师, 特斯拉刚刚全线推出了端到端纯视觉的自动驾驶系统FSD V12, 所有北美车主用户, 皆可通过OTA进行更新升级, 能够实现所有道路场景的任意点到点AI驾驶。

SpaceX完成了第三次星舰发射, 此次发射最后结果是功败垂成, 然而却又堪称是史无前例地向前迈进了一大步。

推特则开源了推荐算法，然后迎来了一波自然流量新高峰。

人家都是“能上就上, 不能靠边悄悄” , 马斯克可不这样, 他不倾向于选择“只喊不干”, 而是边叫嚷着边付诸行动, 并且最终还全都成功达成了。

标签： 开源模型 Grok-1 大模型 参数量 马斯克