华为大模型确实挺早的

[e23nome]

2021 年 4 月，盘古大模型正式对外发布。其中，盘古 NLP 大模型作为业界首个千亿参数的中文预训练大模型，在 CLUE 打榜中实现了业界领先。

为了训练 NLP 大模型，团队在训练过程中使用了 40TB 的文本数据，包含了大量的通用知识与行业经验。

https://www.huawei.com/cn/huaweitech/publication/90/huawei-cloud-pangu-model-releases-ai-productivity

2022 年 01 月的文章




中国 AI 研究新突破，鹏城实验室发布首个全开源两千亿参数中文预训练语言模型——“盘古α”
时间：2021-04-27 点击：7373

2021 年 4 月 26 日，在深圳召开的 HDC 全球开发者大会上，鹏城实验室鹏城云脑技术总师、北京大学教授田永鸿发布了业界首个全开源 2000 亿参数中文预训练语言模型“盘古α”。这是国产全栈式 AI 基础设施支持 2000 亿级超大规模语言模型训练的第 1 次，探索并验证了国产 E 级智算平台在软硬件协同优化、大规模分布式并行训练等核心关键技术的可行性。

https://www.pcl.ac.cn/html/943/2021-04-27/content-3779.html

简单调研了一下，早期（ GPT3 和 3.5 之间）用中文语料训练的基座大模型有如下图。其中 100B 以上的大模型有 PanGu-α、Yuan 1.0 、ERNIE 3.0/Titan 、CPM-2 、WuDao 2.0 、GLM-130B ，按 arxiv 的时间也就是 PanGu-α最早。

从这个表也就看出来，当时华为、清华智源智谱、阿里、百度和浪潮都是国内比较早训练大模型的机构。

[jayhuang0044]

先有华为后有天

[gefangshuai]

没意义，你又怎么知道别的公司在这之前没有搞大模型呢？ openai 也不是 1 年就搞出来的

[v1]

那我今天发文章说未来某天你一定死亡，你要是那天真死了，我是不是预言家？

[cwcc]

哪怕它接地气一点，起个“花包”的名字，让所有人都下载 app 用一下，真实风评都会比现在好。

[darksword21]

只会让大家越来越反华为

[darksword21]

@darksword21 烦

[kera0a]

确实算早的，主要是大嘴说的好像是华为发明的大模型让人觉得在吹牛逼，看那个帖子说原话是“全世界不知道大模型为何物”

但至少 OpenAI 要比较早，2020-06 GPT-3 发布（ 1750 亿参数）

[june4]

确实是赶了个大早，但事没做成说什么都没用

[lianyue]

哦
https://cloud.tencent.com/developer/news/744647

从 2017 年优图实验室开源 ncnn 至今，腾讯优图逐步拥抱开源。

腾讯优图拥抱开源历程
腾讯优图实验室成立于 2012 年，是腾讯公司旗下顶级人工智能实验室，发展至今已有 8 个年头，从最开始专心精进视觉 AI ，到确定“基础研究 + 产业落地”双轨前进路线，再到积极拥抱开源开放。腾讯优图一直都聚焦计算机视觉，在人脸识别、图像识别、OCR 等领域开展技术研发和落地。

在算法研究方面，腾讯优图的研究成果多次在人工智能国际权威竞赛中创造世界纪录，到现在拥有 800 余项 AI 相关专利。在学术研究方面，优图公开发表的论文涵盖 ICCV ，ECCV 、CVPR ，AAAI 等各类顶级会议，仅 2020 年即被国际 CV 顶级会议 CVPR 接收了 17 篇论文。

[e23nome]

@lianyue

2021 年 4 月 26 日，全开源 2000 亿参数中文预训练语言模型“盘古α”

腾讯的呢？

[e23nome]

@v1 你看仔细一点。不要血口乱喷。

[e23nome]

@darksword21 烦又怎么样呢。

世界是物质的，不以你的意识转移。

@kera0a 你看原视频就知道了，他那个含义是就是那个时候大模型还没出 nlp/ai 的圈子，出圈是 2022 年 11 月 30 日的 chatGPT ，对于世界上大部分人确实不知道大语言模型的含义。

2021 年 3 月很快他们就跟做了用中文语料训练的 2000 亿参数基座大模型。我觉得还是挺厉害的。虽然后面没做成，余承东的意思是后面他临时被拉来管理华为云，后来很快他去管理车业务了，华为云不归他管了。

[darksword21]

@e23nome #12 是啊，我就是单纯的发表一下我的想法觉得和华为沾边的事情和人都挺傻逼的，我没说让世界以我的意志转移，别给我扣帽子

[Seanfuck]

前几天在 X 上看到个帖子说，幸好他家上不了 LLM 的桌，才让国内大模型繁荣发展。
看来不管内外都知道行业百草枯这个梗。

[lucays]

结果不行就是不行，抄千问已经够耻辱了
百度做什么不是起了个大早赶了个晚集，百度要是也这么出来喊冤你会觉得百度没问题？

[labubu]

是呀，毕竟先有华为后有天

[NotLongNil]

这个只能证明他是全中国第一，但是他说自己是世界第一，你又怎么解释呢？

[Auston]

在哪里可以体验盘古大模型，期待

[ZenOfAI]

- LLM 的基石是 Transformer, 2017 年 Google 提出了 Transformer 架构-
- OpenAI 于 2018 年 6 月 发布了 GPT-1, 参数量 1.17 亿
- Google 于 2018 年 10 月 发布了 BERT, 参数量 3.4 亿
- OpenAI 于 2020 年 5 月 发布 GPT-3, 参数量 1750 亿

相信华为的人，智力多少有点问题，感觉没有讨论的必要吧？