MLOops

January 19, 2023

第一期：从工程师的角度聊聊 ChatGPT 与大模型，通用 AI 的第一个里程碑？恐怕不是

<p>其实自 2021 年初以来，关于大规模语言模型的研究就已经如火如荼。最近 ChatGPT 通过全新的人机交互方式，再一次震撼了我们。</p> <p>当然问题也随之而来，微信有没有可能借助其广阔的中文对话数据集训练出更好的中文大模型？ChatGPT 的未来会如何？沿着 Transformer 结构的演进，我们是否能够迎来真正的通用人工智能（AGI）？</p> <p>为了更加深入地了解这些问题，我们分别在工业界和学术界邀请了一位嘉宾，一起讨论大模型的现状及未来。</p> <p><strong>本期嘉宾：方佳瑞，孙天祥，高策（主播）</strong></p> <p>方佳瑞：HPCAITech（潞晨科技）Cofounder &amp; CTO ，专注于大模型的训练和推理框架 <a href="https://github.com/feifeibear">GitHub 个人主页</a></p> <p>孙天祥：复旦大学自然语言处理实验室博士研究生 <a href="https://txsun1997.github.io/">个人主页</a></p> <p>高策：TensorChord Cofounder &amp; CEO <a href="http://gaocegege.com/Blog/">博客</a>, <a href="https://github.com/gaocegege">GitHub 个人主页</a></p> <p><strong>我们聊了什么</strong></p> <p><code>01:29</code> 主播跟嘉宾的自我介绍</p> <p><code>03:41</code> 嘉宾最近几个月在做的工作</p> <p><code><strong>06:52</strong></code><strong> 方佳瑞博士在之前微信 AI 工作时对于大模型的思考，微信有没有做大模型的打算？</strong></p> <p><code>10:57</code> 孙天祥博士对于大模型的历史和未来的独到看法</p> <p><code><strong>15:44</strong></code><strong> 过去 AI 进展是从 CV 领域开始蔓延到其他领域，而大模型为什么首先出现在 NLP 领域？</strong></p> <p><code>20:57</code> Diffusion 在 CV 领域会不会被其他结构取代？</p> <p><code>23:48</code> OpenAI 是否会垄断大规模语言模型？</p> <p><code><strong>27:29</strong></code><strong> 大模型时代的 AI 研究还会以开源的形式进行么？</strong></p> <p><code>31:05</code> 训练大模型的技术会不会成为一种屠龙技，只能大公司才需要？</p> <p><code>33:05</code> 大模型会不会让 NLP 工程师失业？大模型对 NLP 行业的影响</p> <p><code>36:08</code> 国产大模型有没有必要，谁来做？</p> <p><code>38:12</code> Transformer 结构有可能进化出通用 AI 么？</p> <p>⚠️：以下是非常技术向的问题</p> <p><code>42:41</code> 有哪些 NLP 的领域是目前大模型还不擅长的？</p> <p><code>43:24</code> 基于过去知识（数据）训练的大模型如何能在未来一段时间继续适用？大模型的更新与维护</p> <p><code>46:28</code> 目前的大模型训练和传统数据并行的分布式训练之间有什么显著的差异？</p> <p><code>49:20</code> 从技术角度 Ray 能给大模型训练带来什么好处或优势？</p> <p><code>51:35</code> 训练框架的未来发展方向</p> <p><code>53:54</code> 如何评估大模型的效果</p> <p><code>56:43</code> Chain of thought 与 fine-tune 的辩证关系</p> <p><strong>我们讨论中提到的论文/开源项目（基本按照时间顺序）：</strong></p> <ul> <li><a href="https://github.com/tensorchord/envd">tensorchord/envd</a></li> <li><a href="https://github.com/microsoft/DeepSpeed">microsoft/DeepSpeed</a></li> <li><a href="https://github.com/hpcaitech/ColossalAI">hpcaitech/ColossalAI</a></li> <li><a href="https://arxiv.org/abs/2108.07258">Percy Liang、李飞飞等发布200多页综述，阐述大模型机遇与风险的论文</a></li> <li><a href="https://arxiv.org/abs/1706.03762">2017 年谷歌大脑发表的 Transformer 论文</a></li> <li><a href="https://arxiv.org/abs/2201.11903">Chain of Thought 论文</a></li> </ul> <p>本期文字记录（Transript）： <a href="https://tensorchord.feishu.cn/docx/PK0zd58qaoI9DZxEjOGchxAynie">飞书文档</a></p> <p>如果您也对大模型感兴趣，欢迎通过微信公众号 TensorChord 或邮箱 mloops@tensorchord.ai 与我们联系！</p>