鹿学堂回顾 | 复旦人的对话式大型语言模型：MOSS

学术交流部 复旦大学腾飞书院 2023-04-15 21:38 发表于上海

2023年4月6日，腾飞书院鹿学堂活动顺利举办

让春季樱花绽放纷飞的浪漫与科学相遇

老师精彩的演讲与同学们深入的思考

在这一刻激发思维碰撞的火花

更点燃了同学们对了解当下科技的热情

如果你遗憾错过了这次精彩的讲座

却又渴望更深入学习对话式语言模型

期待了解复旦大学发布的国内第一个

对话式大型语言模型MOSS

那么让我们一起回顾一下

这次充满“硬知识”的鹿学堂

进入属于对话式语言模型的浩瀚的星空

复旦大学腾飞书院第三届“鹿学堂”活动于2023年4月6日在H5102举办，在本次活动中我们邀请到“大牛”老师邱锡鹏教授为我们讲解对话式语言模型的技术路径分析和能力评测实现、MOSS的关键技术与未来展望。

讲座内容回顾

首先，邱教授告诉我们，世界上已有的大部分人工智能都属于弱人工智能，而MOSS等语言模型有望成为能处理多样复杂问题的强人工智能。当然，MOSS作为自然语言处理系统，面临着许多困难与挑战：自然语言语法不严谨、歧义多、指代不明等情况使人工智能难以准确辨别语段的实际含义。

为了尽可能准确识别文本的真正含义、更好地用于完成其他复杂要求，大型语言模型需要对一些文本可能的词语衔接概率进行统计，利用机器学习分析大量样本来寻找上下文的关联关系，将联合概率分解为条件概率，从而可以利用已知的上文预测下文，实现对给定文本的理解和指令的应答。邱教授向我们解释道，当模型的规模超过一定阈值时，它的能力会产生显著的提高，而隐藏在这背后有三个关键技术：情景学习、思维链与自然指令学习。

最后，邱教授讲解了有关MOSS的具体实现：想要完成这样的技术大致需要三个阶段——语言模型基座的建立、指令微调部分和能力强化。

问答环节

讲座结束后，同学们对与MOSS相关的问题进行了热情提问。其中包括：对人工智能安全性的担忧、国内企业与高校研发的特点、企业高校联合研发模式的优势、国内在数据方面遇到的数据算力缺乏问题以及国内研发情况和ChatGPT的差距。

邱教授对这些问题进行了详细的解答，给予了同学们很大的启发。

本次鹿学堂活动已经结束了，感谢同学们的积极参与，相信同学们对对话式语言模型有了更深入的了解，也希望同学永远走在学习之“鹿”上，能在未来对中国自主研发的对话式语言模型有所贡献。期待我们在下一次的鹿学堂中再会！

文案 | 张筱霖

排版 | 谭婷元

编辑 | 刘振宇

责任编辑 | 聂雨辰

审核 | 秦玉琪