Ruixiang Li

L1:自然语言生成与语言模型基础

1.1概述

弱人工智能、强人工智能

1.2自然语言生成基础

自然语言处理=自然语言理解+自然语言生成

专家系统->统计方法->深度学习->大型语言模型

自然语言生成:根据给定的输入,自动生成可读性好、内容可靠的自然语言语句和篇章

难点:搜索空间大,$O(W^L)$,L文本长度,W词表大小;质量评价困难,无法自动评估

sakana.ai、NotebookLM(做PPT不赖)

经典文本生成内容:

文本生成经典方法:

1.3语言模型基础