人工智能研究人员深入剖析了ChatGPT的内部机制，揭示了其基于神经网络和语境窗口的运作方式。

在佛罗里达大学，学者们对大型语言模型（LLM）进行了研究，重点关注了其处理信息的基本单位——“Token”，以及模型能够理解的上下文长度，即“语境窗口”。

研究人员指出，LLM的训练过程涉及对大量参数（权重）的优化，其目标是使其能够生成符合预期的文本。

在新的对话交互中，LLM会逐一处理输入的Token。

要支持如此复杂的计算，LLM的运行离不开强大的图形处理器（GPU）。

2017年提出的Transformer模型是当前生成式AI，包括ChatGPT在内的关键技术基石，其核心在于“注意力机制”，使得模型能够衡量不同Token的重要性。