ChatGPT基本原理
自2022年底ChatGPT一跃成为全世界备受欢迎的人工智能聊天机器人以来，时代的浪潮正在加速向我们袭来。本文旨在在这个AI技术日新月异的时代为读者提供基本的ChatGPT有关知识。
一、什么是人工智能？
人工智能（Artificial Intelligence, AI）这一概念最早于1956年的达特茅斯会议上被提出，这一会议由约翰·麦卡锡等人发起。一般来说，人工智能是指由人所制造的机器能够做到需要人类的智能才能做到的事。
例如在一个门禁系统中，如果依靠门禁卡识别用户身份，还用不到人工智能的魔力；但如果依靠人脸识别，那这就是计算机视觉的研究范畴了。
二、OpenAI 是谁？
OpenAI是一家美国的人工智能研究公司，成立于2015年12月。Sam Altman是其联合创始人兼首席执行官。OpenAI的目标是确保通用人工智能（Artificial General Intelligence, AGI）有益于全人类。
三、大型语言模型 LLM、思维链 Chain-of-Thoutht, CoT 与 涌现 Emergence
LLM（Large Language Model）是指大型语言模型，LLM通常采用Transformer架构，有由大量的参数组成的大规模神经网络，并能在自然语言处理（Natural Language Processing, NLP）等领域发挥显著的作用。
2022年1月28日，谷歌大脑的高级研究员Jason Wei在arXiv上发表了文章《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》，这一文章被认为是CoT的开山之作。在解决一个较为复杂的问题时，如果LLM把一个复杂的问题转化为若干个小问题，把思考分析过程表达出来，并添加到上文中参与下文的输出，那么LLM回答的准确率将会得到较大幅度的提升。这就是为什么在问题后追加一句Let's think step by step在一定条件下能够提高ChatGPT回答的准确率。
在这样诸如大模型这样一个复杂而混沌的系统中，会发生涌现现象。人工智能领域的涌现是指，随着模型参数量的增加，其某些能力（如分析推理等）或精度等突然发生了质的飞跃。这种飞跃往往只出现在大型模型中，而不会出现在小型模型中。
我们可以将神经网络看作一个黑箱。我们只知道给予它一个输入，能得到一个输出；我们可以训练它，却看不到在黑箱之内，神经元之间是如何传递信号的；换句话说，我们不知道人工智能是怎样“想”的。
四、Prompt 与 Token
Prompt是用户提供给LLM的指令，可以是一段话、一个问题、一段代码等，用于引导LLM来生成回答。同时，LLM生成的回答也将作为下一轮问答的prompt。Prompt这一概念同样在AI绘图这一领域有所使用，AI绘图领域的Prompt主要用于为用户希望生成的图片提供描述。
Token是LLM处理输入的基本单元，可以是一个单词、一个数字、一个标点符号等。Token有时被译为“令牌”、“标记”等，但私认为这些翻译是无法表达token的真正含义的。Tokenization是指把输入文本拆分成token的过程。
五、ChatGPT
2022年11月30日，OpenAI发布了ChatGPT，并迅速风靡全球。ChatGPT中的GPT是指Generative Pre-trained Transformer，即生成式的、预训练的、基于Transformer架构的模型。
Chat 表示ChatGPT相较于GPT-3.5专门做了对话上的优化。
Generative 表示ChatGPT是一个生成式人工智能，可以根据上文生成新的下文。
Pre-trained 表示预训练。GPT-3.5接受了了无监督学习（Unsupervised Learning）（即预训练），ChatGPT在此基础上接受了监督学习（Supervised Learning）（即微调（Fine-tuning））和人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）。
Transformer 表示Transformer架构。2017年，谷歌的一篇论文《Attention Is All You Need》提出了著名的Transformer架构，这种基于Self-Attention机制的架构相较于RNN、CNN等的优点在于：能够采用并行计算以提高计算效率；增强了处理长依赖的能力等。
与传统的“语音助手”如Siri、小爱同学等相比，ChatGPT的长对话能力、编程能力、翻译与写作能力、角色扮演能力（指猫娘）等都是其显著亮点。在多轮对话后，ChatGPT还记得你说过什么；ChatGPT还可以帮你分析、编写和修改代码，等等等等。这些都是传统的语音助手所无法做到的。
ChatGPT可以接受4096个token。
总体而言，ChatGPT是“力大砖飞”的成果，即45TB的预训练数据量与1750亿的参数（GPT-3数据）造就了迄今为止最强大的LLM（GPT-4之前）。
ChatGPT的局限性体现在：
ChatGPT是一个LLM，LLM是有可能生成语法或语义上准确，却没有实际意义或存在事实性错误的内容的，这一现象被称为“幻觉”（Hallucination）。例如，如果ChatGPT被要求询问“林黛玉倒拔垂杨柳”主要讲了什么，它会说：
"林黛玉倒拔垂杨柳"是《红楼梦》中的一个插曲，描写了林黛玉因思念贾宝玉而倒拔垂杨柳的情节。
据小说描述，贾宝玉曾送给林黛玉一株垂杨柳，并说：“倒拔垂杨柳，代表着不怕困难，不畏权贵，即使倒下，也会重新站起来。”林黛玉非常喜欢这个寓意，并对这株垂杨柳格外珍视。
后来，贾宝玉因一些原因被贬出京城，林黛玉非常思念他，无法入眠。于是，她便到垂杨柳下，倒拔柳枝，寓意着她不怕困难，不畏权贵，即使贾宝玉不在身边，她也要坚强地生活下去。这一幕也表达了林黛玉内心深处的柔弱和坚韧。
此外，ChatGPT的训练数据截止到2021年12月，它不知道这之后的世界上发生了什么。（搭配了搜索插件的ChatGPT除外。）
ChatGPT目前免费使用，没有对话次数的限制。
六、GPT-4
2023年3月14日，OpenAI发布GPT-4。相较于ChatGPT，GPT-4的主要特点在于：
1.GPT-4支持多模态。GPT-4支持图片作为输入并给出文本作为输出。
User
What is funny about this image? Describe it panel by panel.
GPT-4
The image shows a package for a "Lightning Cable" adapter with three panels.
Panel 1: A smartphone with a VGA connector (a large, blue, 15-pin connector typically used for computer monitors) plugged into its charging port.
Panel 2: The package for the "Lightning Cable" adapter with a picture of a VGA connector on it.
Panel 3: A close-up of the VGA connector with a small Lightning connector (used for charging iPhones and other Apple devices) at the end.
The humor in this image comes from the absurdity of plugging a large, outdated VGA connector into a small, modern smartphone charging port.
2.GPT-4在多项教育考试中取得了令人瞩目的成绩。GPT-4的模拟律师考试分数在应试者的前 10% 左右；相比之下，GPT-3.5 的得分在倒数 10% 左右。
3.此外，GPT-4还可以在一定范围内修改自己的说话风格，例如以苏格拉底风格解二元一次方程、以莎士比亚海盗风格提供纳税指导、以JSON风格编写响应输出等。
4.减小了“幻觉”现象出现的几率。
5.GPT-4可以接受8192或32767个token。
6.GPT-4的训练数据截止到2021年9月。
用户若想使用GPT-4，需要以20美元每月的价格订阅ChatGPT Plus，并受到每3小时25句话的限制；如果想使用GPT-4的API，则需要填写waitlist。
七、竞争
自从OpenAI搞出ChatGPT之后，各大互联网公司也都在做自己的大模型，比如谷歌的Bard，百度的文心一言，阿里的通义千问等。
八、总结
总而言之，ChatGPT将给人类社会带来何种冲击仍然有待观察。但是这并不妨碍人们对未来浮想联翩：一个受过教师培训的ChatGPT将给教育格局带来何种变化？一个受过训练的AI老师的一对一指导，是否比四五十人的班级上课更有效率？等等等等。
ChatGPT、Midjourney、Stable Diffusion等工具已经在翻译、绘画等领域引发了（规模未知的）失业问题。AI时代的人们需要保持对学习的热情，紧跟技术革新的步伐，努力掌握新技能，只有这样才能跟进时代的脚步。
受限于时间和能力，其实还有很多没说但值得说的东西，例如在ChatGPT之前OpenAI还取得过哪些成就，微软与New Bing，云云。
这篇文章中的很多概念其实我自己也是一知半解，甚至还要问ChatGPT、New Bing（乐）。写着写着，New Bing的限制突然从20句变回5句了，怎么会这样😭
欢迎您在评论区指出这篇文章中的错误，或是进一步补充说明。