Why·Liam·Blog

• 只有在允许深度注意力的环境中，才能产生文化。这种深度注意力，却逐渐边缘化，让位于另一种注意力，「超注意力」。这种涣散的注意力体现为不断地在多个任务、信息来源、工作程序之间转换焦点。
• 我们比 AI 强的地方，就是我们比 AI 愚蠢、狭隘、傲慢、有缺陷，并对事物抱有偏见。
• 通过让渡决定权，来让自己处于弱势状态，一旦出现问题，可以有人埋怨，避免自己去承担主要责任

在许多 Prompt Engineering 的框架中都有记载（比如 CRISPE），让 ChatGPT 更好工作的核心方法之一，是告诉它需要扮演一个什么样的角色：

ChatGPT 背后的模型是 GPT-3.5-turbo，去年 OpenAI 发表了一篇《Training language models to follow instructions with human feedback》的论文，介绍了 GPT 3.0 到 GPT-3.5 模型的演进过程。

使用标注者编写的提示，然后使用监督学习来微调 GPT-3，之后再通过人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）进一步微调这个监督模型。在评估后，13 亿参数的 InstructGPT 模型的输出优于 1750 亿参数的 GPT-3。此外，InstructGPT 模型在信息真实性上有所提高，在生成有害输出方面有所减少，同时具备内容泛化的能力。[^1]

在第一阶段人工主要标注了以下数据集：

• SFT 数据集： 13,000 条数据。标注人员直接根据 prompt 集中的问题，写出对应答案。
• RM 数据集： 33,000 条数据。该数据集通过将 prompt 集中的问题再次喂给经过第一阶段微调后的 GPT 模型，数据标注人员针对 GPT 的不同回答作出排序。

• 科技的发展是赋能人类更强大的工具，但每个个体的能力并不一定随之变得更强，某些能力可能完全依托科技。虽可以提高知识生产力，但经由科技赋能释放出来的脑力是否创造价值取决于个体的选择。科技的赋能可能改变大脑资源分配和结构，但其影响因素对每个人不一定相同，也存在剥夺某些能力的风险。科技选择人的趋势下，科技的应用也可能存在选择和歧视的现象。
• 人们常常将手段当作目的，忽视本质问题，导致问题的产生。像 XY 问题一样，团队或个人可能陷入对手段的过度追求而忘记了解决本质问题。这种现象可能有多种原因，例如对技术的偏爱、对用户需求缺乏了解、业务规划的偏差、追求 KPI、追求用户量等。此外，团队的领导也可能搞信息不对称，只告诉团队要做什么，而不告诉为什么要这样做，导致时间和经历的浪费。
• 幸福的三个指标：自由支配个人时间的量、自由支配个人时间过程的质、自由支配个人时间结果的质。这三个指标围绕着一个点，即时间。缺乏自由支配时间会使人不幸福。幸福的定义是个人生活有意义。该定义可以拆成三个指标：使用权利、使用效率、使用结果。

ChatGPT 等工具会提高人的工作效率和产出。但它会让人类使用者自身变得更「聪明」，还是「更笨」？更「强」，还是更「弱」？

• AI 将会进一步将难以规模化的要素变成可以集中提供的、边际成本极低的数字能力，而数据成为最重要的资源，因为 AI 发展将一步步替代工作中的智慧部分，即一些简单的模式识别和创造任务。
• 面对生成式人工智能 ChatGPT 的挑战，传统教育需要进行重大调整，包括培养能独立思考和正确价值判断的人、协同改进教育方式以及超越知识学习更加关注学习品质等方面。如果不改变传统教育方式，教育将无法维持下去。
• 费曼学习法指出通过讨论、实践和为他人讲解才是有效的学习方式，其核心包括选择学习目标、以小学生为对象讲述、找到难点并重新学习、简化知识点并用通俗语言表述，同时推荐了一些书籍，以及谈论了荒谬世界的主题。

我们对一件事儿了解越少的时候，信心反而越高涨（无知者无畏）。

• 在 AI 领域，不断学习是必须的。即使我们被为菜鸟，也必须接受新技能和知识，以适应新的环境。虽然在这个过程中可能会遇到更多挫折和失败，但我们也可以从失败中汲取经验，变得更加谦虚和适应，并最终获得成功。
• 头脑风暴想法和解决方案虽然受欢迎，但研究表明集体头脑风暴是浪费时间，转而进行头脑风暴问题可以加强协作、降低风险并让您走上成为学习型组织的道路。
• 双边市场具有两组客户通过一个平台产生互动，其中一组客户的决策和行为会影响平台带给另外一组客户的价值的特征。在双边市场的结构中，哪一边对另外一边的外部性更强、平台是收取固定费用还是从交易中抽成、Single-homing or Multi-homing 是最重要的因素。

在这个话题上，最好、最可信的劝诫来自「黑客与画家」Paul Graham。2020 年，他写了一篇文章，Being a Noob：

这个月的主旋律围绕着 ChatGPT 展开，仿佛 WEB 2，WEB 3 都已经是过去式了，人们仿佛找到了新的金矿。

在投资上还是围绕 GPT 展开，但是我低谷了 ChatGPT 的先进性，以为这个是可以短期内弯道超车的，选择了非 ChatGpt 的一线企业，从而没有获得丰厚回报。

从目前的来看，GPT 还没有挖掘出应有场景，有点和 WEB3 类似。WEB 3 之后的行径路线，更多的偏向故事，但目前来看也没有气候级别的产品。不知道 GPT 是否可以扩越这个时代。

其实，这个阶段大家都很焦虑。有的人怕会被 AI 替代，所以他们挖掘的不可替代性；有的人担心没有吃到这一波红利，他们探索产品化的应用。

• OpenAI CEO Sam Altman 在与 Lex Fridman 的对谈中表示，AI 系统是人类集体努力的结果，其成果应该由所有人共享。未来需要重点解决消除贫困等问题，并给用户控制权，让用户能从全局层面给 AI 下指令，同时 OpenAI 作为非营利组织更能抵抗市场压力并承担对发布工具的责任。
• 我们面临的信息过载和时间管理问题并非暂时的，而是构建充实而富有成效人生时普遍存在的错误。尽管技术可以帮助我们更好地管理时间和设置优先级，但最终解决这个问题的唯一方法是接受我们无法做到所有事情，并决定什么是最重要的，然后去做。
• 抖音电商直播账号多采用数量对抗算法，视频同质化，内容也往往功利且不够吸引人，头部账号则更注重人设和 IP；除此之外，账号们也可以通过培养人设或实行付费策略来脱离以数量取胜的困境。

3 月 20 日，OpenAI CEO Sam Altman 和科技主播 Lex Fridman 进行 对谈，主要讨论 GPT-4、通用人工智能（AGI）、OpenAI 公司、AI 带来的潜在问题，以及 AI 的未来。

ChatGPT 3.5 只引入了对话能力，但是立马就引爆了整个非技术圈。最显而易见，无论是天猫精灵、小爱同学还是 Alexa，相较于 ChatGPT 都像是上个时代产物。人们在面对 AIGC 时，除了对技术变革的惊讶，还有就是对于被替代的惶恐，以及对于未来风口的追赶。

我对这 6 年前的技术感到十分的好奇，所以想看一下 AIGC 中 GPT 的算法模型是如何工作的。

首先需要了解的是神经网络（Artificial Neural Networks），这是一种计算机程序或算法，其设计灵感源自于生物神经系统的工作原理。它由大量 相互连接的节点（也称为神经元）组成，这些节点模拟人脑中的神经元之间的联系。

• ChatGPT 实现了生成式人工智能，拥有数字内容孪生、数字编辑、数字创作三项能力，对教育产生了挑战，需要重大调整，包括培养能独立思考和有正确价值判断能力的人、用 ChatGPT 等学习工具来协同改进教育教学方式、超越知识学习，更加关注学习的品质。
• 增加功能是增加收益的最有效方法，如果认为简化意味着缺少功能，那么这是一种错误的归因，因为产品的成功并不是因为缺少功能。
• 「开火与动」原则 —— 每天都要向前走一小步，继续发力以挤压竞争。对于小公司来说，时间是你的朋友，逐步进展是最终成功的关键。

与以往的分析式人工智能（利用机器学习急速学习数据分布，实现分类、预测等任务）相比，ChatGPT 实现了生成式人工智能，在学习归纳数据分布的基础上同时学习数据产生的模式，用自编码器创造数据中不存在的新样本。 这有点像我们婴幼儿期，对看见听见触摸到的世界进行观察，并在人的大脑中生成连接，父母亲对其理解进行引导和纠正。

• ChatGPT 的背景故事，包括它的创造过程、OpenAI 对其的更新、以及它的训练方式和应用场景。
• 三个公式：1. 灰度思维，开放态度看待世界的可能性；2. 建立立体的人生系统，不只有单一目标；3. 相信自己有实现人生系统的能力，身体是改变身边世界的关键。
• Life Audit 是一种自我反省的练习，通过清除杂乱的、外部的目标和当前的干扰，重新审视或揭示真正的主题和核心价值。

为了了解这款聊天机器人背后的故事——它是如何被创造的，OpenAI 自发布以来是如何更新的，以及它的创造者对其成功有什么看法——我采访了四位帮助开发这款有史以来最受欢迎的互联网应用程序之一的人。除了阿加瓦尔和费杜斯，我还采访了 OpenAI 的联合创始人约翰·舒尔曼（John Schulman）和 OpenAI 校正团队的负责人简·莱克（Jan Leike），该团队致力于让人工智能做用户想让它做的事情（仅此而已）。