上周，美国钢铁公司宣布将被日本的日本制钢公司收购。这一转折点让我们有机会回顾一下这家曾是美国乃至世界上最大、最重要的公司是如何逐渐走向衰落的。在收购消息公布之前，美国钢铁的市值大约为 80 亿美元，连进入《财富》杂志的 500 强都不够（排在大约第 690 位，比 Texas Roadhouse 连锁餐厅还要低）1。自成立以来，这家公司的市场份额和影响力一直在缓慢但稳定地下降。1901 年成立时，它不仅是世界上最大的公司，还生产了美国近三分之二的钢铁。而今天，它的钢铁产量只占美国的 12%，大约只有 1955 年的三分之一，而且雇员人数与在线宠物用品零售商 Chewy 相当。这家曾经的工业巨头是怎样一步步走向衰落的呢？让我们来探究一下。
December 30, 2023
View Article在谷歌，我们常被请求协助团队衡量各种开发者工具和流程对生产力的具体影响。这通常体现为一些团队开发了新的开发者工具，希望证明这些工具能够提升开发者的工作效率。
December 30, 2023
View Article彭博观点的技术专栏作者通过翻阅纸质书籍来更好地理解数字革命的深远影响。在这种情况下，最好是退一步，慢慢吸收信息，思考未来可能面临的情况。2024 年之际，我们的技术专栏作者想分享他们在过去一年里阅读或重读的书籍，这些书籍帮助他们构建思考框架。Dave Lee 是彭博在纽约的美国技术专栏作家，而 Parmy Olson 则从伦敦报道人工智能和科技行业。
December 30, 2023
View Article我使用了私有和公开的大语言模型来回答一个我在大约 30 年前花费了一个星期时间研究的本科论文问题。目的是探究在这些年里，使用这些工具是否会改变我的学习体验。结果发现，这次借助 AI 的体验在某些方面与以往大相径庭，而在其他方面则有所相似。
December 30, 2023
View Article到目前为止，AI 在科学领域最大的成就莫过于 AlphaFold 2 系统。这是一个深度学习系统，它在解决一个基础科学难题上取得了巨大进步：从蛋白质的氨基酸序列预测其三维结构。这一重大突破促进了分子生物学领域深度学习革命的持续进行。这不仅对分子生物学家来说意义重大，而且我认为它对整个科学领域都极具意义，因为它是一个具体的实例，展示了人工智能如何影响科学发现。在这个简短的报告中，我将探讨几个问题：如何验证这样的系统？它们能否帮助我们找到人类科学家可以学习的普遍原则？一个优秀的理论或解释应该包含哪些内容？本次讲座主要关注现有成果和近期发展，而非长远未来。然而，我希望它能帮助我们更好地理解未来的长期走向，以及 AI 系统所带来的好处和风险。
December 30, 2023
View Article随着生成式 AI 的兴起，开发者们对于自动化解决问题的热情愈发高涨。这种趋势很可能将代码的创建、维护和改进推向一个崭新的高度。
December 29, 2023
View Article如果你只是通过免费的网页或移动应用接触 OpenAI 的 ChatGPT，那你可能还未充分挖掘出 ChatGPT 的全部潜力。通过使用价格低廉的付费 ChatGPT API，你可以对输出结果进行更加深入的控制。例如，我想为这篇博客文章生成一个包含分类和 SEO 关键词等有用元数据的摘要。我将这篇博客的文本和一个指令输入给 ChatGPT：
December 29, 2023
View Article本文介绍了 26 个专为简化向大语言模型（Large Language Model）提问和设置提示的原则。我们旨在让研究者更容易理解如何针对不同规模的大语言模型提出问题，评估其能力，并了解这些模型在面对不同提示时的反应。我们在 LLaMA-1/2（容量分别为 7B、13B 和 70B）和 GPT-3.5/4 上进行了广泛实验，验证了这些原则在设计指令和提示时的实用性。我们希望这项研究能为那些致力于提高大语言模型响应质量的研究人员提供实用的指导。
December 29, 2023
View Article看到这个标题，你可能会想：“没错，Robb，网络[1] 自然是奇妙的，它毕竟是现代世界所有商业和通信活动的核心”。或许你并不这样认为。但我要说的不仅仅是整个互联网，而是指那些开放的网络。那些鼓励你使用它们的 API 去创造新奇事物的网络。那些拥有开放标准的网络。就像独立网络那样。
December 29, 2023
View Article让用户接受一款新产品总是充满挑战。对我们来说，经历了 7 次失败的尝试后，第 8 个版本的产品 - Jam（一个用于创建带有自动开发日志的 bug 报告的浏览器扩展）终于成功了！在 2023 年，Jam 的使用量增长了 10 倍，创建的 Jams 超过了 100 万个。今年我学到了很多关于如何打造成功产品的知识。归根结底，这依赖于团队、代码和用户反馈。
December 29, 2023
View Article代码为构建复杂程序和执行精确计算提供了一种通用的语法结构。当与代码解释器 (interpreter) 配合使用时，我们推测，语言模型 (LMs) 能够通过编写代码来增强“思维链条 (Chain of Thought)”式的推理。这不仅适用于逻辑和算术任务\[ 5 , 26 , 1 ]，也适用于语义任务，特别是逻辑与语义相结合的任务。例如，如果让一个语言模型编写一个检测文章中讽刺次数的代码，它可能难以编写一个可以被解释器执行的“detect\_sarcasm(string)”函数（处理边缘情况会非常困难）。然而，如果语言模型不仅编写代码，还能模拟解释器的行为，通过生成“detect\_sarcasm(string)”及其他无法执行的代码行的预期输出，它仍有可能找到有效的解决方案。在本研究中，我们提出了“代码链 (Chain of Code, CoC)”方法，这是一个简单但效果惊人的扩展，用于改进基于代码的语言模型推理。其核心思想是鼓励语言模型将程序中的语义子任务格式化为伪代码 (pseudocode)，使解释器能够明确地捕获未定义行为，并由语言模型（作为一个“LMulator”）模拟。实验显示，“代码链”在多个基准测试中都优于“思维链条 (Chain of Thought)”和其他基准线；在 BIG-Bench Hard 测试中，“代码链”达到了 84% 的成绩，比“思维链条”高出 12%。CoC 适用于大型和小型模型，扩展了语言模型通过“用代码思考”正确回答推理问题的范围。
December 29, 2023
View Article最近有人问我，对于刚入行的程序员有什么建议。一开始，我觉得这问题有点儿可笑。毕竟，我才工作十年，而我的一些订阅者编程的经历甚至比我这辈子还长！后来，我读了些“给新手程序员的建议”文章，发现他们漏掉了不少东西。因此，我整理了十三条给新手程序员的建议，虽然有些看起来似乎互相矛盾。
December 29, 2023
View Article“不要仅在单体架构和微服务架构之间选择，更重要的是根据团队能承受的最大认知负荷来设计软件。”如果你的组织只有一个团队，那么应考虑调整架构以适应团队的能力。优先选择单体、紧密联系、模块化的架构。如果你的组织有多个团队，可以考虑采用微服务或类似的架构，以便各团队能够独立工作。认知负荷并非都相同。不同类型的认知负荷会影响团队交付高质量成果的能力。组织应该尽力减少或消除内部和外部的认知负荷，确保团队主要面对与工作直接相关的认知负荷。单个团队与多团队架构的沟通边界差异很大。单个团队更适合通过代码库、文档、讨论和设计会议进行沟通。而多团队架构则更适合通过精心设计的 API（或库）来沟通，这些 API 可以简化他们各自领域的复杂性。
December 29, 2023
View Article今天，许多人预期另一场革命，这次是与生成式人工智能（AI）的发展相关联的。和过去一样，当今大众对这项技术既感到敬畏又感到恐惧。高盛银行预测，生成式 AI 可能在十年内使全球 GDP 增长 7%。一些经济学家如今谈论“爆炸性增长”，而其他人预言，不久后将有数以百万计的工作岗位消失。然而，拖拉机的经济历史让人对这些预测产生了疑问。纵观历史，拖拉机的确对人们的生活产生了巨大影响，但它是悄然无声地征服世界，而非一鸣惊人。
December 28, 2023
View Article当能源、智力和劳动成本极低时，会发生什么？
December 28, 2023
View Article近期研究将语言模型与外部工具或环境结合起来，发展出能够进行推理和行动的“语言智能体”。尽管如此，大多数这类智能体仍依赖少量样本的提示技巧和现成的大语言模型。在这篇文章中，我们研究并强调了一个被忽略的方向：通过微调大语言模型来创建更高效的语言智能体。通过结合谷歌搜索 API 的问答系统，我们测试了多种基础的大语言模型、提示方法、微调数据集和问答任务。结果表明，通过对这些模型进行微调，语言智能体的表现显著提升。例如，使用 GPT-4 生成的 500 个智能体操作轨迹来微调 Llama2-7B 模型，使其在 HotpotQA 任务上的表现提高了 77%。此外，我们提出了一个名为 FireAct 的新方法，通过使用来自多种任务和提示方式的操作轨迹来微调语言模型，实验表明这种多样化的微调数据可以进一步提升智能体的性能。我们的研究不仅展示了微调大语言模型在构建智能体时的广泛优势，还提供了一系列实验设计、见解和有关如何微调语言智能体的开放性问题。
December 28, 2023
View Article对软件开发者来说，学习是必不可少的。技术领域的变化不断：新技术层出不穷，老技术也在不停地更新。因此，开发者们不是仅仅学习编程一次就够了——在他们的职业生涯中，他们需要掌握许多新的编程语言和框架。
December 28, 2023
View Article免费开源替代品探索指南：寻找 GPT-4 Vision 的替代方案
December 27, 2023
View ArticleAider 现在让 GPT-4 Turbo 采用统一差异来编辑代码。这大幅提升了 GPT-4 Turbo 在全新且富有挑战性的基准测试中的表现，并显著减少了它在编程时倾向于写出像“...在此添加逻辑...”这类注释的惰性。
December 27, 2023
View Article数据瓶颈、泛化性能评估、灵长类进化、智能作为信息压缩、世界建模者及其他重要议题
December 27, 2023
View Article今年，我亲身见证了人工智能 (AI) 实时地改变着世界。从发生的一切来看，我坚信未来几年将是人类历史上最具变革性的时期。下面是 2023 年人工智能的重要时间线（1 月至 12 月）
December 27, 2023
View Article福布斯 2024 年 AI 领域的 10 大预测
December 27, 2023
View Article语言模型攻击通常基于两种极端的假设：一是完全掌握模型权重的“白盒”访问模式，另一是只能通过文本生成接口进行的“黑盒”访问。然而，现实中的 API 通常比单纯文本生成功能更加灵活，它们提供了介于两者之间的“灰盒”访问方式，这也带来了新的安全隐患。我们对 GPT-4 API 新增的三项功能——微调 (fine-tuning)、函数调用 (function calling) 和知识检索 (knowledge retrieval) 进行了安全性测试。结果显示，仅用最少 15 个有害示例或 100 个无害示例对模型进行微调，就足以破坏 GPT-4 的核心安全措施，导致一系列有害的输出。此外，我们还发现 GPT-4 AI 智能体能够轻松泄露函数调用的细节，并且可以被操纵执行任意函数调用。最后，我们注意到，通过向检索文档注入指令，可以干扰知识检索过程。这些漏洞表明，API 功能的任何增强都可能带来新的安全风险。
December 27, 2023
View Article从提示工程到提示架构
December 27, 2023
View Article从提示设计到智能体流程
December 27, 2023
View Article作为生成式 AI 软件的典型代表，ChatGPT 模仿人类的效果非常惊人。它象征着研究领域的一个可能的新纪元，但同时也伴随着风险。
December 27, 2023
View Article三周前，我们发布了 OpenGPTs——一种基于开源理念实现的 OpenAI GPTs 和 Assistant API。OpenGPTs 能够构建对话型 AI 智能体，这是一种既灵活又前瞻性的技术架构。在这些智能体中，记忆扮演着至关重要的角色。目前，无论是 GPTs、OpenGPTs 还是 Assistants API，它们都仅仅支持基础的对话记忆功能。而长期记忆则是一个尚未深入探索的领域。在本篇博客中，我们将简要探讨我们对记忆的看法，分析为何这一领域研究不足，然后展示我们如何在 OpenGPTs 中实现并应用特定记忆机制，打造出一位“龙与地下城”游戏的地牢主。
December 27, 2023
View Article本文全面研究了高级检索增强式生成技术 (RAG) 及其算法，系统地整理了各种方法。文章中还包含了我知识库中与提到的各种实现和研究相关的链接集。
December 26, 2023
View Article作为一名开源软件开发者，我经常思考如何改善软件。这是必然的：在 Stack Overflow、GitHub 的问题反馈和 Slack 提醒，以及电子邮件和直接信息中，有源源不断的求助。幸运的是，你也会看到有人成功并创造出令人惊叹的成果，这超出了你的想象。知道自己的帮助起到了作用，这成了我不断前行的强大动力。
December 26, 2023
View Article2023 年是 AI 领域的关键年份，我们在此聚焦今年对该行业未来发展具有重大影响的主要事件
December 26, 2023
View Article虽然你可能不认识我，但我和你一样，是那 0.01% 中的一员，一个自豪且坚定的资本家。我创建或参与创建了超过 30 家公司，涉及从小型夜总会到像 Amazon.com 这样的大型企业。我是 Amazon.com 的首位非家族投资者。此后，我创立了互联网广告公司 aQuantive，并于 2007 年以 64 亿美元现金卖给了 Microsoft。我和我的朋友们还拥有一家银行。我这么说，是想告诉你，在许多方面我和你并无二致。我和你一样，对商业和资本主义有着广阔的视野。同你一样，我也因为自己的成功而获得了超乎寻常的回报，过上了其他 99.99% 美国人难以想象的生活：拥有多处房产、私人飞机等等，你肯定明白。回到 1992 年，那时我还在为家族的 Pacific Coast Feather Co. 向全国各地的零售店销售枕头，互联网还只是一个连接时伴随着刺耳声响的新鲜事物。但我很快就意识到，许多我的大型百货客户已注定要失败。我知道，一旦互联网变得更快、更可靠——那一天并不遥远——人们肯定会热衷于在线购物。于是，Caldor、Filene’s、Borders 等等，一个个告别了时代舞台。
December 25, 2023
View Article“助手型”AI 智能体负责核查文献、阅读设备说明书，以及准备化学实验。
December 25, 2023
View Article尽管人工智能 (AI) 在工作场所逐渐取代以人为核心的优势，但这种优势是短暂的。要实现持久的竞争力，关键在于将 AI 强大的计算能力与人类的判断力相结合。Louis-David Benyayer 和 Howard Zhong 指出，企业必须整合人力与技术资源，创建既融合 AI 技术又结合人类技能的新岗位。这需要投资于技术、人才和朝向协作、多功能的文化转型。
December 25, 2023
View ArticleMistral AI 团队致力于为开发者社区提供顶尖的开源模型。在 AI 领域，要实现突破，不仅要超越现有的架构和训练方法，更重要的是让社区能够利用创新模型，激发新的发明和应用。
December 25, 2023
View ArticleMozilla 最新创新项目介绍：llamafile。这是一个开源项目，它巧妙地简化了构建完整的大语言模型聊天机器人的复杂过程，将其凝练为一个能在六种操作系统上运行的单一文件。接下来的内容，我们将分享我们为何开发 llamafile，我们是如何做到的，以及我们期望它对开源人工智能 (AI) 产生的影响。
December 25, 2023
View Article在语言模型的发展中，我们见证了规模的强大力量。Radford 等人在最初的 GPT 论文 中指出，模型在训练过程的某个时刻突然“习得”了对句子 X 进行情感分析的能力，能预测它更可能是“非常消极”或“非常积极”的后续内容。随着模型的训练，其零样本 (zero-shot) 性能出现了显著的“飞跃”。当然，如 Radford 等人所述，这需要一个“成本高昂的预训练步骤——在 8 个 GPU 上训练 1 个月”。😊
December 25, 2023
View ArticleGPT-4 视觉版（GPT-4V）赋予用户指令 GPT-4 分析用户提供的图像的能力，是我们最新推出的功能。将图像等附加模态纳入大语言模型（LLMs）被视为人工智能研究与开发的一个关键领域。多模态大语言模型能扩展传统语言系统的影响力，通过创新的界面和功能，使其能解决新任务并为用户带来全新体验。
December 25, 2023
View Article基于 Transformer 技术的大语言模型（LLMs）在多个领域已取得显著进展，例如自然语言处理 1–5、生物学 6,7、化学 8–10 和计算机编程 11,12。本文展示了由 GPT-4 驱动的人工智能系统 Coscientist 的开发与能力。Coscientist 能自主设计、规划并执行复杂的实验，它整合了大语言模型并配备了包括互联网搜索、文档查询、代码执行以及实验自动化等工具。Coscientist 在六项不同的任务中展现了其加速研究的潜力，特别是在钯催化交叉偶联反应的优化方面取得了成功，显示了其在（半）自主实验设计和执行方面的先进能力。我们的研究表明，像 Coscientist 这样的人工智能系统在推动研究发展方面具有多功能性、高效性和可解释性。
December 25, 2023
View Article本文是一篇综合性的调研文章，涵盖了多种提升大语言模型运行速度的方法，从改善硬件利用效率到巧妙的解码技巧应有尽有。虽然这篇文章并非面面俱到，也不是每个话题的深度解析，毕竟我不是这些领域的全部专家。但我希望你能从中找到一些有用的信息，作为深入了解你感兴趣话题的起点。
December 24, 2023
View Article20 条创业经验分享。
December 24, 2023
View Article一位罗马尼亚的独立开发者分享的经验。
December 24, 2023
View Article在沟通中，我发现最有效的策略之一就是用自己的话重述对方刚刚解释的内容。
December 24, 2023
View Article关于 GPT4、Claude 等模型，有很多相关讨论，它们非常出色，我也经常使用，但在某些情况下可能不是最佳选择。比如，在制作游戏时，如果你希望游戏中的 NPC 能够与玩家进行动态对话，通过服务器来回传递信息可能会有显著的延迟，这不仅降低游戏体验，还可能因为依赖于 OpenAI 或其他公司的服务器而带来风险（比如服务器故障导致游戏无法进行）。此外，这些模型的使用成本可能会随着玩家数量的增加而变得高昂，对于成本较低或玩家游玩次数过多的游戏来说，这并不经济。为了节约成本，你可能会尽量减少游戏中基于大语言模型的内容，因为你需要为每个 Token 支付费用，很快费用就上去了。
December 24, 2023
View Article本文是一篇综合性的调研文章，涵盖了多种提升大语言模型运行速度的方法，从改善硬件利用效率到巧妙的解码技巧应有尽有。虽然这篇文章并非面面俱到，也不是每个话题的深度解析，毕竟我不是这些领域的全部专家。但我希望你能从中找到一些有用的信息，作为深入了解你感兴趣话题的起点。
December 23, 2023
View Article长期以来，微服务被认为是云原生服务的应用架构标准。但现在，云计算巨头如 Amazon 和 Google 开始重新思考并改造微服务的架构。
December 23, 2023
View Article一家陷入困境的公司聘请了一位新 CEO。在即将离职的 CEO 私下与他见面时，递给他三个编号的信封，并告诉他：“如果遇到大麻烦，就翻开这些信封。”
December 22, 2023
View Article成为一名工程领导者，你不可避免地会面临一个挑战：必须提供关于团队健康、生产力和产出的度量指标。在初创公司里，这通常是 CEO 提出的要求——“我们需要一个清晰的进展衡量方式”。这个要求看似合理，毕竟工程部门也应该像销售团队一样被问责。
December 22, 2023
View ArticleMidjourney 的创始人 David Holz 提出了一种新的提示方法。V6 对提示的敏感度大大提高。建议避免使用“获奖、超现实、4k、8k”等表述，而应确保请求明确。如果你希望得到更直接、更中立且更现实的输出结果，最好将 --style raw 设置为默认。（原文中直言不讳地将 4k、8k 等描述称为“无用”提示。"V6 对你的提示非常敏感。避免使用‘无用’的表述，如‘获奖、超现实、4k、8k’"）
December 22, 2023
View Article大语言模型 (LLMs) 的最新进展催生了一类能够执行复杂任务的智能代理。本文提出了一种基于大语言模型的多模态代理框架，专为智能手机应用而设计。我们的框架允许智能体通过简化的动作范围，如点击和滑动，来操作智能手机应用，仿佛它是一个人类用户。这种创新方法免除了访问系统后端的需要，使其能够适用于多种不同的应用。我们的智能体采用了一种创新的学习方法：它可以通过自我探索或观察人类的操作来学习如何导航和使用新的应用程序。通过这个过程，它建立了一个知识库，用于在不同应用中执行复杂任务。为了证明我们智能体的实用性，我们在 10 个不同的应用中进行了 50 项任务的测试，涵盖了社交媒体、电子邮件、地图、购物和高级图像编辑等领域。测试结果证明了我们的智能体在处理多种高级任务方面的高效能。
December 22, 2023
View Article在这篇综述中，我们关注的是面向大语言模型（Large Language Model）的检索增强生成技术。这项技术通过结合检索机制，增强了大语言模型在处理复杂查询和生成更准确信息方面的能力。我们从同济大学和复旦大学的相关研究团队出发，综合分析了该领域的最新进展和未来趋势。
December 22, 2023
View Article