“不要仅在单体架构和微服务架构之间选择，更重要的是根据团队能承受的最大认知负荷来设计软件。”如果你的组织只有一个团队，那么应考虑调整架构以适应团队的能力。优先选择单体、紧密联系、模块化的架构。如果你的组织有多个团队，可以考虑采用微服务或类似的架构，以便各团队能够独立工作。认知负荷并非都相同。不同类型的认知负荷会影响团队交付高质量成果的能力。组织应该尽力减少或消除内部和外部的认知负荷，确保团队主要面对与工作直接相关的认知负荷。单个团队与多团队架构的沟通边界差异很大。单个团队更适合通过代码库、文档、讨论和设计会议进行沟通。而多团队架构则更适合通过精心设计的 API（或库）来沟通，这些 API 可以简化他们各自领域的复杂性。
December 29, 2023
View Article今天，许多人预期另一场革命，这次是与生成式人工智能（AI）的发展相关联的。和过去一样，当今大众对这项技术既感到敬畏又感到恐惧。高盛银行预测，生成式 AI 可能在十年内使全球 GDP 增长 7%。一些经济学家如今谈论“爆炸性增长”，而其他人预言，不久后将有数以百万计的工作岗位消失。然而，拖拉机的经济历史让人对这些预测产生了疑问。纵观历史，拖拉机的确对人们的生活产生了巨大影响，但它是悄然无声地征服世界，而非一鸣惊人。
December 28, 2023
View Article当能源、智力和劳动成本极低时，会发生什么？
December 28, 2023
View Article近期研究将语言模型与外部工具或环境结合起来，发展出能够进行推理和行动的“语言智能体”。尽管如此，大多数这类智能体仍依赖少量样本的提示技巧和现成的大语言模型。在这篇文章中，我们研究并强调了一个被忽略的方向：通过微调大语言模型来创建更高效的语言智能体。通过结合谷歌搜索 API 的问答系统，我们测试了多种基础的大语言模型、提示方法、微调数据集和问答任务。结果表明，通过对这些模型进行微调，语言智能体的表现显著提升。例如，使用 GPT-4 生成的 500 个智能体操作轨迹来微调 Llama2-7B 模型，使其在 HotpotQA 任务上的表现提高了 77%。此外，我们提出了一个名为 FireAct 的新方法，通过使用来自多种任务和提示方式的操作轨迹来微调语言模型，实验表明这种多样化的微调数据可以进一步提升智能体的性能。我们的研究不仅展示了微调大语言模型在构建智能体时的广泛优势，还提供了一系列实验设计、见解和有关如何微调语言智能体的开放性问题。
December 28, 2023
View Article对软件开发者来说，学习是必不可少的。技术领域的变化不断：新技术层出不穷，老技术也在不停地更新。因此，开发者们不是仅仅学习编程一次就够了——在他们的职业生涯中，他们需要掌握许多新的编程语言和框架。
December 28, 2023
View Article免费开源替代品探索指南：寻找 GPT-4 Vision 的替代方案
December 27, 2023
View ArticleAider 现在让 GPT-4 Turbo 采用统一差异来编辑代码。这大幅提升了 GPT-4 Turbo 在全新且富有挑战性的基准测试中的表现，并显著减少了它在编程时倾向于写出像“...在此添加逻辑...”这类注释的惰性。
December 27, 2023
View Article数据瓶颈、泛化性能评估、灵长类进化、智能作为信息压缩、世界建模者及其他重要议题
December 27, 2023
View Article今年，我亲身见证了人工智能 (AI) 实时地改变着世界。从发生的一切来看，我坚信未来几年将是人类历史上最具变革性的时期。下面是 2023 年人工智能的重要时间线（1 月至 12 月）
December 27, 2023
View Article福布斯 2024 年 AI 领域的 10 大预测
December 27, 2023
View Article语言模型攻击通常基于两种极端的假设：一是完全掌握模型权重的“白盒”访问模式，另一是只能通过文本生成接口进行的“黑盒”访问。然而，现实中的 API 通常比单纯文本生成功能更加灵活，它们提供了介于两者之间的“灰盒”访问方式，这也带来了新的安全隐患。我们对 GPT-4 API 新增的三项功能——微调 (fine-tuning)、函数调用 (function calling) 和知识检索 (knowledge retrieval) 进行了安全性测试。结果显示，仅用最少 15 个有害示例或 100 个无害示例对模型进行微调，就足以破坏 GPT-4 的核心安全措施，导致一系列有害的输出。此外，我们还发现 GPT-4 AI 智能体能够轻松泄露函数调用的细节，并且可以被操纵执行任意函数调用。最后，我们注意到，通过向检索文档注入指令，可以干扰知识检索过程。这些漏洞表明，API 功能的任何增强都可能带来新的安全风险。
December 27, 2023
View Article从提示工程到提示架构
December 27, 2023
View Article从提示设计到智能体流程
December 27, 2023
View Article作为生成式 AI 软件的典型代表，ChatGPT 模仿人类的效果非常惊人。它象征着研究领域的一个可能的新纪元，但同时也伴随着风险。
December 27, 2023
View Article三周前，我们发布了 OpenGPTs——一种基于开源理念实现的 OpenAI GPTs 和 Assistant API。OpenGPTs 能够构建对话型 AI 智能体，这是一种既灵活又前瞻性的技术架构。在这些智能体中，记忆扮演着至关重要的角色。目前，无论是 GPTs、OpenGPTs 还是 Assistants API，它们都仅仅支持基础的对话记忆功能。而长期记忆则是一个尚未深入探索的领域。在本篇博客中，我们将简要探讨我们对记忆的看法，分析为何这一领域研究不足，然后展示我们如何在 OpenGPTs 中实现并应用特定记忆机制，打造出一位“龙与地下城”游戏的地牢主。
December 27, 2023
View Article本文全面研究了高级检索增强式生成技术 (RAG) 及其算法，系统地整理了各种方法。文章中还包含了我知识库中与提到的各种实现和研究相关的链接集。
December 26, 2023
View Article作为一名开源软件开发者，我经常思考如何改善软件。这是必然的：在 Stack Overflow、GitHub 的问题反馈和 Slack 提醒，以及电子邮件和直接信息中，有源源不断的求助。幸运的是，你也会看到有人成功并创造出令人惊叹的成果，这超出了你的想象。知道自己的帮助起到了作用，这成了我不断前行的强大动力。
December 26, 2023
View Article2023 年是 AI 领域的关键年份，我们在此聚焦今年对该行业未来发展具有重大影响的主要事件
December 26, 2023
View Article虽然你可能不认识我，但我和你一样，是那 0.01% 中的一员，一个自豪且坚定的资本家。我创建或参与创建了超过 30 家公司，涉及从小型夜总会到像 Amazon.com 这样的大型企业。我是 Amazon.com 的首位非家族投资者。此后，我创立了互联网广告公司 aQuantive，并于 2007 年以 64 亿美元现金卖给了 Microsoft。我和我的朋友们还拥有一家银行。我这么说，是想告诉你，在许多方面我和你并无二致。我和你一样，对商业和资本主义有着广阔的视野。同你一样，我也因为自己的成功而获得了超乎寻常的回报，过上了其他 99.99% 美国人难以想象的生活：拥有多处房产、私人飞机等等，你肯定明白。回到 1992 年，那时我还在为家族的 Pacific Coast Feather Co. 向全国各地的零售店销售枕头，互联网还只是一个连接时伴随着刺耳声响的新鲜事物。但我很快就意识到，许多我的大型百货客户已注定要失败。我知道，一旦互联网变得更快、更可靠——那一天并不遥远——人们肯定会热衷于在线购物。于是，Caldor、Filene’s、Borders 等等，一个个告别了时代舞台。
December 25, 2023
View Article“助手型”AI 智能体负责核查文献、阅读设备说明书，以及准备化学实验。
December 25, 2023
View Article尽管人工智能 (AI) 在工作场所逐渐取代以人为核心的优势，但这种优势是短暂的。要实现持久的竞争力，关键在于将 AI 强大的计算能力与人类的判断力相结合。Louis-David Benyayer 和 Howard Zhong 指出，企业必须整合人力与技术资源，创建既融合 AI 技术又结合人类技能的新岗位。这需要投资于技术、人才和朝向协作、多功能的文化转型。
December 25, 2023
View ArticleMistral AI 团队致力于为开发者社区提供顶尖的开源模型。在 AI 领域，要实现突破，不仅要超越现有的架构和训练方法，更重要的是让社区能够利用创新模型，激发新的发明和应用。
December 25, 2023
View ArticleMozilla 最新创新项目介绍：llamafile。这是一个开源项目，它巧妙地简化了构建完整的大语言模型聊天机器人的复杂过程，将其凝练为一个能在六种操作系统上运行的单一文件。接下来的内容，我们将分享我们为何开发 llamafile，我们是如何做到的，以及我们期望它对开源人工智能 (AI) 产生的影响。
December 25, 2023
View Article在语言模型的发展中，我们见证了规模的强大力量。Radford 等人在最初的 GPT 论文 中指出，模型在训练过程的某个时刻突然“习得”了对句子 X 进行情感分析的能力，能预测它更可能是“非常消极”或“非常积极”的后续内容。随着模型的训练，其零样本 (zero-shot) 性能出现了显著的“飞跃”。当然，如 Radford 等人所述，这需要一个“成本高昂的预训练步骤——在 8 个 GPU 上训练 1 个月”。😊
December 25, 2023
View ArticleGPT-4 视觉版（GPT-4V）赋予用户指令 GPT-4 分析用户提供的图像的能力，是我们最新推出的功能。将图像等附加模态纳入大语言模型（LLMs）被视为人工智能研究与开发的一个关键领域。多模态大语言模型能扩展传统语言系统的影响力，通过创新的界面和功能，使其能解决新任务并为用户带来全新体验。
December 25, 2023
View Article基于 Transformer 技术的大语言模型（LLMs）在多个领域已取得显著进展，例如自然语言处理 1–5、生物学 6,7、化学 8–10 和计算机编程 11,12。本文展示了由 GPT-4 驱动的人工智能系统 Coscientist 的开发与能力。Coscientist 能自主设计、规划并执行复杂的实验，它整合了大语言模型并配备了包括互联网搜索、文档查询、代码执行以及实验自动化等工具。Coscientist 在六项不同的任务中展现了其加速研究的潜力，特别是在钯催化交叉偶联反应的优化方面取得了成功，显示了其在（半）自主实验设计和执行方面的先进能力。我们的研究表明，像 Coscientist 这样的人工智能系统在推动研究发展方面具有多功能性、高效性和可解释性。
December 25, 2023
View Article本文是一篇综合性的调研文章，涵盖了多种提升大语言模型运行速度的方法，从改善硬件利用效率到巧妙的解码技巧应有尽有。虽然这篇文章并非面面俱到，也不是每个话题的深度解析，毕竟我不是这些领域的全部专家。但我希望你能从中找到一些有用的信息，作为深入了解你感兴趣话题的起点。
December 24, 2023
View Article20 条创业经验分享。
December 24, 2023
View Article一位罗马尼亚的独立开发者分享的经验。
December 24, 2023
View Article在沟通中，我发现最有效的策略之一就是用自己的话重述对方刚刚解释的内容。
December 24, 2023
View Article关于 GPT4、Claude 等模型，有很多相关讨论，它们非常出色，我也经常使用，但在某些情况下可能不是最佳选择。比如，在制作游戏时，如果你希望游戏中的 NPC 能够与玩家进行动态对话，通过服务器来回传递信息可能会有显著的延迟，这不仅降低游戏体验，还可能因为依赖于 OpenAI 或其他公司的服务器而带来风险（比如服务器故障导致游戏无法进行）。此外，这些模型的使用成本可能会随着玩家数量的增加而变得高昂，对于成本较低或玩家游玩次数过多的游戏来说，这并不经济。为了节约成本，你可能会尽量减少游戏中基于大语言模型的内容，因为你需要为每个 Token 支付费用，很快费用就上去了。
December 24, 2023
View Article本文是一篇综合性的调研文章，涵盖了多种提升大语言模型运行速度的方法，从改善硬件利用效率到巧妙的解码技巧应有尽有。虽然这篇文章并非面面俱到，也不是每个话题的深度解析，毕竟我不是这些领域的全部专家。但我希望你能从中找到一些有用的信息，作为深入了解你感兴趣话题的起点。
December 23, 2023
View Article长期以来，微服务被认为是云原生服务的应用架构标准。但现在，云计算巨头如 Amazon 和 Google 开始重新思考并改造微服务的架构。
December 23, 2023
View Article一家陷入困境的公司聘请了一位新 CEO。在即将离职的 CEO 私下与他见面时，递给他三个编号的信封，并告诉他：“如果遇到大麻烦，就翻开这些信封。”
December 22, 2023
View Article成为一名工程领导者，你不可避免地会面临一个挑战：必须提供关于团队健康、生产力和产出的度量指标。在初创公司里，这通常是 CEO 提出的要求——“我们需要一个清晰的进展衡量方式”。这个要求看似合理，毕竟工程部门也应该像销售团队一样被问责。
December 22, 2023
View ArticleMidjourney 的创始人 David Holz 提出了一种新的提示方法。V6 对提示的敏感度大大提高。建议避免使用“获奖、超现实、4k、8k”等表述，而应确保请求明确。如果你希望得到更直接、更中立且更现实的输出结果，最好将 --style raw 设置为默认。（原文中直言不讳地将 4k、8k 等描述称为“无用”提示。"V6 对你的提示非常敏感。避免使用‘无用’的表述，如‘获奖、超现实、4k、8k’"）
December 22, 2023
View Article大语言模型 (LLMs) 的最新进展催生了一类能够执行复杂任务的智能代理。本文提出了一种基于大语言模型的多模态代理框架，专为智能手机应用而设计。我们的框架允许智能体通过简化的动作范围，如点击和滑动，来操作智能手机应用，仿佛它是一个人类用户。这种创新方法免除了访问系统后端的需要，使其能够适用于多种不同的应用。我们的智能体采用了一种创新的学习方法：它可以通过自我探索或观察人类的操作来学习如何导航和使用新的应用程序。通过这个过程，它建立了一个知识库，用于在不同应用中执行复杂任务。为了证明我们智能体的实用性，我们在 10 个不同的应用中进行了 50 项任务的测试，涵盖了社交媒体、电子邮件、地图、购物和高级图像编辑等领域。测试结果证明了我们的智能体在处理多种高级任务方面的高效能。
December 22, 2023
View Article在这篇综述中，我们关注的是面向大语言模型（Large Language Model）的检索增强生成技术。这项技术通过结合检索机制，增强了大语言模型在处理复杂查询和生成更准确信息方面的能力。我们从同济大学和复旦大学的相关研究团队出发，综合分析了该领域的最新进展和未来趋势。
December 22, 2023
View Article2023 年的事件向我们揭示了这样一个事实：A.I. 不必非常先进就能引发巨大的波澜。
December 22, 2023
View Article麻省理工学院研究人员应用一种名为深度学习的人工智能技术，成功发现了一系列能够杀灭导致美国每年超过 10,000 人死亡的耐药性细菌的化合物。
December 22, 2023
View Article通过分析居住、教育、收入、健康及工作条件的注册数据，人工智能可以高精度预测生活中的各种事件。
December 22, 2023
View Article“2024 年，AI 会影响普通人吗？”，这是一道送分题！答案是肯定的，一定会影响到普通人！但这又是一道不好回答的题，因为这里的普通人，不仅仅指的是一个群体，也指的一个个的个体，AI 对每个人的影响都不尽相同。有人因为 AI 升职加薪，有人因为 AI 赚到了钱，但也有人因为 AI 有被替代的风险，甚至有人因为 AI 失业。
December 22, 2023
View Article我们大多数人之所以大多时候不开心，是因为我们设定的目标是基于当前的自我，而不是设定目标时未来的自我。
December 21, 2023
View Article现在，得益于大语言模型（LLMs）的发展，这个陡峭学习曲线的问题已经变得容易解决了。无论是 Rust、Haskell 还是其他任何语言，借助大语言模型的帮助，现在学习起来都更加容易。事实上，如果你在学习难懂的材料时没有利用大语言模型（LLMs）的帮助，那么你的学习方式可能不是最佳的。至少这是我个人的看法。让我来解释一下。
December 21, 2023
View Article代码是一种资产，技术债则是指软件 _及其内部模型_ 与实际问题和我们的心理模型不相符，或者是内部接口并未能尽可能减少假设的情况。
December 21, 2023
View Article在 LlamaIndex，我们是开源软件的忠实支持者，因此像 Mixtral 这样开放的模型和具有灵活授权的项目正合我们心意。我们收到了不少关于如何将 Mixtral 与 LlamaIndex 结合使用的咨询，因此本文将指导你如何在本地完全独立地运行这一模型。
December 21, 2023
View Article自 9 月份推出以来，Mistral 7B 已成为我们向客户推荐最多的模型。今天，我们兴奋地宣布一个更加强大的版本：Mistral 7B 微调优化版。
December 21, 2023
View Article我清晰地记得被普林斯顿大学拒绝的那一刻。那时我正在数学队的训练中，爸爸打来电话。他告诉我，提前录取通知已经到了。他没有提及信封的大小 - 大信封意味着被录取，小信封则代表被拒绝 - 我努力不去揣测他语气中的意味。我让他马上来接我。当他在回家路上想停下来加油时，我情绪失控地对他发脾气。回到家，我打开了那个小信封，似乎早就知道会是这样。我匆匆看过前几行 - 对此我们感到遗憾，申请者群体极为出色等等 - 我咒骂一声，拿起刀子猛刺进我的梳妆台。然后，我对着枕头尖叫。其实，并不是我非去普林斯顿不可，只是我渴望这一切早点结束。
December 21, 2023
View ArticleGoogle 最近发布的 Gemini 系列模型首次全面展示了在多种任务上能与 OpenAI 的 GPT（生成式预训练转换器）系列相匹敌的性能。本文深入探讨了 Gemini 的语言处理能力，并做出两项重要贡献。首先，我们提供了一个第三方的客观比较，分析了 OpenAI 的 GPT 与 Google 的 Gemini 模型的能力，这一比较包括可复现的代码和完全透明的结果。其次，我们深入分析了实验结果，找出了两种模型类别的优势所在。我们针对 10 个数据集进行了分析，测试了包括推理、回答知识性问题、解决数学问题、进行语言翻译、代码生成和作为遵循指令的 AI 智能体等多种语言能力。通过这项分析，我们发现 Gemini Pro 的准确度虽接近，但略低于对应的 GPT 3.5 Turbo，在我们所评估的所有任务中均是如此。我们还提供了一些导致这种次优表现的原因，包括在处理多位数字的数学推理上的不足、对多项选择题答案排序的敏感性、过于严格的内容过滤等问题。同时，我们也发现了 Gemini 在某些方面的高效表现，例如生成非英语内容以及处理更长、更复杂的推理链条。
December 21, 2023
View Article一款基于人工智能的系统成功地规划并实施了真实世界的化学实验，显示出帮助人类科学家更快、更多地发现新知识的潜力
December 21, 2023
View Article