翻译的一些我觉得不错的科技文章。
随着人们越来越关注如何让大语言模型（LLMs）与人类的价值观保持一致，人们发现这些模型很容易受到“破解”攻击的威胁，这种攻击会诱使语言模型绕开其安全保护措施。因此，识别并解决这些潜在漏洞对于防止模型被滥用至关重要。为了实现这一目标，我们提出了一种名为“提示自动迭代细化”（PAIR）的算法，这种算法能够仅通过黑盒方式与大语言模型通信，生成语义破解。PAIR 算法的设计灵感来源于社会工程攻击，它能够利用一个“攻击者”语言模型自动对另一个目标语言模型进行破解，无需人工干预。通过这种方式，攻击者模型会反复向目标模型发起查询，不断更新和精细调整破解方案。根据我们的实验证明，PAIR 在大多数情况下能够在不到二十次的查询中成功破解目标模型，效率比现有算法高出许多个数量级。此外，无论是在开源还是闭源的大语言模型上，PAIR 都展现出了极高的破解成功率和良好的迁移性能，其中就包括了 GPT-3.5/4、Vicuna 和 PaLM-2 这样的模型。
October 31, 2023
View Article语言模型（LMs）能够通过标注好的示例或者自然语言的提示来指引完成特定任务。但是，找到合适的示例或者编写有效的提示可能非常具有挑战性，特别是在那些涉及到不常见的边缘情况、需要准确表达模糊偏好，或者要求对语言模型行为有精确认识的任务中。我们提出了一种思路：利用语言模型*自身*来引导任务设定的过程。
October 30, 2023
View Article试想一个只能修改他们最新写的那一行代码的程序员，他们需要反复从头开始写代码，直到写对为止——这听起来是不是很费劲？传统的自然语言转代码的自回归模型也面临着类似的困境，一旦生成了代码，就很难再回头修改。为此，我们推出了 CODEFUSION，这是一个突破性的预训练扩散代码生成模型。它能够在自然语言的引导下，反复优化整段代码，直到生成高质量的程序代码。我们在 Bash、Python 以及 Microsoft Excel 的条件格式规则转换任务上对 CODEFUSION 进行了全面测试。测试结果令人振奋：尽管 CODEFUSION 只有 75M 的参数，但它在 top-1 准确率上与最先进且参数量高达 350M–175B 的自回归系统不相上下，而在 top-3 和 top-5 准确率上更是超越对手，彰显了它在保证代码质量的同时，还能提供丰富多样的代码生成选项的卓越能力。
October 30, 2023
View Article大家对大语言模型（LLMs）到底能否具备推理能力一直有很大的争议。虽然一开始人们非常乐观，认为模型的规模越大，推理能力就会自然而然地显现出来，但众多反例的出现，从简单的乘法运算到计划问题，都让这种乐观心态受到了挑战。尽管如此，许多人仍然坚信大语言模型能够对自己的答案进行自我批判，并通过迭代的方式不断完善解决方案。这种信仰似乎是建立在这样一个前提上：验证一个答案的正确性应该比产生答案更为简单。这是计算复杂性领域的一个经典观点，但如果 LLMs 主要进行的是近似检索的活动，那么这个观点对它们来说应该是不相关的。
October 29, 2023
View Article我们引入了 PromptAgent，这是一种能够独立创建出与专家亲手打造的提示同样优质的优化方法。PromptAgent 把提示优化当作一个策略规划问题来处理，并运用了一种植根于蒙特卡罗树搜索的算法，巧妙地规划并探索专家级提示的可能性。
October 27, 2023
View Article我们为大家介绍了一个称为“退一步提示法（Step-Back Prompting）”的新技巧，能让语言模型通过抽象思考，从具体信息中找到核心观念和基础原理。凭借这些核心观念和原理，语言模型在逻辑推理上的表现得到了显著的提升。
October 26, 2023
View Article改变我们生活方式的 200 项创新
October 25, 2023
View Article一种叫做 Zero-Shot-Context 的新方法，它可以在没有任何示例的情况下，自动提高翻译的质量。我们的实验结果显示，使用这种方法，GPT-3 的翻译效果得到了明显的提升，甚至可以与有示例提示的翻译相媲美。
October 25, 2023
View Article大语言模型偶尔会生成看似真实但实际上是错误的信息，这种情况被称为“幻觉”。我们研究了模型如何自我纠错。我们提出了一个名为“链式验证 (CoVe)”的方法：模型首先给出初步回答，然后制定问题来核实答案，并确保每个问题的回答不受其他回答的影响，最后输出经过核实的答案。实验结果显示，这种方法有效地减少了在不同任务中产生的误导性信息。
October 16, 2023
View Article以前，我们的机器学习模型一般都只处理一种类型的数据，比如只处理文本、图像或音频。但是，想想我们人类的大脑。我们不仅仅读写文字，还可以看图、看视频，听音乐，还能够辨识各种不同的声音。所以，为了让 AI 更接近真实世界，处理多种类型的数据显得非常重要。
October 15, 2023
View Article工作岗位虽然众多，但找到真正适合自己的位置依然困难重重。
October 12, 2023
View Article虽然作为开发者，我们总在追求技术上的进步，但同样重要的"软技能"也不能被忽略。我读了大约 40 本这样的书，现在想和你们分享一些最有价值的经验，帮助我们在技术和管理领域更上一层楼。
October 10, 2023
View Article虽然作为开发者，我们总在追求技术上的进步，但同样重要的"软技能"也不能被忽略。我读了大约 40 本这样的书，现在想和你们分享一些最有价值的经验，帮助我们在技术和管理领域更上一层楼。
October 10, 2023
View ArticleAI 安全培训和大语言模型（LLMs）的红队实验是为了预防生成不安全内容。然而，我们发现，由于安全训练数据在不同语言之间的不平衡，这些安全机制在跨语言应用时存在脆弱性。我们证明，通过将危险的英语输入转换为使用率较低的语言，就可以成功规遍 GPT-4 的安全屏障。
October 6, 2023
View Article“思维链”（CoT）提示法让语言模型在各类推理任务上表现优异，但是，这通常需要对推理过程的实例进行标记。在这个研究中，我们推出了一种新颖的提示技巧，名为“类推提示法”，旨在自动引领大语言模型进行推理。
October 3, 2023
View Article多模态大模型（LMMs）不仅拥有大语言模型（LLMs）的特点，还拓宽了其多感官技能，例如视觉理解，从而实现了更强的通用智能。本文深入探索并分析了最新的 GPT-4V(ision) 模型，旨在加深我们对 LMMs 的认识。我们的分析重点是 GPT-4V 能够完成的各种有趣任务，通过一系列精心设计的测试样本，来检验 GPT-4V 能力的质量和通用性，以及它所支持的输入和工作方式，还有有效启动模型的方法。在探索 GPT-4V 的过程中，我们整理了一系列涉及多个领域和任务的定性样本。这些样本的观察结果表明，GPT-4V 能够处理任意混合的多模态输入，并且其功能的通用性使其成为一个强大的多模态通用系统。此外，GPT-4V 独特的识别输入图像上绘制的视觉标记的能力，为发展新的人机交互方式，比如视觉参考提示，提供了可能。报告最后深入讨论了基于 GPT-4V 系统的新兴应用场景和未来研究方向。我们希望这一初步的探索能够启发未来关于多模态任务制定的下一代研究，发掘和强化 LMMs 以解决现实世界问题的新方法，以及对多模态基础模型有更深的理解。
October 2, 2023
View Article利用大语言模型（LLM）作为核心驱动的智能代理是一个极富创意的概念。有一些令人印象深刻的概念验证示例，比如 AutoGPT、GPT-Engineer 和 BabyAGI，都为我们展示了巨大的可能性。LLM 不仅可以创作流畅的文本、故事、散文和代码，更重要的是，它可以成为解决各种问题的强大工具。
July 23, 2023
View Article近来，我频繁地探究如何高效地运用大语言模型 (LLM)。设想这样一个场景：你的老板对你说：“嘿，Finbarr，我们快破产了，因为我们把所有投资者的钱都花在了支持我们那个 300 亿参数、模仿 John Kenneth Galbraith 风格说唱的模型的 GPU 上。我们该怎么办？”
January 5, 2023
View Article既有亮点也有挑战 —— 并伴随着诸多炒作。伴随着假期的结束，我们满载热情回归，为大家带来 2024 年的最新观点！
January 5, 2023
View Article