硅谷女孩采访 Perplexity 创始人 Aravind [译]
遇见阿拉温德，这位来自印度的创新者，他辞去 OpenAI 的工作，决心要挑战 Google - 和玛丽娜·莫吉尔科的深入对话。新一代搜索引擎将会是什么样？让我们和阿拉温德·斯利尼瓦斯一起发现，他从印度来到美国，带着 AI 的力量来革新在线搜索体验。
April 22, 2024
View Article翻译
翻译的一些我觉得不错的科技文章。
DREAM: 分布式 RAG 实验框架 [译]
使用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 在 Kubernetes 上的分布式 RAG 实验蓝图
April 20, 2024
View ArticleRAG 在长上下文大语言模型 (LLM) 中的应用探讨 [译]
这是@rlancemartin 最近在几个聚会上关于在长上下文 LLM 时代使用 RAG 的讲座。随着上下文窗口增至超过 100 万 Token，很多人质疑 RAG 是否已经过时。我们结合几个最新的项目成果来分析这个问题。我们讨论了长上下文 LLM 在事实推理和信息检索方
April 19, 2024
View Article介绍 Meta Llama 3：迄今为止最强大的开源大语言模型 [译]
今天，我们正在介绍 Meta Llama 3，我们最先进的开源大语言模型 (LLM) 的下一代。Llama 3 模型很快将在 AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, 和 Snowflake 上可用，并得到 AMD, AWS, Dell, Intel, NVIDIA, 和 Qualcomm 提供的硬件平台的支持。
April 18, 2024
View Article第 2 章：技术性能 —— 2024 年人工智能指数报告 [译]
本章的技术性能部分为您呈现了 2023 年 AI 的全面进展。起始于对 AI 技术性能的高层次概述，本文档记录了 AI 的逐步发展。接着，本章深入分析了当前在多个方面的 AI 能力，包括语言处理、编程、计算机视觉（图像和视频分析）、推理、音频处理、自治智能体、机器人以及强化学习 (reinforcement learning)。此外，本章还重点介绍了过去一年里 AI 研究的重大突破，讨论了如何通过提示、优化和微调来提升大语言模型的性能，并最终探讨了 AI 系统对环境的影响。
April 17, 2024
View Article规划是 AI 智能体的一种核心设计模式[译]
规划是 AI 智能体的一种核心设计模式，其中我们利用大语言模型 (LLM) 自主选择一系列步骤，以完成一个较大的任务。比如，如果我们指派一个智能体去网上研究某个主题，我们可能就会用 LLM 帮助它将这个大任务拆分成若干小任务，例如具体研究几个子主题、整合研究成果、以及撰写报告。
April 16, 2024
View ArticleChapter 2: Technical Performance | 2024 AI Index Report
Overview The technical performance section of this year’s AI Index offers a comprehensive overview of AI advancements in 2023. It starts with a high-level overview of AI technical performance, tracing its broad evolution over time. The chapter then examines the current state of a wide range of AI capabilities, including language processing, coding, computer vision (image and video analysis), reasoning, audio processing, autonomous agents, robotics, and reinforcement learning. It also shines a spotlight on notable AI research breakthroughs from the past year, exploring methods for improving LLMs through prompting, optimization, and fine-tuning, and wraps up with an exploration of AI systems’ environmental footprint.
April 16, 2024
View Article2024 年人工智能指数报告 —— 由斯坦福大学人工智能研究院发布 [译]
这份报告全面分析了 2023 年人工智能 (AI) 领域的进展，涵盖了技术进步、经济影响、政策制定和公众舆论等方面。
April 16, 2024
View Article第 1 章：AI 研发 —— 2024 年人工智能指数报告 [译]
这份报告全面分析了 2023 年人工智能 (AI) 领域的进展，涵盖了技术进步、经济影响、政策制定和公众舆论等方面。
April 16, 2024
View ArticleChapter 1: Research and Development | 2024 AI Index Report
The figures below present the global count of English- and Chinese-language AI publications from 2010 to 2022, categorized by type of affiliation and cross-sector collaborations. Additionally, this section details publication data for AI journal articles and conference papers.
April 16, 2024
View Article美国芯片制造的重大失误 [译]
ASML 正在推动一项可能是当前世界上最关键的技术——极紫外光刻技术 (extreme ultraviolet lithography machines)。如果没有这些价值两亿美元的 EUV 设备及其制造的半导体，人工智能革命就不会发生，全球经济也将开始陷入停滞。这些设备主要在荷兰生产，并销售给台湾的台积电和韩国的三星，而 Intel 却迟迟未能参与。在此同时，无论是在唐纳德·特朗普还是乔·拜登的任期内，美国政府都在努力不让这些设备落入中国手中。
April 15, 2024
View Article福布斯采访 Perplexity 创始人：Perplexity 让你在互联网上找到更好的答案 [译]
Notion 是一款由人工智能驱动的生产力工具，正在向 Google Docs 和 Microsoft Office 发起挑战。该公司在 2024 年的《福布斯》AI 50 强榜单中脱颖而出，其流行程度的快速上升也得到了社交媒体上大量 Notion 教程的证实。
April 15, 2024
View Article福布斯采访 Notion 创始人：用“乐高”式创新挑战 Google Docs 和 Microsoft Office [译]
Notion 是一款由人工智能驱动的生产力工具，正在向 Google Docs 和 Microsoft Office 发起挑战。该公司在 2024 年的《福布斯》AI 50 强榜单中脱颖而出，其流行程度的快速上升也得到了社交媒体上大量 Notion 教程的证实。
April 14, 2024
View ArticleRay Kurzweil 与 Geoff Hinton 关于未来 AI 发展的辩论 [译]
在 2024 年 Abundance360 峰会期间录制的这一集中，Ray、Geoffrey 和 Peter 展开了一场关于 AI 是否能具备自我意识、意识的本质是什么以及 AI 是否应有权利的辩论。美国发明家及未来学家 Ray Kurzweil 是人工智能 (artificial intelligence) 的先驱，他在光学字符识别 (OCR)、文本到语音、语音识别技术上作出了巨大的贡献。他撰写了多本关于 AI 与技术未来的书籍，获得了国家技术与创新奖章 (National Medal of Technology and Innovation) 等多项荣誉。在 Google，Kurzweil 致力于机器学习和语言处理技术，推动技术进步和人类潜能的提升。被誉为“深度学习之父”的 Geoffrey Hinton 是一位英国 - 加拿大的认知心理学家和计算机科学家，他在人工神经网络、深度学习 (deep learning) 和机器学习领域的开创性研究极大地推进了图像和语音识别等复杂任务的算法发展。推荐阅读 Ray 的最新作《奇点更近了：当我们与 AI 合并》。
April 13, 2024
View Article如何设置 Mixtral-8x22B | 基础模型提示入门 [译]
Mixtral 8x22B 已经面市，这是首次推出一款可以商业使用的开源 GPT-4 类型模型。然而，它并非一个指令优化型模型，而是一个基础模型。这意味着我们需要用全新的方式来进行提示。虽然这更具挑战性，但并非无法实现。
April 13, 2024
View Article价值 100 亿美元的 Notion 欲构建您的全能 AI 应用 [译]
Notion 的联合创始人 Ivan Zhao 凭借其优雅的生产力应用程序在硅谷投资者和广大用户中赢得了极大的关注，该应用一度火爆到服务器都承受不住了。现在，这家盈利的创业公司的 CEO 看到了一个突破机会，他计划抓住 AI 的先机并大胆进攻，挑战微软和谷歌在职场的主导地位。
April 13, 2024
View Article访谈记录：Ezra Klein 采访 Dario Amodei [译]
Ezra Klein 每周二和周五会带来一场讨论重大议题的对话，例如今天他与 Dario Amodei 的对话。
April 13, 2024
View Article揭穿号称首位人工智能软件工程师 Devin 能在 Upwork 接活的谎言！[译]
近期，自称“首位 AI 软件工程师”的 Devin 被推出。公司不实地宣称他们的视频展示了 Devin 完成并从 Upwork 获得自由职业报酬的情况，然而视频实际上并未显示这些内容。
April 13, 2024
View Article浅显易懂地介绍 llm.c [译]
当我们训练像 ChatGPT 这样的大语言模型时，需要处理大量的代码和复杂过程。
April 12, 2024
View Article软件工程中的心理健康问题 [译]
今天，我想探讨一个我们在该领域讨论不足的问题：软件工程师的心理健康，尤其是那些承担领导职责的人。作为技术联合创始人，我亲身经历了焦虑的困扰。这种感受虽然常伴随我们的职业生涯，但并未列入工作职责之中。
April 12, 2024
View Article马斯克访谈 —— 尼古拉·坦根采访，谈 AI、特斯拉、中国电动汽车、Twitter（X）、SpaceX、中国电动汽车、企业文化与管理、火星殖民[译]
马斯克访谈 —— 尼古拉·坦根采访，谈 AI、特斯拉、中国电动汽车、Twitter（X）、SpaceX、中国电动汽车、企业文化与管理、火星殖民
April 11, 2024
View ArticleAI 生成代码的生命周期 [译]
不管是编写代码、撰写文本、制作图像，还是其它应用，生成式 AI 对众多用户来说都如同一个充满神秘的黑盒。一般而言，用户只需简单地访问网站、安装应用或添加扩展，便可以直接体验到 AI 工具带来的便捷。但是，您是否好奇过这个黑盒背后的运作原理呢？本文旨在揭开我们的代码 AI 助手 Cody —— 它能深入理解您的整个代码库 —— 在代码 AI 生成过程中所涉及的奥秘。虽然使用大语言模型（LLM）来回应代码 AI 生成请求看似简单，但要在涵盖广泛用例、编程语言、工作流以及其他多变因素的生产环境中实现，确保既满足高质量完成的标准又能保证开发者的满意，却是一项极其复杂的挑战。本文将不仅探讨大语言模型的重要性，还将详述如何将其扩展为一个包含多个预处理和后处理步骤的全功能 AI 工程系统，讨论上下文的作用及其获取方法等多个方面，一起来深入了解代码 AI 生成的完整生命周期吧！
April 10, 2024
View Article马斯克的最新演讲，揭示 SpaceX 登陆火星宏伟蓝图，开创人类多行星文明新纪元 [译]
在星际基地，埃隆·马斯克就公司将人类送往火星、开启多行星生命之旅的计划提供了最新进展。火星是开始实现人类多行星生存的最佳目的地。
April 8, 2024
View Article通过模拟一切视频生成将带我们走向通用人工智能，终有一天你可以在视频模型上运行 ChatGPT [译]
这是一段题为“Video generation will lead to AGI by simulating everything”的演讲稿，由 OpenAI 的 Tim Brooks 和 Bill Peebles
April 7, 2024
View ArticleSGI（美国硅图公司）的兴衰史 —— 一位叛逆的年轻人如何短暂地征服世界的故事 [译]
James Henry Clark 1944 年 3 月 23 日出生于德州平原城，他的家境并不富裕。父亲酗酒且无法长期维持工作，母亲则在当地一位医生的诊所工作，月入约 225 美元（折合 2024 年约 2605 美元）。Clark 幼年时父母就离异了，即便按照通胀调整后的标准，他母亲的工资似乎尚可，实际上她在扣除所得税和社保后仅得到 175.50 美元（约 2032 美元），这是她和三个孩子的唯一生活来源。Clark 本人则是个颇为叛逆的少年，高中时期的一些“壮举”包括在乐队巴士上点燃烟雾弹、偷带臭鼬进舞会、对英语老师大喊“去地狱”，酗酒及参与飙车比赛。考虑到那个年代，饮酒往往伴随着接连不断的吸烟。
April 7, 2024
View ArticleMidJourney、DeepL、ElevenLabs 与 HeyGen 的共同之处（除了拥有其独特的团队结构和爆炸性增长！） [译]
一种在媒体和私下里经常被重复的观点认为，对于利用人工智能（AI），现有的大公司而非新兴初创企业，显得更加得心应手。这种思维方式认为，AI 更多是一种强化现有企业地位的持续技术，而不是一种能够为新入场者赋能的颠覆性力量。这种看法在一定程度上是有道理的，尤其是对于那些致力于提升员工完成其*现有*工作效率的初创企业——不妨看看 Adobe 和 Notion，它们如何以闪电般的速度融入 AI 功能。传统观点认为，初创公司需要在大公司弄清楚如何创新之前解决分销问题。但对许多应用场景而言，现有公司的创新似乎只需一次 OpenAI API 的调用即可实现。然而，这样的论调过于简化了实际情况。我们现在见证了一批 B2B AI 公司，他们通过借鉴消费者世界中的经典策略——以更低的成本提供远超十倍的体验——而快速增长其收入。
April 7, 2024
View Article蔡崇信访谈 —— 从阿里巴巴到 NBA 的跨界人生[译]
在这次访谈中，阿里巴巴联合创始人蔡崇信与主持人尼古拉畅聊了他的成长历程、职业发展以及个人见解。蔡崇信 13 岁从台湾移居美国，通过参与体育活动克服语言障碍，融入新环境。他的父亲虽然严厉，但对他产生了深远影响。加入阿里巴巴之前，蔡崇信在瑞典华伦贝格家族的投资公司工作，学习投资基础知识。1999 年，他应朋友之邀去杭州见马云，被马云的愿景和魅力所吸引，加入了阿里巴巴。公司早期的办公环境虽然简陋，但团队充满激情与凝聚力。阿里巴巴的发展历程中遇到过许多挑战，如 2005 年雅虎的投资、淘宝的盈利模式创新、竞争压力和组织架构调整等。新冠疫情和监管压力也对公司产生了影响。面对挑战，蔡崇信强调要勇于承认错误，及时调整战略。对于中国经济和消费者，蔡崇信指出，尽管房地产市场下滑和就业不确定性影响了消费者信心，但中国作为制造业强国，拥有巨大的潜力。在人工智能领域，阿里巴巴重视云计算和电商业务与 AI 的结合，但也面临美国芯片出口限制的影响。中美在 AI 领域存在差距，但中国正在努力赶上。在地缘政治方面，蔡崇信强调遵守法规、促进全球贸易的重要性，同时也意识到在美国开展业务面临数据隐私和网络安全方面的顾虑。他认为西方对中国存在一些误解，不应低估中国人民的能力和潜力。谈到企业文化和领导力时，蔡崇信分享了阿里巴巴"快乐工作，认真生活"的理念，强调领导者应给予即时反馈、保持谦逊，鼓励创新。在个人生活方面，蔡崇信购买 NBA 布鲁克林篮网队，看到了体育与商业的共通原则。他珍惜与家人共度的时光，阅读间谍小说是他的一大兴趣。最后，蔡崇信给年轻人的建议是，要发展专业技能，成为某一领域的专家；同时学习多项技能，如数据科学、心理学和编程。具备专业技能和多样化技能，是在现今世界取得成功的关键。
April 7, 2024
View ArticleTorvalds 畅谈人工智能对编程的影响 [译]
Torvalds 认为 LLM 可以帮助程序员编写代码，发现明显的错误，但他并不认为这是一场革命性的变化。Torvalds 希望 LLM 能够帮助审查代码和维护子系统，因为它们擅长发现愚蠢但难以察觉的错误。Torvalds 认为 LLM 的价值远远超过 "增强版的自动纠错",它们可以成为帮助程序员更好地工作的工具。他对 LLM 的未来持乐观态度。
April 6, 2024
View Article我们已经迈入了通用人工智能的时代 [译]
尽管现如今最尖端的 AI 模型还存在不少缺点，但几十年后，人们定会将它们视作通用人工智能的开山之作。
April 5, 2024
View Article全速前行：2024 年的机器学习、人工智能与数据（MAD）领域展望 [译]
这是我们第十次发布关于数据、分析、机器学习和人工智能生态的年度综述。覆盖这个领域十多年来，现在的局势比以往任何时候都更加令人兴奋和充满前景。多年来我们跟踪的所有主流趋势和细分领域正汇聚在一起：大量数据已被数字化；通过现代化工具，我们可以快速且经济地存储、处理和分析这些数据；更重要的是，这些数据现在能够供给性能更强的 ML/AI 模型使用，这些模型能够理解数据、识别模式、基于数据进行预测，甚至现在能够创造文本、代码、图像、声音和视频。
April 5, 2024
View Article15 个 ChatGPT 学术写作神器提示 [译]
别再对着空白页束手无策了！这里有 15 个灵感满满的 ChatGPT 提示，助你寻找研究灵感、构建强有力的论据、撰写清晰简洁的文章，突破创作瓶颈，提升学术写作效率。
April 4, 2024
View Article多样本越狱 [译]
Claude 2.1 在处理高达 20 万 Token 的庞大上下文时，检索特定句子的能力令人瞩目。我们通过实验发现，利用精心设计的提示技巧，可以引导 Claude 更准确地回忆出相关信息。
April 3, 2024
View ArticleOpenAI 向 NTIA 提交的开放模型权重意见 [译]
OpenAI 坚信，通过建立、广泛部署和应用 AI，我们可以改善人们的生活，并开辟一个更加美好的未来。这一进程依托于不断的创新与市场竞争的自由。在这些宽泛原则下，推动 AI 前景的路径多种多样。OpenAI 是最先尝试解决如何公平分配基础模型带来前所未有利益的 AI 开发者之一，我们通过分享这段历史背景，旨在为 NTIA 的评议提供参考。
April 3, 2024
View Article丹尼尔的故事 [译]
欢迎来到四月酷日！这是一个与愚人节相似但却截然不同的日子——我们不是制造尴尬笑话，而是创作与平时不一样的、真正有价值的内容。比如，去年我就分享了一篇关于互联网上最古怪市场的文章。而今年，我则是踏上了一条全新的探索之路。
April 3, 2024
View Article在浏览器中直接使用 OCR 技术处理 PDF 和图片 [译]
这周，我参加了斯坦福大学举办的大规模故事发现数据新闻学术会议。在这样的会议上，如何从 PDF 和图片中有效提取数据始终是一个热门议题。
April 3, 2024
View Article从 20 年前的愚人节开始的电子邮件革命：Gmail 时代回眸 [译]
Google 的联合创始人拉里·佩奇和谢尔盖·布林，对恶作剧情有独钟，他们在创立公司不久后的每年愚人节，总是推出令人啼笑皆非的想法。例如，有一年 Google 发布了一则招聘启事，寻找月球上的哥白尼研究中心的研究员。另外一年，他们还宣布打算在搜索引擎中推出一项能“嗅觉搜索”的创新功能。这些搞笑的创意年复一年地上演，让人们逐渐将其视作 Google 惯有的恶作剧，笑对这些离奇的创意。正是基于这样的背景，佩奇和布林在 20 年前的愚人节，推出了一个让人难以置信的产品。那就是 Gmail，一种免费邮箱服务，每个账户提供 1GB 的巨大存储空间。
April 2, 2024
View Article什么是 GPT？通过图形化的方式来理解 Transformer 架构 [译]
GPT 是 Generative Pre-trained Transformer 的缩写。首个单词较为直接，它们是用来生成新文本的机器人。"Pre-trained" 指的是模型经历了从大量数据中学习的过程，这个词暗示了该模型还有进一步在特定任务中进行额外训练和微调的可能。然而，最后一个词，才是真正重要的部分。Transformer 是一种特定类型的神经网络，一个机器学习模型，它是现今 AI 高速发展的核心创新。我希望通过这个视频和接下来的章节，以一种便于理解的方式，阐述 Transformer 内部实际发生的过程。我们将逐步探索流经它的数据。
April 2, 2024
View Article什么是 GPT？通过图形化的方式来理解 Transformer 中的注意力机制 [译]
深入浅出地解释 Transformer 和大语言模型 (LLMs) 中心机制——注意力机制（Attention）。
April 2, 2024
View Article在 AI 淘金潮中，企业究竟富得有多少？ [译]
Nvidia 和 Microsoft 只是冰山一角
April 1, 2024
View ArticleGitHub 如何成为代码托管的领头羊，超越 SourceForge [译]
自高中起，我便开始编程。我还隐约记得，曾与一位朋友共同利用 TortoiseSVN 分享代码，开发了一款安卓游戏。大学期间，我学会了从 GitHub 克隆仓库以获取计算机科学作业。之后，在实习期间，我开始使用 GitHub 审核和合并合并请求（PR）。像我这样在过去十年内步入职业生涯的大多数开发者，可能都有着类似的经历——不论是参与开源项目还是公司私有团队，GitHub 都成了源代码和代码更改的代名词。
April 1, 2024
View Article八位 Google 员工开创了现代 AI 的新纪元，揭秘他们的故事 [译]
他们因缘际会，对一项创意产生了浓厚的兴趣，并共同撰写了“Transformers”论文——这是近代史上最具里程碑意义的技术革新。
April 1, 2024
View Article探索合成语音的挑战与机遇 [译]
我们将分享一次 Voice Engine 小型试验项目的经验教训，这是一款能够创建定制语音的模型。
March 29, 2024
View Article吴恩达：AI 智能体工作流引领人工智能新趋势 [译]
我期待与大家分享我在 AI 智能体方面的发现，我认为这是一个令人兴奋的趋势，所有涉及 AI 开发的人都应该关注。同时，我也对所有即将介绍的"未来趋势"充满期待。
March 28, 2024
View ArticleAI 与训练 AI 替代自己的工人的矛盾 [译]
随着企业引进人工智能（AI）以提升工作效率，一个不适感的矛盾出现了：员工往往需要培训那些未来可能会取代他们的系统。AI 伦理倡导者 Madison Mohns 分享了三个领导原则，旨在既拥抱技术进步，又重视同事的福祉——为构建一个人工智能能够增强人类潜力的未来而铺路。
March 26, 2024
View Article揭秘内部：OpenAI 的 Sora 模型如何运作 [译]
在这篇博客文章中，我们将深入剖析 Sora 模型背后的一些技术细节。我们还将探讨我们对这些视频模型可能产生的影响的看法。最后，我们将讨论我们对于用于训练 Sora 等模型所需计算资源的想法，并预测了训练计算与推理相比的情况，这对于预估未来 GPU 需求具有实质的参考价值。
March 25, 2024
View ArticleSora：初体验 [译]
我们从创意界得到了极具价值的反馈，这对我们模型的完善大有裨益。
March 25, 2024
View Article在开放世界中的通用智能体 [译]
Jim Fan 在 NVIDIA GTC 2024 上的演讲：《在开放世界中的通用智能体》
March 24, 2024
View Article李飞飞对话英伟达首席科学家：人工智能的高速革命及其对人类的影响 [译]
如果说去年的 GTC 炉边谈话，黄仁勋与 OpenAI 首席科学家 Illya 进行的是一场对技术未来的漫谈，那今年这场炉边谈话就是李飞飞对人类未来的呼吁。
March 23, 2024
View ArticlePerplexity 的创始人 Aravind Srinivas 与 Stripe 的 David Singleton 炉边谈话 [译]
这段 Perplexity 的创始人 Aravind Srinivas 与 Stripe 的 David Singleton 炉边谈话的视频非常值得一看，Perplexity 很坦诚的分享了 Perplexity 的创业历程、内部运作、招人、从其他大公司学到的经验以及未来展望等话题。
March 23, 2024
View Article生成式 AI 的未来 [译]
我对低代码持怀疑态度。
March 22, 2024
View Article