报告称，到 2030 年人工智能模型可扩大 10000 倍
保持增长在技术上是可能的，但并不确定
人工智能（AI）最近的进步主要归结于一点：规模。
大约在本世纪初，人工智能实验室注意到，不断扩大算法或模型的规模，并持续为其提供更多数据，可以极大地提高算法和模型的性能。
训练更大的算法需要更强的计算能力。因此，根据非营利性人工智能研究机构 EpochAI 的数据，为了达到这一点，专门用于人工智能训练的计算能力每年都在翻两番。
如果这一增长持续到 2030 年，未来的 AI 模型将拥有比当今最先进的算法（如 OpenAI 的 GPT-4）高出 10,000 倍的计算能力 。
Epoch 在最近的一份研究报告中写道：“如果继续下去，我们可能会在本十年末看到人工智能的巨大进步，就像 2019 年 GPT-2 的简陋文本生成和 2023 年 GPT-4 的复杂问题解决能力之间的差别一样。”
但现代人工智能已经吸纳了大量的电力、数以万计的先进芯片和数万亿的在线实例。与此同时，该行业已经经历了芯片短缺，而且研究表明它可能会耗尽高质量的训练数据。
假设公司继续投资人工智能扩展：这样的增长速度在技术上可行吗？
Epoch 在报告中探讨了人工智能扩展的四大制约因素：电力、芯片、数据和延迟。总结：保持增长在技术上是可能的，但并不确定。原因如下：
01.
动力：我们需要大量电力
能提供这么多电力的发电厂很少，而且大多数发电厂可能都签订了长期合同。但这是假设一个发电站就能为一个数据中心供电。
Epoch 认为，企业将寻找可以通过当地电网从多个发电厂供电的地区。考虑到计划中的公用事业增长，走这条路虽然吃紧，但还是有可能的。
为了更好地打破瓶颈，公司可以在多个数据中心之间分配训练 。在这种情况下，它们会在多个地理位置独立的数据中心之间分批传输训练数据，从而降低任何一个数据中心的电力需求。
这种策略需要快速、高带宽的光纤连接，在技术上是可行的，谷歌双子座超级计算机的训练运行就是一个早期的例子。
02.
芯片：能否满足计算需求？
人工智能实验室使用图形处理器（GPU）训练新模型，而英伟达是 GPU 领域的佼佼者。台积电（TSMC）生产这些芯片，并将它们与高带宽内存夹在一起。预测必须考虑到所有这三个步骤。根据 Epoch 的说法，GPU 生产可能还有剩余产能，但内存和封装可能会阻碍发展。
03.
数据：人工智能的在线教育
他们写道，按照目前的增长速度，人工智能实验室将在五年内耗尽高质量的文本数据，版权诉讼也可能影响供应。
Epoch 认为这给他们的模型增加了不确定性。但即使法院做出有利于版权持有者的判决，像 VoxMedia、《时代》、《大西洋月刊》等公司所采取的复杂的执法和许可协议也意味着对供应的影响将是有限的。
但至关重要的是，现在的模型在训练中不仅仅使用文本 。例如，谷歌的 Gemini 就是通过图像、音频和视频数据进行训练的。
非文本数据可以通过字幕和脚本的方式增加文本数据的供应。非文本数据还可以扩展模型的能力，比如识别冰箱食物的图片并推荐晚餐。
更推测性的是，它甚至可能导致迁移学习，即在多种数据类型上训练出来的模型优于仅在一种数据类型上训练出来的模型。
Epoch 称， 还有证据表明，合成数据可以进一步扩大数据量，但具体有多少还不清楚 。
04.
延迟：规模越大，速度越慢
最后一个限制因素与即将推出的算法的规模有关。算法越大，数据穿越其人工神经元网络所需的时间就越长。这可能意味着训练新算法所需的时间变得不切实际。
这一点有些技术性。简而言之，Epoch 考察了未来模型的潜在规模、并行处理的训练数据批次规模，以及在人工智能数据中心服务器内部和服务器之间处理数据所需的时间。这样就能估算出训练一个一定规模的模型需要多长时间。
主要启示以目前的设置来训练人工智能模型终究会遇到天花板，但不会持续太久。
05.
扩展规模：10000 倍
我们会注意到，在每种限制条件下，可能的人工智能模型的规模都会变大，也就是说，芯片的上限比功率高，数据的上限比芯片高，以此类推。
但是，如果我们把所有限制因素放在一起考虑，那么模型只能在遇到第一个瓶颈时才有可能实现。在这种情况下，瓶颈就是功率。即便如此，技术上还是可以实现大幅扩展。
Epoch 认为：“如果综合考虑，这些人工智能瓶颈意味着到本十年末，训练运行高达 2e29FLOP 是可行的。”
虽然所有这些都表明持续扩展在技术上是可能的，但这也做出了一个基本假设：人工智能投资将按需要增长，以资助扩展，并且扩展将继续产生令人印象深刻的进步，更重要的是，有用的进步。
目前，各种迹象表明，科技公司将继续投入历史性的巨额现金。在人工智能的推动下，新设备和不动产等方面的支出已经跃升至多年来从未见过的水平。
Alphabet 首席执行官 Sundar Pichai 在上一季度的财报电话会议上表示：“经历这样的曲线时，投资不足的风险要远远大于投资过度的风险。”
但支出还需要进一步增长。Anthropic 公司首席执行官 Dario Amodei 估计， 今天训练的模型成本可能高达 10 亿美元，明年的模型成本可能接近 100 亿美元，此后几年每个模型的成本可能达到 1000 亿美元 。
这是一个令人眼花缭乱的数字，但企业可能愿意为此付出代价。据报道，微软已经为其 Stargate 人工智能超级计算机投入了这么多资金，该项目是微软与 OpenAI 的合作项目，将于 2028 年推出。
这意味着即将推出的模型面临着越来越大的压力，必须超越渐进式的改进。如果收益下降，或者有足够多的人不愿意为人工智能产品买单，情况可能会发生变化。
此外， 一些评论家认为，大型语言和多模态模型可能只是个昂贵的死胡同 。而且，总有可能出现突破，就像这一轮的突破一样，表明我们可以用更少的资源完成更多的任务。我们的大脑只需一个灯泡的能量就能持续学习，而不需要互联网那样庞大的数据量。
Epoch 称，尽管如此，如果目前的方法“能将相当一部分经济任务自动化”，其经济回报可能高达数万亿美元，足以证明花费的合理性。许多业内人士都愿意下这个赌注。但究竟结果如何，目前还不得而知。
原文来源于：
1.https://singularityhub.com/2024/08/29/ai-models-scaled-up-10000x-are-possible-by-2030-report-says/
中文内容由元宇宙之心（MetaverseHub）团队编译，如需转载请联系我们。最新行业深度研究报告发放中！ 资本实验室全新发布 37 页量化报告《 2023 全球区块链应用市场暨产业图谱报告（2023） 》，收录 1000+ 应用案例 ，探索区块链应用趋势 ， 入群即可免费领取 。
2D or 3D? AI 一键转换
已获 FDA 授权！SoundHealth 利用 AI 监测鼻炎治疗
奢侈品巨头 LVMH 进军 AI 领域，仅 2024 年就投资 5 家
去中心化 AI 平台 Sahara AI 获 4300 万美元，开启新时代
免责声明：文章中的所有内容仅代表作者的观点，与本平台无关。用户不应以本文作为投资决策的参考。
你也可能喜欢
ZRCUSDT 现已上线合约交易和策略交易
Bitget 已于2024年11月25日（UTC+8）上线 ZRCUSDT 合约交易，最大杠杆为20倍，合约策略交易将同步开放。 欢迎通过我们的官方网站或 Bitget APP 开始合约交易。 ZRC U本位永续合约： 合约参数 详情 上线时间 2024年11月25日 19:10（UTC+8） 合约标的 ZRC 结算资产 USDT 最小变动价位 0.00001 最高杠杆倍数 20x 资金费用结算频率 每八个小时 交易时间 7*24 根据市场风险状况，Bitget可能调整包括最小变动价格、最高杠杆倍数、维持保证金率等重要合约参数； 【合约】 Bitget 的合约包括：U本位合约、币本位合约和
Bitget 现货策略新增 ZRC/USDT
我们很高兴的宣布，Bitget 现货策略现已新增： ZRC/USDT。 参考链接 1、 现货策略 2、 快速了解现货网格策略 免责声明 尽管加密货币有很高的投资潜力，但也具有很高的市场风险和波动性。所有交易策略均由您自行决定并自担风险，Bitget 不承担任何责任。
Magic Eden (ME)：Solana 上最大的 NFT 市场
什么是Magic Eden（ME）？ Magic Eden (ME) 是 NFT 领域的主要参与者。它最初是 Solana 区块链上最大的 NFT 市场，以交易速度快和费用低而闻名。随着时间的推移，该平台扩大了覆盖范围，支持以太坊、Polygon 和比特币上的 NFT。 Magic Eden 帮助用户交易数字收藏品并启动他们的 NFT 项目。无论您是创作 NFT 的艺术家、寻找稀有数字资产的收藏家，还是探索新机会的投资者，Magic Eden 都提供了一个用户友好的平台来参与这种不断发展的数字文化。 Magic Eden 每月拥有超过 2200 万访客、8,000 多个收藏品和 19 亿美元
Cheems (CHEEMS)：倡导动物福利和社区精神的模因币
什么是Cheems (CHEEMS)？ Cheems (CHEEMS) 是一种表情包币。Cheems 以一只无助但可爱的柴犬为象征，也扮演着“表情包之王”的角色，颂扬幽默和创造力在团结人们方面的力量。 然而，除了俏皮的外表之外， Cheems 还肩负着一项严肃的使命：促进动物福利，培养对所有生物的仁慈和同情心。 谁创立了 Cheems (CHEEMS)？ 该项目背后的团队选择保持匿名。 哪些风险投资支持 Cheems (CHEEMS)？ 目前，Cheems 还没有风险投资资金，没有团队储备，也没有来自代币本身的收入来源，是一个 100% 社区驱动的项目。 Cheems (CHEEMS) 如何
加密货币价格
更多
