百科问答小站 logo
百科问答小站 font logo



GPT-3 到底花了多少钱?为什么有的网站显示 1200 万美元,有的显示 460 万美元呢? 第1页

  

user avatar   youngfish42 网友的相关建议: 
      

GPT-3 [1] 到底花了多少钱?这可能永远是个谜。

在 Open AI 官网上并没有发现对此的说明。


通过追溯信源,的确发现GPT-3模型的训练开支有两种(估算)说法[2]

超过 1200 万美元 [3] [4]

最少 460 万美元 [5] [6]


其中 460万美元训练开支的估算过程如下:

OpenAI最近发布了GPT-3,这是有史以来最大的语言模型。
GPT-3拥有1750亿个参数,即使使用 市场上价格最低的GPU云 ,也需要355年的时间和460万美元的培训费用。使用 Lambda GPU实例 为例,Tesla V100定价为 $1.50 /小时



延伸阅读:

训练 AlphaGo Zero 花了多少钱?

参考

  1. ^ https://arxiv.org/pdf/2005.14165.pdf
  2. ^What is GPT-3? How can you use it? https://mc.ai/what-is-gpt-3-how-can-you-use-it/
  3. ^OpenAI’s massive GPT-3 model is impressive, but size isn’t everything https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/
  4. ^OpenAI launches an API to commercialize its research https://venturebeat.com/2020/06/11/openai-launches-an-api-to-commercialize-its-research/
  5. ^GPT-3 Key Takeaways https://lambdalabs.com/blog/demystifying-gpt-3/
  6. ^GPT-3, The $4,600,000 Language Model https://www.reddit.com/r/MachineLearning/comments/h0jwoz/d_gpt3_the_4600000_language_model/



  

相关话题

  小米进入日本后战况如何? 
  导盲犬一只训练成本高达22万,为什么不用相同的钱雇人为盲人导盲? 
  普通程序员如何正确学习人工智能方向的知识? 
  我国原创治疗阿尔茨海默病新药甘露特钠胶囊(九期一)获准上市,具有怎样的意义和前景? 
  如何看待0.5元可买到身份匹配的人脸数据?如何才能避免信息泄露? 
  如何评价CVPR2019程序主席Derek Hoiem的论点:计算机视觉只是记忆,不是智能? 
  软银同意以400亿美元将ARM(安谋)出售给英伟达,但交易需中美等国家(组织)批准,后续进展会如何? 
  如何看待李沐老师提出的「用随机梯度下降来优化人生」? 
  如何看待字节跳动对于哔哩哔哩及相关创作者「散布谣言」的行为,将保留追究法律责任的权利? 
  有哪些人工智能上的事实,没有一定人工智能知识的人不会相信? 

前一个讨论
如何评价微软和英伟达推出的迄今为止训练最大最强的语言模型 MT-NLG?
下一个讨论
如何看待 UWB 技术?这项技术在日常生活中能给我们带来怎样的便利?





© 2025-06-07 - tinynew.org. All Rights Reserved.
© 2025-06-07 - tinynew.org. 保留所有权利