为什么 GPT-3.5(大部分情况)比 Llama 2 便宜
Llama-2-70B是gpt-3.5的一种诱人的替代选择,但如果寻找廉价的语言模型,偏离OpenAI的API可能不值得。在考虑价格和延迟时,不应该使用Llama-2来处理重负载的工作,而是适用于以提示为主的任务,例如分类。当工作负载没有提示令牌时,使用Llama-2可能也是有意义的(虽然不直观,但稍后会解释)。在其他情况下,gpt-3.5应该更便宜更快。需要注意的是,使用Llama而不是gpt-3.5的一个原因是微调,但在本文中,我们只探讨成本和延迟。我没有将Llama-2与GPT-4进行比较,因为它更接近3.5级模型。
![4b64f1b77e7043fda2cf2dc3da1ba045_2076989541495611392 4b64f1b77e7043fda2cf2dc3da1ba045_2076989541495611392](https://chatgpt.yundongfang.com/wp-content/uploads/2023/07/4b64f1b77e7043fda2cf2dc3da1ba045_2076989541495611392.png)