AI基础设施：OpenAI-O1模型使推理需求有10~100倍增量，模型训练和推理都以万卡集群为起步状态

来源：Gangtise投研

 AI基础设施 专家表示，OpenAI-O1模型使推理需求有10~100倍增量，模型训练和推理都以万卡集群为起步状态。推理端的带宽会接近训练端卡的组网形式。因为计算方式改变，引入新计算模式后计算复杂度（计算多样性）与训练相当，以前的推理芯片效能和能力逐渐不够，最终会回到用训练芯片做推理的状态。