在米其林三星餐厅潮上潮，有一种独特的就餐方式「潮 1/2」，它在厨房旁设有一个小餐桌，只为少数顾客提供服务。这样可以保证食物在刚出锅时就能够迅速端上桌，最大程度地保留菜肴的风味和热度，这种贴近的就餐方式让人感到亲切。这种理念也能帮助理解高通推出的高带宽计算技术（HBC），它将计算放置于靠近内存的位置，仿佛把餐桌放在了厨房旁。

当我们使用ChatGPT时，似乎是将速度归因于更强大的计算能力。然而，实际情况是，在AI运行过程中，CPU、GPU和NPU常常未能以全速工作，而是在等着数据从内存传过来。过去十年间，AI计算能力迅速提升，但内存容量和数据传输效率却未能同步增长，导致了所谓的「内存墙」，使得大型语言模型面临困境。

AI推理过程可以分为两个主要阶段：第一阶段是Prefill，即读取输入材料的阶段。在这一阶段，模型需要理解并处理大量信息，因此计算能力至关重要。第二阶段是Decode的答题阶段，这时生成的每个token都依赖于之前的信息和模型的参数，计算要求相对较低。可想而知，如同在餐厅里，厨师已准备好多道菜肴，但传递这些菜肴的速度却受到限制。 千亿球友会

经过分析，出现了几种解决方案。SRAM（静态随机存取存储器）如同现场料理，可以快速提供现成的食物，但这种模式菜单不固定且成本高昂。而HBM（高带宽内存）就像寿司餐厅，虽然提升了从厨房到餐桌的传送速度，但同样面临价格和供应的限制。

高通的HBC技术是一种新的计算架构，将计算放在靠近内存的地方，这样可以提高AI处理的效率并降低能耗。这是一种与以往计算机处理趋势相悖的思路，迫使人们重新思考数据和计算之间的关系。HBC并不意味着所有计算都在内存中完成，像Prefill这样的高计算任务仍需强劲的计算单元，而HBC更适用于那些数据传输成本较高的操作。

在面向AI的智能手机设计中，这种异构分工显得尤为重要。未来的AI手机可能不会依赖一个大型模型来处理所有任务，而是通过多个小型专用模型来动态协作，以满足用户的需求。通过这种方式，AI可以居民更好地理解和适应用户的个人情境，从而提供更优质的服务。 千亿球友会