过去25年，半导体工艺制程不断逼近极限，才有了ChatGPT的诞生。如今世界最强英伟达GPU已有超2080亿个晶体管。台积电大佬预测，未来十年，1万亿晶体管GPU将问世。
比起上一代H100（800亿），B200晶体管数是其2倍多，而且训AI性能直接飙升5倍，运行速度提升30倍。
今天，IEEE的头版刊登了台积电董事长和首席科学家撰写的文章——「我们如何实现1万亿个晶体管GPU」？
从1997年战胜国际象棋人类冠军的「深蓝」，到2023年爆火的ChatGPT，25年来AI已经从实验室中的研究项目，被塞入每个人的手机。
而训练ChatGPT的芯片基于的是5纳米工艺，而最新版的ChatGPT推理服务器的芯片工艺已经达到了4纳米。
如果仔细研究AI对于算力的要求会发现，最近5年，AI训练所需的计算和内存访问量增长了好几个数量级。
以GPT-3为例，它的训练需要的计算量相当于每秒进行超过5千万亿亿次的运算，持续整整一天（相当于5000千兆浮点运算天数），同时需要3TB（3万亿字节）的内存容量。
自从集成电路诞生以来，半导体行业一直在想办法把芯片造得更小，这样才能在一个指甲盖大小的芯片中集成更多的晶体管。
如今，晶体管的集成工艺和封装的技术已经迈向更高层次——行业已经从2D空间的缩放，向3D系统集成迈进。
芯片行业正在将多个芯片整合到一个集成度更高、高度互连的系统中，这标志着半导体集成技术的巨大飞跃。
AI的时代beat365，芯片制造的一个瓶颈在于，光刻芯片制造工具只能制造面积不超过大约800平方毫米的芯片，这就是所谓的光刻极限。
但现在，台积电可以通过将多个芯片连接在一块内嵌互连线路的硅片上来突破这一极限，实现在单一芯片上无法达到的大规模集成。
举个栗子，台积电的CoWoS技术能够将多达6个光刻极限范围内的芯片，以及十二个高带宽内存（HBM）芯片封装在一起。
高带宽内存（HBM）是AI领域越来越依赖的一项关键半导体技术，它通过将芯片垂直堆叠的方式来集成系统，这一技术在台积电被称为系统集成芯片（SoIC）。
HBM由多层DRAM芯片垂直堆叠而成，他们都位于一个控制逻辑IC之上。它利用硅穿孔（TSV）这种垂直连接方式让信号穿过每层芯片，并通过焊球来连接各个内存芯片。
未来，3D SoIC技术将提供一种新的解决方案，与现有的HBM技术相比，它能在堆叠芯片之间实现更密集的垂直连接。
通过最新的混合键合技术，可以将12层芯片堆叠起来，从而开发出全新的HBM结构，这种铜对铜（copper-to-copper）的连接方式比传统的焊球连接更为紧密。
随着由众多芯片组成的高性能计算系统运行大型AI模型，高速有线通信可能成为计算速度的下一个瓶颈。
这样才能实现GPU之间的光通信，提高带宽的能源和面积效率，从而让数百台服务器能够像一个拥有统一内存的巨型GPU那样的方式高效运行。
若想继续增加晶体管数量，就需要采用多芯片，并通过2.5D、3D技术进行集成，来完成计算任务。
而且，未来在提高连接密度方面还有巨大的潜力。台积电认为，连接密度增长一个数量级，甚至更多是完全有可能的。
通过观察服务器GPU的发展，可以明显看到一个趋势：所谓的能效性能（EEP）——一个反映系统能效和运行速度的综合指标——正稳步提升beat365官方最新版。
而在台积电看来，这种增长趋势将会延续，将会得益于众多方面的创新，包括新型材料的应用、设备与集成技术的进步、EUV技术的突破、电路设计的优化、系统架构的革新，以及对所有这些技术要素进行的综合优化等因素的共同推动。
在STCO中，GPU内不同的功能模块将被分配到专属的小芯片（chiplets）上，每个模块都采用最适合其性能和成本效益的技术进行打造。
他们制定了一系列设计规则，简化了芯片设计的过程，让工程师即使不深谙过程技术，也能轻松设计出复杂的大规模集成电路。
如今，一种全新的硬件描述语言——3Dblox，已经得到了当下多数技术和电子设计自动化公司的支持。
新一代GPU已经打破了传统的尺寸和形状限制。半导体技术的发展，也不再局限于仅在二维平面上缩小晶体管。
一个AI系统可以集成尽可能多的节能晶体管，拥有针对特定计算任务优化的高效系统架构，以及软硬件之间的优化关系。
过去50年，半导体技术的进步就像是在一条明确的隧道中前进，每个人都清楚下一步应该怎么做：不断缩小晶体管的尺寸。