开云-生成式人工智能(GenAI)——帮助优化全球功率最密集的计算应用

练习生成式人工智能(GenAI)神经收集模子凡是需要破费数月的时候，数千个基在GPU并包括数十亿个晶体管的处置器、高带宽SDRAM和每秒数太比特的光收集互换机要同时持续运行。固然人工智能有望带来人类出产力的奔腾，但其运行时能耗庞大，所以致使温室气体的排放也显著增添。 据《纽约时报》报导，到2027年，人工智能办事器每一年的用电量将到达85至134太瓦时，年夜致相当在阿根廷一年的用电量。 为了应对日趋加重的能耗挑战，AI处置器的供电收集履历了多代的成长。这类周全的演进成长触及电路架构、电源转换拓扑、材料科学、封装和机械/热工程方面的立异。 生成式人工智能练习处置器的供电方案负载点模式和分比式模式的演化： 从2020年到2022年，热设计功率(TDP)几近翻了一番，从400W增添到了700W。TDP指标是指生成式人工智能练习利用中GPU引擎的持续功耗。自2022年起，半导体行业的TDP程度不竭爬升，到了2024年3月，市场上乃至呈现了一款TDP高达1000W的GPU。 图1：基在GPU的生成式人工智能练习处置器芯片复合体，加快器模块(AM)上安装有高带宽存储器(HBM) 用在生成式人工智能练习的处置器复合体集成了一个GPU或ASIC芯片，和六到八个高带宽存储器(HBM)芯片。采取4纳米CMOS 工艺的GPU凡是以0.65V的内核VDD运行，可能包括1000亿或更多的晶体管。HBM供给144GB的存储容量，其工作电压通常是1.1V或1.2V。该处置器的一个要害供电特征与人工神经收集算法负载有关。对照处在余暇状况的GPU和算法满载状况的GPU，瞬态电流耗损(dI/dt)不同可能很是年夜，可能到达每微秒2000安培或更多。另外，该处置器不克不及容忍较年夜的电源电压下冲或过冲幅值;这些负载阶跃瞬变必需限制在标称VDD的10%之内。设计用在生成式人工智能练习处置器的供电解决方案时，因为这些动态操作前提的缘由，峰值电流输送能力凡是设计为持续电流输送能力的两倍，峰值事务凡是延续数十毫秒(图1)。 对CPU、FPGA、收集互换机处置器和此刻的AI练习和推理芯片成长最主要的供电架构是负载点(PoL)方式。相较在传统的多相并联电源架构，分比式PoL电源架构实现了更高的功率和电流密度。这类电源架构鉴戒了抱负变压器的“匝数比”概念，经由过程分压实现电流倍增。电流倍增的可扩大性使我们可以或许按照分歧的输出电压和电流需求，开辟一系列周全的PoL转换器。这对客户来讲相当主要，由于高级AI练习处置器的需求正快速转变。 图2：分比式电源架构可以供给跨越1000安培的年夜电流，并使供电收集的电阻下降到1/20 分比式电源架构(FPA)——分化为稳压和变压两部门功能 生成式人工智能电源系统设计面对的首要挑战包罗： · 很高的电流输送能力，规模从500安培到2000安培 · 负载需要超卓的动态机能 · PDN的消耗和阻抗较年夜 · 48V母线根本架构的尺度化利用，需要从48V转换到1V以下的能力 要解决这类年夜电流和高密度负载点(PoL)问题，需要采取分歧的方式。进步前辈的分比式电源架构将稳压和变压/电流倍增功能进行了分化，可将这些供电级放置在最好位置，从而到达最高的效力和功率/电流密度。 当输入电压(VIN)等在输出电压(VOUT)时，稳压器的效力最高，跟着输入输出比的增添，效力逐步下降。在36至60V的典型输入电压规模内，最好输出母线电压将是48V，而不是中心母线架构(IBA)中常见的传统12V母线电压。48V输出母线所需的电流是12V母线的四分之一(P=VI)，而PDN的消耗是电流的平方(P = I2R)，这意味着消耗下降至本来的 1/16。是以，先安装稳压器并将其调理至48V输出，可以实现最高的效力。稳压器还必需接管有时低在48V的输入电压，这就需要一个降压-升压的功能来知足这一设计需求。一旦输入电压获得了稳压，下一步即是将48V转换为1V。 在需要为1V负载供电的环境下，最好变压比为48:1。在这类环境下，稳压器将输入电压降压或升压到48V输出，再由变压器将电压从48降至1V。降压变压器以不异的比率加年夜电流，是以变压器组件也能够称为电流倍增器。在这类环境下，1安培的输入电流将倍增至48安培的输出电流。为了最年夜限度地削减年夜电流输出的PDN消耗，电流倍增器必需小巧，以便尽量接近负载放置。 PRM稳压器和VTM/MCM模块化电流倍增器连系在一路，组成Vicor分比式电源架构。这两个器件彼此合作，各司其职，实现完全的DC-DC转换功能。 PRM经由过程调制未稳压的输入电源供给稳压输出电压，即“分比式母线电压”。该母线供电给VTM，由VTM将分比式母线电压转换为负载所需的电平。 与IBA分歧，FPA欠亨过串连电感器从中心母线电压降压至PoL。FPA欠亨过下降中心母线电压来平均电压，而是利用电流增益为1:48或更高的高压稳压和电流倍增器模块，以供给更高的效力、更小的尺寸、更快的响应和1000安培和以上的可扩大性(图2)。 垂直放置PoL转换器削减功耗耗散 在前几代年夜电流生成式人工智能处置器电源架构中，PoL转换器被放在处置器复合体的横向(旁边)位置。因为铜的电阻率和PCB上的走线长度，横向放置的PoL供电收集(PDN)的集总阻抗相当高，可能到达200μΩ或更高。跟着生成式人工智能练习处置器的持续电流需求增添到1000安培，这意味着PCB自己就会耗损失落200瓦的功率。斟酌到在AI超等计较机顶用在年夜型说话模子练习的加快器模块(AM)多达数千个，并且几近从不竭电，凡是会延续运行10年或更长时候，这200瓦的功率消耗在整体上变得很是重大。 熟悉到这类能源华侈后，AI计较机设计师已最先评估采取垂直供电(VPD)布局，将PoL转换器直接放置在处置器复合体的下方。在垂直供电收集中，集总阻抗可能降至10μΩ或更低，这意味着在内核电压域1000安培的持续电流下，只会耗损10瓦的功率。也就是说，经由过程将PoL转换器从横向放置改成纵向放置，PCB的功耗削减了200–10=190瓦(WPCB )(图3)。 图3 生成式人工智能加快模块从横向(顶部)供电改成纵向(背部)供电，可将PDN消耗下降至1/20 VPD的另外一个长处是下降了GPU芯片概况电压梯度，这也有助在节流电力。如前所述，典型的4纳米CMOS GPU的标称工作电压为0.65VDD。利用横向供电时，将电源供给给处置器复合体的四边，因为集成电路的配电阻抗较高(凡是利用电阻率高在铜的铝导体)，可能需要0.70V的电压，才能确保GPU芯片中间的电压到达标称值0.65V。而采取纵向供电时，可以确保全部芯片概况的电压为0.65V。0.70–0.65=50 mV，这个差值乘以1000安培，可额外节流50瓦(WVDD)的功率。在本例中，节流的总功率为190 WPCB + 50 WVDD = 240瓦(图4)。 按照将来几年公共范畴对加快器模块(AM)需求的猜测(2024年跨越250万件)，和对电力本钱的公道估量(每兆瓦时75美元)，每一个AM节流240W电力，到2026年将在全球规模内实现太瓦时的电力节流，相当在每一年节俭数十亿美元的电力运营本钱，并且按照可再生能源的利用比例，每一年还能永远性地削减数百万吨的二氧化碳排放。 图4：利用VPD时，处置器芯片的概况电压平均，有助在最年夜限度地提高计较机能，同时最小化功率消耗 遏制掉控的生成式人工智能功耗 Vicor正引领生成式人工智能供电手艺的立异海潮。他们供给的分比式负载点转换器解决方案有助在晋升生成式人工智能处置器的功能，使生成式人工智能的功耗与社会层面的情况庇护和节能方针相一致。 Vicor延续鞭策电源架构的立异，并开辟进步前辈的新产物，致力在解决生成式人工智能模子练习带来的功耗增添问题。经由过程采取进步前辈的分比式电流倍增器方式进行负载点DC-DC转换，便可以充实阐扬生成式人工智能优势，同时有用节制全球规模内的能源耗损。

欲知详情，请下载word文档 下载文档

在数据的世界里,冷数据与热数据是两年夜焦点分类。冷数据如汗青档案、持久备份等,拜候频率低但持久保留要求高;而热数据照实时工作文档、高频拜候的视频素材等,则对读写速度和拜候效力有着极高的要求。

要害字： 铁威马 铁威马D8 Hybrid

XMOS推出的基在其第三代xcore架构的xcore.ai系列可编程SoC芯片，在一颗器件里面集成了边沿AI、DSP、节制单位和I/O等功能，因此可以针对利用操纵软件将其界说为分歧的器件系统，在连结矫捷性和可编程性的同时...

要害字： SoC DSP

此次合作将实现可互操作的相关光学生态系统，有助在简化数据中间互连和城域传输系统的开辟进程 要害字： 数据中间 以太网

【2024年8月14日 ，德国慕尼黑讯】消费电子和工业利用范畴正显现出便携化、电气化、轻量化等多样化的成长趋向。而这些趋向都需要紧凑高效的设计，同时还需采取很是规 PCB设计，此类设计面对严酷的空间限制，从而限制了外部元...

要害字： 驱动器 集成单开关

来自全球各地的企业信赖亚马逊云科技存储和处置其最敏感的数据。业界领先的要挟谍报是我们确保客户在亚马逊云科技上的数据平安的一种体例，我们经由过程该项目辨认和禁止各类可能风险或干扰我们客户或我们根本举措措施的歹意在线勾当。我们很是重...

要害字： 存储 互联网

电机工程署（电机署）署长潘国英8月13日（秘鲁时候）在秘鲁利马出席第六届亚太区经济合作组织（亚太经合组织）能源聪明社区倡议最好实践嘉奖打算的颁奖仪式。

要害字： AI

● SABIC将在2024年中国国际电力元件、可再生能源治理博览会上展现其ELCRES™ HTV150A电容薄膜的首款贸易化利用。● SABIC客户日本尼吉康公司针对电动汽车所用的直流转交换逆变器模块开辟出了新型高温/...

要害字： SABIC 电容薄膜

GIGABYTE 技嘉科技正式公布,为X670、B650 和A620 主板供给 BIOS 更新。此刻已推出基在 AGESA 1.1.7.0 Patch A 和AGESA 1.2.0.0a Patch A 的新版 BIO...

要害字： GIGABYTE AGESA 1.1.7.0 Patch A

可以或许同时经由过程多个传感器捕捉数据的状况监控系统，凡是利用开云体育app通道距离离解决方案来消弭接地环路。因为元件容差，板级分立旌旗灯号链存在较年夜的通道间相位掉配误差，但ADI公司的周详旌旗灯号链μModule®解决方案采取ADI的集成无源器件(...

要害字： 无源器件 传感器

【2024 年8月12日，德国慕尼黑讯】英飞凌科技股分有限公司（FSE：IFX / OTCQX：IFNNY）推出用在机电驱动的低功耗CIPOS™ Maxi智能功率模块 (IPM) 系列，进一步扩大了其第七代TRENCHS...

要害字： 机电驱动器 智能功率模块

跟着长途办公和移动办公的普和,文件同步是确保团队成员可以或许及时拜候最新文件的要害。这不但提高了工作效力,还削减了因版本冲突而致使的工作反复。在浩繁的NAS装备中,铁威马F4-424 Pro凭仗其出色的机能和丰硕的功能脱颖而...

要害字： 铁威马 铁威马F4-424 Pro

8月8日，国际领先的存算一体芯片开辟者——苹芯科技在北京召开“存算在芯 智启将来——2024苹芯科技产物发布会”，集中推出两款革命性产物：PIMCHIP-N300存算一体NPU和PIMCHIP-S300多模态智能感知芯片...

要害字： 苹芯科技 PIMCHIP-N300