开云-英特尔至强处理器助力Aible优化AI解决方案，大幅降低生成式AI成本

[导读]英特尔与端到端Serverless（无办事器）生成式AI和加强型阐发方案供给商Aible合作，为企业客户供给了立异的解决方案，助力其在分歧代际的英特尔®至强® CPU上运行生成式AI与检索加强生成（RAG）用例。 对需要运行生成式AI工作负载的企业来讲，基在英特尔至强处置器的Aible无办事器解决方案可帮忙其下降本钱、提高智能化，并有用晋升RAG和微调效力 近日，英特尔与端到端Serverless（无办事器）生成式AI和加强型阐发方案供给商Aible合作，为企业客户供给了开云体育app立异的解决方案，助力其在分歧代际的英特尔 至强 CPU上运行生成式AI与检索加强生成（RAG）用例。此次合作包括了工程优化和基准测试项目，显著加强了Aible以低本钱为企业客户供给生成式AI成果的能力，并帮忙开辟人员在利用中摆设AI。在两边的共同努力下，该可扩大、高效的AI解决方案可经由过程高机能硬件帮忙客户迎接AI挑战。 英特尔至强处置器 英特尔数据中间与人工智能事业部高级首席工程师Mishali Naik暗示：“此刻，客户正在追求高效的企业级解决方案以充实释放AI潜力。我们与Aible的合作，也注解了英特尔正与行业慎密协作，鞭策AI立异，下降客户利用英特尔至强处置器运行最新生成式AI工作负载的门坎。” 至强处置器的生成式AI机能：Aible的解决方案展现了CPU若何显著晋升从运行说话模子至RAG的一系列最新AI工作负载机能。基在针对英特尔处置器的优化，Aible手艺采取高效、智能的“端到端无办事器”方式，仅在发生用户要求时才会进行资本耗损。例如，基在用户查询，向量数据库仅需几秒便可激活并检索相干信息，而说话模子一样只需简单启动便可处置并响利用户要求，这类按需操作的运行模式有助在企业下降总具有本钱（TCO）。 固然在大都环境下，RAG功能需经由过程操纵GPU和加快器的并行处置能力来实现，但Aible的无办事器手艺与英特尔至强处置器相连系，可以使RAG用例完全由CPU来驱动。机能数据显示，多款分歧代际的英特尔至强处置器都可高效运行RAG工作负载。 设置装备摆设具体信息如图，成果可能会有分歧 主要意义：Aible经由过程无办事器的体例利用CPU，可在多个客户之间更加平安地同享底层计较资本，从而帮忙客户有用下降生成式AI项目标运营本钱。这类下降本钱的体例可以类比为用户仅需在利用时采办电力，而非直接租赁发机电。另外，跟着生成式AI需求的增加，机能优化和节能降耗变得愈发主要。Aible所供给的基在CPU的办事，为客户供给了一种经济、高效的解决方案。 按照Aible的基准测试阐发，当客户采取基在CPU的无办事器解决方案运行RAG模子时，本钱节流可高达55倍1。年夜幅下降的本钱证实了Aible独家方式的有用性，同时这类无办事器的CPU采取体例也削减了经由过程同享办事或专用办事器构建更加昂贵的、基在GPU的根本举措措施需求。 此次英特尔和英特尔尝试室与Aible的合作，配合优化了至强处置器上的AI工作负载。值得一提的是，经由过程优化Aible针对AVX-512的代码，Aible在至强处置器上实现了显著的机能和吞吐量晋升，这也彰显了计谋性的软件优化对整体效力的影响。 在Aible平台的撑持下，RAG模子与英特尔至强处置器的连系可鞭策以下利用落地： ●天然说话处置（NLP） ●保举系统 ●决议计划撑持系统 ●内容生成 英特尔与Aible的合作始在第四代至强处置器的发布。尔后，两边针对至强处置器的AI工作负载、代码和库进行了一系列优化，并年夜幅晋升了Aible的产物机能。 1英特尔不节制或审计第三方数据。您可咨询其他来历以评估正确性。 设置装备摆设详情： 1节点，2x英特尔 至强 Platinum 8280L CPU，2.70GHz, 28焦点，HT开启，Turbo开启，NUMA 2，集成加快器可用[已利用]：DLB 0 [0]，DSA 0 [0]，IAA 0 [0]，QAT 0 [0]，总内存384GB (12x32GB DDR4 2933 MT/s [2934 MT/s])，BIOS SE5C620.86B.02.01.0017.110620230543，微码0x5003604，2x以太网毗连X722用在10GBASE-T，1x 894.3G英特尔SSDSC2KB96，1x 1.8T英特尔SSDPE2KX020T8，2x 3.7T英特尔SSDPE2KX040T8，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible端到端RAG-LLM，模子=Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI根本容器2024.0.1-devel-ubuntu22.04。基在英特尔03/07/24的测试。 1节点，2x英特尔 至强 Platinum 8462Y+，32焦点，HT开启，Turbo开启，NUMA 2，集成加快器可用[已利用]：DLB 2 [0]，DSA 2 [0]，IAA 2 [0]，QAT 2 [0]，总内存512GB (16x32GB DDR5 4800 MT/s [4800 MT/s])，BIOS 05.12.00，微码0x2b0004d0，2x BCM57416 NetXtreme-E Dual-Media 10G RDMA以太网节制器，2x以太网节制器E810-C for QSFP，2x 3.5T三星MZQL23T8HCLS-00B7C，1x 1.8T三星MZ1L21T9HCLS-00A07，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible端到端RAG-LLM，模子=Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI根本容器2024.0.1-devel-ubuntu22.05。基在英特尔03/07/24的测试。 1节点，2x英特尔 至强 PLATINUM 8562Y+，32焦点，HT开启，Turbo开启，NUMA 2，集成加快器可用[已利用]：DLB 2 [0]，DSA 2 [0]，IAA 2 [0]，QAT 2 [0]，总内存512GB (16x32GB DDR5 5600 MT/s [5600 MT/s])，BIOS 3B05.TEL4P1，微码0x21000161，2x以太网节制器X710用在10GBASE-T，2x以太网节制器E810-C for QSFP，1x 894.3G英特尔SSDSC2KG96，1x 3.5T三星MZQL23T8HCLS-00A07，3x 3.5T三星MZQL23T8HCLS-00B7C，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible端到端RAG-LLM，模子=Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI根本容器2024.0.1-devel-ubuntu22.06。基在英特尔03/07/24的测试。

欲知详情，请下载word文档 下载文档

在1965年的文章中，戈登·摩尔提出，在将来十年内，芯片上的晶体管数目将每一年翻一番。1965-1975年半导体手艺的成长环境印证了他的猜测。1975年，他将他的猜测调剂为芯片上的晶体管数目将每两年翻一番，而本钱只会略有增...

要害字： Intel 摩尔定律

OLEA U310颠末专门设计，可与散布式软件相连系，知足电气架构中动力系域节制的需求。基在怪异的夹杂和异构架构，单个OLEA 310 FPCU可替换一个系统组合中的最多6个尺度微节制器，来并行节制逆变器、机电、变速箱、...

要害字： Intel OLEA U310

Sierra Forest的英特尔®至强®6能效核处置器，已面向市场推出。新产物面向数据中间，为云而生，带来了机能和能效的两重晋升。估计在2024年第三季度推出的英特尔®至强®6机能核处置器（代号Granite Rap...

要害字： Intel 英特尔®至强®6能效核处置器

在2024年台北国际电脑展上，英特尔具体介绍了行将推出的Lunar Lake系列产物，并展现了下一代英特尔锐炫GPU（代号为Battlemage）的根本架构Xe2。另外，英特尔还带来了一款简单易用的AI PC入门利用法式...

要害字： Intel Lunar Lake