基于英特爾?至強?處理器，寶德AIGC解決方案加速釋放AI動能

　　當前，生成式AI和大模型正以燎原之勢走進制造、金融、醫療、交通、教育等行業和領域，引發行業更多創新和變革，加速全社會數字化和智能化轉型。近日，工信部賽迪研究院發布報告顯示，2023年我國生成式人工智能市場規模有望突破10萬億元。作為中國領先的計算產品方案提供商和AI服務器市場TOP3，寶德計算憑借豐富的市場經驗和對客戶AI需求的深刻洞察，攜手英特爾AI軟硬件基礎技術，匠心打磨和推出了寶德生成式AI解決方案。

　　一鍵部署，靈活定制

　　寶德AIGC解決方案是軟硬一體化解決方案，既可以集群部署也可以單機部署，方案架構包含硬件層、平臺層、服務層和應用層。在硬件層，寶德充分發揮了20年服務器行業技術積累，提供涵蓋AI訓練服務器、AI推理服務器和AI邊緣產品等多平臺選擇和可兼容，進行模型的高速訓練、微調和高效推理。在硬件基礎上，方案采用K8S進行集群資源管理(單機部署采用Docker)。基于雄厚的硬件層和平臺層，在服務層部署了ChatGLM大模型推理服務、由GLM微調而來的行業大模型-寶德酒業大模型推理服務、寶德自研的嵌入數據倉庫服務，可以將行業數據轉換成向量數據，存儲到向量數據庫中，通過相似度匹配算法查詢出相關內容交給大語言模型進行推理、LLM Functions服務，主要讓大語言模型擁有調用后端接口的能力。基于這些硬件和服務，寶德開發了諸如聊德寶、AI客服和數字人等多種AI應用，可廣泛服務于行業大模型、智能語音助手、網絡直播、線上教育和培訓等領域。

　　值得一提的是，寶德深耕行業多年，基于對市場的理解和對客戶生成式AI多樣性的計算需求，可提供生成式AI解決方案的定制化服務。

　　性能卓越、成本可控

　　AIGC快速發展之時，算力越來越緊缺和成本越來越高，逐漸成為影響AIGC發展和落地應用的“絆腳石”。并且，從大模型的發展和應用看，AI推理的規模遠高于訓練，有效降低推理成本成為寶德的思路。對此，寶德技術團隊經過反復測試和調優，精心準備了全部采用英特爾全新的至強處理器(Max系列)平臺，以及Intel GPU的AIGC解決方案，使其集強大的AI計算、推理性能和卓越的經濟效益于一體，以充分釋放AI動能。

　　第四代英特爾?至強?可擴展處理器MAX系列CPU在大語言模型(LLM)推理方面有獨特優勢。它有32至56個內核，可提供最高112線程，內置英特爾高級矩陣擴展(AMX)的AI加速功能，可幫助諸如圖像識別、對象探測等任務中的張量處理獲得多倍效率提升，并可用于INT8、BF16等不同數據格式，性能高達上一代10倍。而且所有MAX處理器都內置了64GB的HBM2e 高帶寬內存，分為4個16GB的集群，總內存帶寬為1 TB / s，能夠解決大模型工作負載經常受到內存帶寬限制的窘境，數倍提升推理性能。并且，其價格極具競爭力。

　　寶德在基于此CPU和Intel Flex GPU的自研服務器PR2715E上開發部署了LLM方案-聊德寶，它擁有調用私域數據的能力，讓AI應用更加智能化、個性化地為用戶提供服務，目前已經應用于寶德服務器AI客服、金沙古酒AI客服、金沙古酒直播數字人等產品。聊德寶具有快速遷移、便捷部署、多路并發的顯著優勢;最重要的是，該方案價格同比其它常規方案最高節約超過50%!

　　更妙的是，近日寶德服務器全面升級到第五代英特爾?至強?平臺，第五代英特爾?至強?處理器除了具有更可靠的性能和更出色的能效外，它的AI性能大幅度提升，每個內核都具備 AI 加速功能，無需添加獨立加速器，就可處理要求嚴苛的 AI 工作負載，包括對參數量多達 200 億的模型進行推理和調優。 因此寶德AIGC解決方案將進一步測試適配升級到第五代英特爾?至強?平臺，為客戶部署AI應用提供更具性價比的優選方案。

　　大模型和AIGC正在日新月異地蓬勃發展，加速應用場景落地和引領產業變革勢不可擋。寶德將繼續攜手英特爾，發揮AI優勢，聯合創新研發和應用，不斷迭代優化生成式AI解決方案，為數據中心等客戶打造高效便利和更加普惠的AI基礎設施，加速釋放AI動能，更好地服務中國數字經濟高質量發展!