為了進一步推動在企業AI領域建立獨特的地位，IBM今天推出了一系列新的語言模型和工具，以確保負責任地使用它們。

IBM還推出了新一代用于應用開發和現代化的watsonx Code Assistant。所有這些新功能都捆綁在一個多模型平臺中，供IBM的160000名顧問使用。

這次新推出Granite 3.0 8B和2B模型有“Instruct”和“Guardian”兩種變體，分別用于訓練和風險/危害檢測。IBM軟件高級副總裁、首席商務官Rob Thomas（如圖）稱，這兩款產品都將在Apache 2.0許可下提供，后者是“讓企業和合作伙伴在其上創造價值的最寬松的許可”。Apache開源許可允許以每臺服務器100美金的低價部署模型，并提供知識產權賠償，旨在讓企業客戶有信心將他們的數據與IBM模型相結合。

“我們已經從‘附加AI’——也就是客戶在經營業務的同時在其基礎上添加AI），轉變為‘AI優先’——也就是企業基于AI構建他們的業務模式，”Thomas說道。IBM打算通過有機發展、以及收購和即將收購Turbonomic、Apptio和HashiCorp等專注于基礎設施的公司，在將AI用于IT自動化方面處于領先地位。

Thomas表示：“我們在生成式AI上建立的業務，如今在技術和咨詢領域的規模已經超過20億美金，我不確定以前我們是否有過以這種速度擴展的業務?！?/p>

Granite的Instruct版本主要用于訓練，有80億個參數和20億個參數兩種版本，在12種語言和116種編程語言的超過12萬億個訓練數據token上進行了訓練，使其能夠進行編碼、文檔和翻譯。

IBM表示，計劃在今年年底前把基礎模型擴展到具有多模態性的128000個token上下文長度，指的是增強模型使其能夠處理更長的輸入序列和同時處理多種數據類型。上下文長度是AI模型可以處理和保留的標記數（例如單詞、符號或其他輸入數據單元），典型模型的上下文長度在1000個到8000個token。

theCUBE Research首席分析師Dave Vellante表示：“在我看來，IBM采取了正確的方法，它沒有試圖成為最大的大型語言模型，也沒有試圖與ChatGPT和Llama等消費者模型正面競爭，而是專注于更小型的、更高效的、更具成本效益的模型?！?/p>

企業主力

IBM表示，新的Granite模型是企業的“主力”，用于檢索增強生成（RAG）、分類、摘要、代理訓練、實體提取和工具使用等任務，可以使用企業數據進行訓練，在削減成本近60倍的同時，提供更大模型的任務特定性能。有內部基準測試顯示，Granite 8B模型的性能優于Google和Mistral AI SAS的同類模型，與Meta Platforms的同類模型相當。

有一份隨附的技術報告和負責任的使用指南，提供了用于訓練模型的訓練數據集的詳盡文檔，以及應用的過濾、清理和管理步驟的詳細信息和基準數據對比。

IBM今年早些時候發布了對預訓練型Granite的更新版本，使用了三倍多的數據進行訓練，通過支持外部變量和滾動預測提供更大的建模靈活性。

Vellante說：“IBM有機會提供特定領域的小型語言模型，在這里IBM可以找到那些尚未在整個互聯網語料庫上訓練的99%的數據。相反，IBM還可以致力于推動具有更大客戶差異化的專有用例。”

Granite Guardian 3.0模型旨在通過檢查用戶提示和模型響應是否存在各種風險來提供安全保護措施。IBM高級副總裁、研究總監Dario Gil表示：“你可以在進行推理查詢之前就將輸入和輸出連接起來，以防止核心模型越獄并防止暴力、褻瀆等。我們會盡一切可能讓它盡可能地安全?！?/p>

這里的“越獄”是指惡意地繞過對AI系統施加的限制或安全措施，使其以非預期或潛在有害的方式操作。Guardian還執行RAG特定的檢查，例如上下文相關性、答案相關性和“接地性”——指的是模型與現實世界數據、事實或上下文的聯系程度和參考程度。

邊緣AI

IBM有一組名為Granite Accelerators和Mixture of Experts（MoE）的小型模型，旨在用于低延遲和純CPU的應用。MoE是一種機器學習架構，結合了多個專用模型，可以動態地選擇和激活其中的子集以提高效率。

Gil表示：“Accelerator讓你可以實現推測解碼，這樣你就可以實現核心模型兩倍的吞吐量而不會犧牲質量。”MoE模型可以使用10萬億個token進行訓練，但在推理過程中僅使用8億個token來提高邊緣用例的效率。

Granite 8B和2B模型的Instruct和Guardian變體很快就會在IBM watsonx平臺上提供商用。精選的Granite 3.0模型也將在合作伙伴平臺上提供，例如Nvidia NIM堆棧和Google Vertex。整個Granite 3.0模型套件和更新的時間序列模型可在HuggingFace的開源平臺和Red Hat Enterprise Linux上進行下載。

新的基于Granite 3.0的watsonx Code Assistant支持C、C++、Go、Java和Python語言，為企業Java應用提供新的應用現代化功能。IBM表示，這個助手工具讓軟件開發業務中的某些任務代碼文檔編寫速度提高了90%。代碼功能可通過名為IBM Granite.Code的Visual Studio Code擴展訪問。

更多、更好的代理

面向開發人員的新工具中包括了代理框架、與現有環境的集成、以及針對RAG和代理等常見用例的低代碼自動化。

由于代理AI（即能夠自主行為或決策的系統）將成為AI開發的下一波浪潮，IBM還表示，IBM正在為咨詢部門配備一個多模式代理平臺。IBM新創建的Consulting Advantage for Cloud Transformation以及Consulting Advantage for Business Operations咨詢業務線將包括領域特定的AI代理、應用和方法，這些代理、應用和方法均經過IBM知識產權和最佳實踐的訓練，顧問可以將其應用于客戶的云和AI項目中。

IBM Consulting高級副總裁Mohamad Ali表示，目前約有80000名IBM顧問正在使用Consulting Advantage，其中大多數顧問一次只部署一兩個代理。然而，隨著使用量的增長，IBM Consulting將需要支持超過150萬個代理，這使得Granite的經濟性“絕對是十分重要的，因為我們將繼續擴展這個平臺，而且我們需要非常具有成本效益”。

Vellante表示：“IBM正在大幅降低訓練成本，并以足夠高的準確度運行大型語言模型，因此想象一下，結果就是以相同或更好的性能和大致相同的準確度，以十分之一的成本實現這一目標。這是IBM的一個巨大優勢，而且IBM正以開源和合作伙伴的心態來實現這一優勢。”

他說，IBM現在的關鍵是“協調業務的所有部分并利用其強大的研究能力。例如，IBM擁有自己的大型語言模型（Granite），與其他幾家大型語言模型公司建立了合作伙伴關系，而且擁有watsonx ai、用于數據的watson、用于治理的watson、Red Hat、InstructLab、數據和分析、通過咨詢獲得的行業知識、基礎設施、硅片專業知識和軟件。如果IBM能為客戶整合所有這些，那么在我看來，它就會成為一股主要的力量?！?/p>

他補充說，這可能對IBM整體來說是有利的?！翱偟膩碚f，IBM的發展方向讓我感到非常鼓舞，幾個月前我在LinkedIn上寫道，十多年來我從未對IBM如此興奮過。從那時候開始IBM的股價創下歷史新高，我認為IBM是前景光明的。”