- +1
百川發布金融大模型,采用自約束訓練方式提升“通專能力”
如何讓大模型在提升專業能力的同時不損失通用能力,是當下大模型落地具體場景的最大阻礙。12月23日,百川智能推出全鏈路領域增強金融大模型Baichuan4-Finance,采用自約束訓練方案,同步提升模型專項能力和通用能力,提高金融場景可用性。
百川智能由前搜狗公司CEO王小川于2023年創辦。全鏈路領域增強方案覆蓋了構建、模型預訓練、微調、強化學習等從模型研發到場景應用全流程,旨在提升模型多元場景可用性。據了解,Baichuan4-Finance的金融數據集包含金融專業教材與學術著作、頂級金融期刊論文、監管機構政策文件、金融法律法規等核心專業金融知識數據,以及金融專業問答集、企業財報與年度報告、金融類研究分析報告等實踐應用類數據。
在此基礎上,Baichuan4-Finance在領域自約束訓練過程中引入更高精的通用數據混合訓練,實現模型通用能力不下降、金融能力穩定增長,并在后訓練環節通過合成數據、指令數據對模型實施有監督的微調;在強化學習策略中,針對數學計算等金融領域特別關注的場景進行樣本增強等,提升模型性能。
在中國人民大學財政金融學院12月17日發布的金融評測體系FLAME的測評中,Baichuan4-Finance在銀行、保險、基金、證券等資格認證領域的準確率突破95%,整體準確率93.62%。
金融行業數據豐富,適合大模型落地。但在業內人士看來,當下大模型落地金融,還要解決四大問題:一是合規性,金融是強監管行業,任何新技術的應用都要滿足監管要求。二是安全性,如果幻覺問題不能徹底避免或消失,大模型落地金融就存在風險,與此同時,在涉及用戶敏感數據的問答時,大模型存在泄漏隱私數據風險。三是解釋性,金融是邏輯性強的行業,數據處理結果要求準確。四是經濟性,大模型更新速度越來越快,對算力、數據的要求越來越高,金融機構落地大模型還要考慮成本,“有時候小模型的效果不一定比大模型差。大模型和小模型的配合也會起很大作用,比如輿情分析、財務異常識別等。”





- 報料熱線: 021-962866
- 報料郵箱: news@thepaper.cn
互聯網新聞信息服務許可證:31120170006
增值電信業務經營許可證:滬B2-2017116
? 2014-2025 上海東方報業有限公司