今天（4日）2024世界人工智能大會暨人工智能全球治理高級別會議在上海世博中心啟幕。在“AI賦工業，數智啟未來”人工智能賦能新型工業化主題論壇上，《中國AI大模型工業應用指數（2024年）》發布。
隨著人工智能技術的快速迭代發展，AI大模型工業應用場景不斷豐富。“中國AI大模型工業應用指數”旨在及時跟蹤國內外AI大模型技術發展態勢，挖掘大模型潛在工業應用場景，系統評估通用人工智能與工業融合的進展與成效。
指數體系由大模型基礎應用能力與行業應用能力構成。大模型基礎應用能力包含文生文、圖生文等領域的準確性、穩定性能力；大模型的行業應用能力包含民爆、電力、石化、鋼鐵、醫藥等重點行業大模型在研發設計、生產制造、運維管理等環節具體場景的應用有效程度。
經過多輪測評與專家研討，在基礎應用能力方面，率先發布中國AI大模型文生文準確性與穩定性指數，其中準確性指數反映了國內外頭部AI大模型在工業領域文本生成的精準程度。總體上，國內大模型準確性指數為78，國際大模型準確性指數為76，國內頂級大模型在工業領域文本生成的準確性已具備競爭力；在行業知識層面，我國在多個行業如電力、建材、紡織的知識儲備已經具備一定領先優勢；細分能力層面，國內模型在語句能力和專業知識掌握上比國外模型更加優秀，在數理能力還有待提升。穩定性指數代表模型在一定外部擾動下持續給出正確回答的能力，反映模型在復雜環境下的魯棒性。總體上，國內大模型穩定性指數為71分，低于國際的74分；在行業知識層面，電力和采礦等行業知識儲備有待提升；在細分能力層面，國內大模型需要在順序變換和邏輯擾動等領域需進一步加強。
在行業應用能力方面，率先發布中國AI大模型民爆行業應用指數，針對大模型在民爆行業安全防控場景開展應用評測。總體上，國內大模型行業應用指數為84分，國際為93分，國外大模型仍具備領先優勢；在場景細分能力上，國內大模型在人員行為監測、事故監測、危險車輛監測細分場景與國外大模型有一定的差距，國內模型仍有較大進步空間。