智東西
作者 陳駿達 江宇
編輯 云鵬
智東西8月11日報道，今晚，智譜開源了其最新一代視覺理解模型GLM-4.5V。這一模型基于智譜新一代文本基座模型GLM-4.5-Air訓練而來，延續(xù)上一代視覺推理模型GLM-4.1V-Thinking的技術(shù)路線，擁有1060億參數(shù)，120億激活參數(shù)。GLM-4.5V還新增了思考模式的開關(guān)功能，用戶可自主控制模型是否進行思考。
這一模型的視覺能力解鎖了一些有趣的玩法。例如，模型現(xiàn)在可以看懂麥當勞和肯德基炸雞翅的區(qū)別了，還從炸雞的色澤、外皮質(zhì)感等角度，進行了全面分析。
GLM-4.5V還可以看圖猜地點，智譜稱，GLM-4.5V和人類玩家一起參與了拍圖猜地點積分賽，加入比賽7天后，GLM-4.5V的積分直接排到了賽事網(wǎng)站的第66名，超越了99%的人類用戶。
智東西還讓這一模型根據(jù)網(wǎng)頁截圖，打造了小紅書的同款網(wǎng)頁，實現(xiàn)了十之八九的相似度。
智譜分享了GLM-4.5V在42個基準測試中的成績，這些測試覆蓋圖像、視頻、文檔理解以及圖形界面智能體操作等常見任務。GLM-4.5V在其中41個測試中，得分超過同尺寸模型，如Step-3、Qwen2.5-VL等。
目前，這一模型已經(jīng)在開源平臺Hugging Face、魔搭、GitHub發(fā)布，并且額外提供了FP8量化版本。智譜還為其打造了一個體驗App，不過目前僅有Mac端可用(且必須為非Intel芯片)。
用戶還可在z.ai選擇GLM-4.5V模型，上傳圖片或視頻進行體驗，或在智譜清言APP/網(wǎng)頁版，上傳圖片，開啟“推理模式”進行體驗。
為幫助開發(fā)者體驗GLM-4.5V的模型能力，智譜同步開源了一款桌面助手應用。該桌面應用可實時截屏、錄屏獲取屏幕信息，并依托GLM-4.5V處理多種視覺推理任務，日常處理如代碼輔助、視頻內(nèi)容分析、游戲解答、文檔解讀等多類視覺任務。
GLM-4.5V API現(xiàn)已上線智譜開放平臺BigModel.cn，并提供了2000萬 tokens的免費資源包。其API最低價為每百萬輸入tokens/2元、每百萬輸出tokens/6元，支持圖像、視頻、文件和文本輸入。
模型上線后，智東西第一時間對其能力進行了體驗，并梳理了這款模型背后的部分技術(shù)創(chuàng)新。
模型開源地址：
https://github.com/zai-org/GLM-V
https://huggingface.co/collections/zai-org/glm-45v-68999032ddf8ecf7dcdbc102
https://modelscope.cn/collections/GLM-45V-8b471c8f97154e
桌面助手開源地址：
https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App
一、實測看圖報坐標略有翻車，網(wǎng)頁復現(xiàn)相似度較高
智東西在搭載GLM-4.5V的桌面助手應用中體驗了模型的部分功能。這一應用中提供了思考開關(guān)等設(shè)置，用戶還可自定義提示詞、模型設(shè)置等，提供了較大的自由度。
要使用模型，用戶需要提供GLM-4.5V的API密鑰，可在智譜的開放平臺獲得。
測試中，智東西首先使用了官方提供的一張照片，模型能夠準確猜出地點，并按照要求精確到經(jīng)緯度。
隨后，我們上傳了自己的測試圖，選用了一張“靈隱寺一角”的照片，這張圖難度不小——畫面中雖有黃色墻體、深色屋頂?shù)墓沤ㄖ⒏叽髽淠九c游客，但沒有明顯的地標性信息。右下角的路燈上雖印有“靈隱寺”字樣，但因使用的并非簡體字，未被系統(tǒng)識別出來。
系統(tǒng)在分析中誤將路燈上的“靈隱寺”識別為“寶原青”，并將圖片上的“感恩”識別成“威勝”，同時捕捉到另一處“包容”字樣。結(jié)合這些文字與環(huán)境特征，系統(tǒng)最終將結(jié)果推斷為四川都江堰的青城山。雖然未能準確匹配真實地點，但推理過程細節(jié)豐富，結(jié)果具備一定參考價值。
這一模型具備一定的GUI(圖形用戶界面)能力，這對理解、操作網(wǎng)頁或App等Agent場景至關(guān)重要。官方Demo中，GLM-4.5V可以幫助用戶在眼花繚亂的購物網(wǎng)站截圖中，計算出折扣信息，還對生成結(jié)果進行反思和確認。智譜的思考與執(zhí)行智能體AutoGLM最新版，就將使用GLM-4.5V。
生產(chǎn)力方面，GLM-4.5V現(xiàn)在可以根據(jù)網(wǎng)頁錄屏、截圖等復現(xiàn)前端代碼，分析畫面中內(nèi)容、樣式、布局等元素，推測背后的代碼，然后對交互邏輯進行建模與實現(xiàn)。
智東西體驗了App端提供的“網(wǎng)頁錄屏/截圖，復現(xiàn)特定功能”能力。用戶可在頁面上直接點擊截屏或局部錄屏按鈕，將錄制的視頻上傳至系統(tǒng)，由系統(tǒng)進行壓縮處理后，推理分析生成對應的HTML代碼，渲染可交互的前端。
在實際測試中，因訪問量可能過大，系統(tǒng)在近50分鐘內(nèi)未返回結(jié)果。隨后，我們將相同任務提交至智譜官方平臺，并以截圖形式交給GLM-4.5V，不到10分鐘便生成了網(wǎng)頁復刻版本。
▲智東西實測結(jié)果(結(jié)果鏈接：https://chat.z.ai/space/f00sx6s4jgp1-art)
生成的頁面在信息呈現(xiàn)上比小紅書網(wǎng)頁端更豐富——除點贊數(shù)外，還額外顯示評論數(shù)據(jù)，并增加了下方功能欄和右上角的通知按鈕。
但在瀑布流對齊效果上未能還原，缺少小紅書“精髓”的布局感。此外，該版本并未實現(xiàn)交互功能，可能是截圖內(nèi)容無法體現(xiàn)動態(tài)操作所致，上傳視頻或許可以改善。
智譜官方Demo展示的案例中，工作人員上傳了一小段知乎網(wǎng)頁版的操作錄像，最終GLM-4.5V交付了一個相對完整的網(wǎng)頁，點擊、跳轉(zhuǎn)、輸入等功能都正常運行。
如果對網(wǎng)頁局部位置不滿意，又不知道該如何在代碼中定位問題，用戶可以直接在網(wǎng)頁截圖中圈出不滿意的位置，模型能直接對背后代碼進行修改。
在PPT、PDF場景，GLM-4.5V可閱讀含有大量圖表的復雜長文本，能夠?qū)ξ谋具M行總結(jié)、翻譯、圖表提取等操作。
模型并不是通過OCR實現(xiàn)圖像信息提取的，而是直接用視覺方式讀取圖片，能在一定程度上避免了信息提取過程中的錯誤傳遞，對于圖表、表格等視覺化、結(jié)構(gòu)化信息的保留和解讀準確性得到提升。
博客介紹，GLM-4.5V在視覺定位這種傳統(tǒng)CV領(lǐng)域表現(xiàn)不錯，可以根據(jù)用戶提問，精準識別、分析、定位目標物體并輸出其坐標框。
這一能力可運用于安全與質(zhì)量檢查、高空遙感監(jiān)測分析。相較于傳統(tǒng)的基于視覺模型的物體識別，GLM-4.5V 憑借更豐富的世界知識與更強大的語義理解能力，能夠通過推理理解更復雜的定位指令。
二、支持64K多模態(tài)上下文，STEM、多模態(tài)定位、Agent獲針對性提升
GLM-4.5V由視覺編碼器、MLP適配器和語言解碼器三部分組成，支持64K多模態(tài)長上下文，支持圖像與視頻輸入，并通過三維卷積提升視頻處理效率。
模型采用雙三次插值機制，有效增強了模型對高分辨率及極端寬高比圖像的處理能力與穩(wěn)健性;同時，引入三維旋轉(zhuǎn)位置編碼(3D-RoPE)，顯著強化了模型對多模態(tài)信息的三維空間關(guān)系的感知與推理能力。
GLM-4.5V 采用三階段策略：預訓練、監(jiān)督微調(diào)(SFT)和強化學習(RL)。
其中，在預訓練階段，智譜結(jié)合大規(guī)模圖文交錯多模態(tài)語料和長上下文內(nèi)容，強化了模型對復雜圖文及視頻的處理能力。
在SFT階段，智譜引入了顯式“思維鏈”格式訓練樣本，增強了GLM-4.5V的因果推理與多模態(tài)理解能力。
最后，RL階段，模型經(jīng)歷了全領(lǐng)域多模態(tài)課程強化學習，通過構(gòu)建多領(lǐng)域獎勵系統(tǒng)(Reward System)，結(jié)合可驗證獎勵強化學習(RLVR)與基于人類反饋的強化學習(RLHF)，優(yōu)化了其在STEM問題、多模態(tài)定位、Agent任務等方面的能力。
結(jié)語：視覺理解已成Agent關(guān)鍵能力
視覺理解一直被認為是Agent與電腦、現(xiàn)實世界等交互的重要能力之一，在純文本模態(tài)之外，Agent還需要理解圖像、視頻等信息，才能補齊它與人類認知方式之間的差距。
智譜本次開源的GLM-4.5V擁有一定視覺理解能力，并在GUI等場景展現(xiàn)出了應用價值，其后續(xù)與Agent應用的結(jié)合，值得期待。
