# Model Access Params Ctx Elo ↓ GPQA ARC-Challenge IFEval HellaSwag BIG-Bench Hard WinoGrande HLE DROP PIQA IFBench ARC-Easy OpenBookQA AGIEval Social IQa ARC-AGI-2 LAMBADA RACE-H SuperGPQA ARC-AGI-1 ANLI BIG-bench XWinograd StoryCloze
1 GPT-5.6 OpenAI CLOSED — 1.05M 3073.2 94.6% — — — — — 47.2% — — — — — — — 92.5% — — — 96.5% — — — — 2 Kimi K3 Moonshot AI OPEN 2800B 1.024M 3025.3 93.5% — — — — — 56.0% — — — — — — — — — — — — — — — — 3 Claude Fable 5 Anthropic CLOSED — 1M 2936.7 92.6% — — — — — 53.3% — — — — — — — — — — — — — — — — 4 Claude Opus 4.8 Anthropic CLOSED — 1M 2794.3 93.6% — — — — — 49.8% — — — — — — — — — — — — — — — — 5 GPT-5.4 Pro OpenAI CLOSED — 1.05M 2786.0 94.4% — — — — — 42.7% — — — — — — — 83.3% — — — 94.5% — — — — 6 GPT-5.5 (xHigh) OpenAI CLOSED — 1.05M 2725.9 93.5% — — — — — 44.0% — — — — — — — — — — — — — — — — 7 Claude Opus 4.7 Anthropic CLOSED — 1M 2702.0 94.2% — — — — — 46.9% — — — — — — — 75.8% — — — — — — — — 8 GPT-5.5 OpenAI CLOSED — 1.05M 2680.9 93.6% — — — — — 41.4% — — — — — — — 85.0% — — — — — — — — 9 Seed 2.1 Pro ByteDance CLOSED — 256K 2665.9 — — — — — — 42.9% — — — — — — — 62.5% — — 70.8% — — — — — 10 Muse Spark 1.1 (xhigh) Meta CLOSED — 1M 2605.1 90.0% — — — — — 45.0% — — — — — — — — — — — — — — — — 11 Gemini 3.1 Pro Google CLOSED — 1M 2598.4 94.3% — — — — — 44.4% — — — — — — — 77.1% — — — — — — — — 12 Qwen3.7-Max Alibaba CLOSED — 1M 2564.6 92.4% — 94.3% — — — 41.4% — — 79.1% — — — — — — — 73.6% — — — — — 13 GPT-5.5 (High) OpenAI CLOSED — 1.05M 2563.6 93.2% — — — — — 43.0% — — 71.6% — — — — — — — — — — — — — 14 MiniMax M3 MiniMax OPEN 428B·23Ba 1.024M 2519.3 92.9% — — — — — 37.0% — — 83.0% — — — — — — — — — — — — — 15 Kimi K2.6 Moonshot AI OPEN 1000B·32Ba 256K 2517.3 90.5% — — — — — 54.0% — — — — — — — — — — — — — — — — 16 DeepSeek-V4-Pro (Think Max) DeepSeek OPEN 1600B·49Ba 1M 2517.1 90.1% — — — — — 37.7% — — — — — — — 46.0% — — — — — — — — 17 Gemini 3.5 Flash Google CLOSED — 1M 2513.6 92.2% — — — — — 40.2% — — 76.3% — — — — 72.1% — — — — — — — — 18 GPT-5.2 OpenAI CLOSED — 400K 2495.0 92.4% — — — — — 34.5% — — — — — — — 52.9% — — — 86.2% — — — — 19 Claude Sonnet 5 Anthropic CLOSED — 1M 2490.3 90.5% — — — — — 57.4% — — — — — — — — — — — — — — — — 20 Hy3 Tencent OPEN 295B·21Ba 256K 2485.4 90.4% — — — — — 37.0% — — — — — — — — — — — — — — — — 21 Grok 4.5 SpaceXAI CLOSED — 500K 2481.9 93.1% — — — — — 40.3% — — — — — — — — — — — — — — — — 22 GPT-5.4 OpenAI CLOSED — 1.05M 2473.4 92.8% — — — — — 39.8% — — — — — — — 73.3% — — — 93.7% — — — — 23 Claude Opus 4.6 Anthropic CLOSED — 1M 2459.4 91.3% — — — — — 40.0% — — — — — — — 68.8% — — — 94.0% — — — — 24 GLM-5.2 (Max) Zhipu AI / Z.ai (Tsinghua) OPEN 744B·40Ba 1M 2455.0 91.2% — — — — — 40.5% — — 73.3% — — — — — — — — — — — — — 25 Claude Sonnet 4.6 Anthropic CLOSED — 1M 2437.8 89.9% — — — — — 49.0% — — — — — — — 58.3% — — — — — — — — 26 Qwen3.7-Plus Alibaba CLOSED — 1M 2436.9 90.3% — 94.6% — — — 34.7% — — 79.1% — — — — — — — 71.4% — — — — — 27 DeepSeek-V4-Pro (Think High) DeepSeek OPEN 1600B·49Ba 1M 2395.1 89.1% — — — — — 34.5% — — — — — — — — — — — — — — — — 28 Gemini 3 Pro Google CLOSED — 1M 2353.3 91.9% — — — — — 37.5% — — — — — — — 31.1% — — — — — — — — 29 GPT-5 Pro OpenAI CLOSED — 400K 2349.9 88.4% — — — — — 31.6% — — — — — — — 18.3% — — — 70.2% — — — — 30 Gemini 3 Flash Google CLOSED — 1M 2346.9 90.4% — — — — — 33.7% — — — — — — — 33.6% — — — — — — — — 31 Grok 4 Heavy SpaceXAI CLOSED — 256K 2339.9 88.9% — — — — — 44.4% — — — — — — — 16.2% — — — — — — — — 32 DeepSeek-V4-Flash (Think Max) DeepSeek OPEN 284B·13Ba 1M 2330.6 88.1% — — — — — 34.8% — — — — — — — — — — — — — — — — 33 Qwen3.6-Plus Alibaba CLOSED — 1M 2318.5 88.2% — 94.3% — — — 25.7% — — 75.2% — — — — — — — 71.6% — — — — — 34 Claude Opus 4.5 (High) Anthropic CLOSED — 200K 2301.0 87.0% — — — — — 43.2% — — — — — — — 37.6% — — — 80.0% — — — — 35 Grok 4.3 (High) SpaceXAI CLOSED — 1M 2298.5 90.1% — — — — — 35.0% — — 81.3% — — — — — — — — — — — — — 36 Claude Opus 4.5 Anthropic CLOSED — 200K 2274.5 87.0% — — — — — 43.2% — — — — — — — 37.6% — — — 80.0% — — — — 37 Grok Build 0.1 SpaceXAI CLOSED — 256K 2268.3 89.0% — — — — — 36.0% — — — — — — — — — — — — — — — — 38 Inkling Thinking Machines Lab OPEN 975B·41Ba 1M 2254.0 87.2% — — — — — 29.7% — — 79.8% — — — — — — — — — — — — — 39 Kimi K2.5 Moonshot AI OPEN 1000B·32Ba 256K 2253.5 87.6% — — — — — 50.2% — — — — — — — — — — — — — — — — 40 GLM-5.1 Zhipu AI / Z.ai (Tsinghua) OPEN 744B·40Ba 200K 2241.1 86.2% — — — — — 31.0% — — 76.0% — — — — — — — — — — — — — 41 DeepSeek-V4-Flash (Think High) DeepSeek OPEN 284B·13Ba 1M 2239.5 87.4% — — — — — 29.4% — — — — — — — — — — — — — — — — 42 Kimi K2.7 Code Moonshot AI OPEN 1000B·32Ba 256K 2232.7 90.0% — — — — — 33.0% — — 63.0% — — — — — — — — — — — — — 43 GPT-5.1 OpenAI CLOSED — 400K 2229.4 88.1% — — — — — 23.7% — — — — — — — 17.6% — — — 72.8% — — — — 44 Step 3.7 Flash StepFun OPEN 198B·11Ba 262K 2228.0 78.4% — — — — — 49.7% — — — — — — — — — — — — — — — — 45 MiMo-V2.5-Pro Xiaomi OPEN 1020B·42Ba 1M 2199.4 86.6% — — — — — 33.8% — — 79.9% — — — — — — — — — — — — — 46 Nemotron 3 Ultra 550B A55B NVIDIA OPEN 550B·55Ba 1M 2186.9 87.0% — — — — — 26.7% — — 81.7% — — — — — — — — — — — — — 47 Qwen3.5-397B-A17B Alibaba OPEN 397B·17Ba 256K 2182.0 88.4% — 92.6% — — — 28.7% — — 76.5% — — — — — — — 70.4% — — — — — 48 Kimi K2 Thinking Moonshot AI OPEN 1000B·32Ba 256K 2177.2 84.5% — — — — — 44.9% — — 68.0% — — — — — — — — — — — — — 49 MiniMax M2.7 MiniMax OPEN 230B·10Ba 200K 2148.5 87.0% — — — — — 28.0% — — 76.0% — — — — — — — — — — — — — 50 GLM-5 Zhipu AI / Z.ai (Tsinghua) OPEN 744B·40Ba 200K 2123.1 86.0% — — — — — 30.5% — — 72.0% — — — — — — — — — — — — — 51 OpenAI o3-pro OpenAI CLOSED — 200K 2103.6 84.0% — — — — — — — — — — — — — — — — — — — — — — 52 GPT-5.4 mini OpenAI CLOSED — 400K 2098.8 88.0% — — — — — 28.2% — — — — — — — 18.9% — — — — — — — — 53 openPangu-2.0-Flash (Thinking) Huawei OPEN 92B·6Ba 512K 2087.7 83.7% — 95.9% — — — — — — 79.6% — — — — — — — — — — — — — 54 GPT-5 OpenAI CLOSED — 400K 2082.7 85.7% — — — — — 24.8% — — — — — — — 9.9% — — — 65.7% — — — — 55 MiMo-V2.5 Xiaomi OPEN 310B·15Ba 1M 2077.0 84.9% — — — — — 25.2% — — 67.1% — — — — — — — — — — — — — 56 Qwen3.6-27B Alibaba OPEN 27B 256K 2041.8 87.8% — — — — — 24.0% — — — — — — — — — — 66.0% — — — — — 57 Qwen3.5-122B-A10B Alibaba OPEN 122B·10Ba 256K 2021.4 86.6% — 93.4% — — — 25.3% — — 76.1% — — — — — — — 67.1% — — — — — 58 Gemma 4 Google OPEN 30.7B 256K 1997.8 84.3% — — — — — 19.5% — — — — — — — — — — — — — — — — 59 Claude Sonnet 4.5 Anthropic CLOSED — 200K 1976.7 83.4% — — — — — 33.6% — — — — — — — 13.6% — — — — — — — — 60 Qwen3.6-35B-A3B Alibaba OPEN 35B·3Ba 256K 1971.2 86.0% — — — — — 21.4% — — — — — — — — — — 64.7% — — — — — 61 Grok-4 SpaceXAI CLOSED — 256K 1968.6 87.5% — — — — — 25.4% — — — — — — — 15.9% — — — 66.6% — — — — 62 GPT-5.4 nano OpenAI CLOSED — 400K 1965.6 82.8% — — — — — 24.3% — — 76.0% — — — — — — — — — — — — — 63 OpenAI o3 OpenAI CLOSED — 200K 1926.8 83.3% — — — — — 24.9% — — — — — — — 2.9% — — — 53.0% — — — — 64 Gemini 3.1 Flash-Lite Google CLOSED — 1M 1920.1 86.9% — — — — — 16.0% — — — — — — — — — — — — — — — — 65 Grok-3 (Think) SpaceXAI CLOSED — 131K 1908.8 84.6% — — — — — — — — — — — — — — — — — — — — — — 66 DeepSeek-V3.1 (Thinking) DeepSeek OPEN 671B·37Ba 128K 1903.9 80.1% — — — — — 15.9% — — — — — — — — — — — — — — — — 67 GLM-4.6 Zhipu AI / Z.ai (Tsinghua) OPEN 357B·32Ba 200K 1896.5 81.0% — — — — — 17.2% — — 36.7% — — — — — — — — — — — — — 68 Qwen3.5-Plus Alibaba CLOSED — 1M 1882.6 85.9% — 89.7% — — — — — — 51.1% — — — — — — — 67.4% — — — — — 69 Trinity-Large-Thinking Arcee AI OPEN 398B·13Ba 512K 1881.7 76.3% — — — — — 15.0% — — 52.3% — — — — — — — — — — — — — 70 DeepSeek-V3.2-Exp DeepSeek OPEN 685B·37Ba 128K 1875.1 79.9% — — — — — 19.8% — — — — — — — — — — — — — — — — 71 OpenAI o4-mini OpenAI CLOSED — 200K 1875.1 81.4% — — — — — 17.7% 77.7 — — — — — — — — — — — — — — — 72 GPT-5 mini OpenAI CLOSED — 400K 1873.5 82.3% — — — — — 16.7% — — 75.0% — — — — — — — — — — — — — 73 MiniMax-M2 MiniMax OPEN 229.9B·9.8Ba 192K 1871.5 78.0% — — — — — 31.8% — — 72.0% — — — — — — — — — — — — — 74 Gemini 2.5 Pro Google CLOSED — 1M 1865.2 84.0% — — — — — 18.8% — — — — — — — — — — — — — — — — 75 gpt-oss-120b (High) OpenAI OPEN 117B·5.1Ba 128K 1845.2 80.1% — — — — — 14.9% — — — — — — — — — — — — — — — — 76 Qwen3-235B-A22B-Thinking-2507 Alibaba OPEN 235B·22Ba 256K 1842.4 81.1% — 87.8% — — — 18.2% — — — — — — — — — — 64.9% — — — — — 77 Qwen3.5-Omni-Plus Alibaba CLOSED — 256K 1834.0 83.9% — 89.7% — — — — — — 52.6% — — — — — — — 66.4% — — — — — 78 EXAONE 4.5 LG AI Research OPEN 33B 256K 1828.6 80.5% — 89.6% — — — 11.6% — — 62.6% — — — — — — — — — — — — — 79 Gemma 4 26B A4B Google OPEN 25.2B·3.8Ba 256K 1819.4 82.3% — 98.5% — — — 8.7% — — 72.0% — — — — — — — — — — — — — 80 Nemotron 3 Super NVIDIA OPEN 120B·12Ba 1M 1818.7 79.2% — — — — — 18.3% — — 72.6% — — — — — — — — — — — — — 81 Claude Opus 4.1 Anthropic CLOSED — 200K 1760.6 80.9% — — — — — 7.9% — — — — — — — — — — — — — — — — 82 GLM-4.5 (355B-A32B) Zhipu AI / Z.ai (Tsinghua) OPEN 355B·32Ba 128K 1759.0 79.1% — 86.1% — — — 14.4% — — 44.0% — — — — — — — — — — — — — 83 DeepSeek-R1-0528 DeepSeek OPEN 671B·37Ba 128K 1757.4 81.0% — — — — — 17.7% — — — — — — — 1.1% — — — 21.2% — — — — 84 Command A+ Cohere OPEN 218B·25Ba 128K 1749.0 76.1% — — — — — 11.4% — — 73.9% — — — — — — — — — — — — — 85 INTELLECT-3 Prime Intellect OPEN 106B·12Ba 98K 1742.0 74.4% — — — — — 14.6% — — — — — — — — — — — — — — — — 86 ERNIE 5.0 (Preview) Baidu CLOSED 2400B 128K 1734.1 78.0% — — — — — 13.0% — — 41.0% — — — — — — — — — — — — — 87 Grok-3 mini SpaceXAI CLOSED — 131K 1715.3 79.1% — — — — — 11.1% — — 45.9% — — — — — — — — — — — — — 88 Doubao-Seed-1.6 ByteDance CLOSED 230B·23Ba 256K 1705.5 81.5% — — — — — 13.9% — — — — — — — — — — — — — — — — 89 Claude Opus 4 Anthropic CLOSED — 200K 1702.9 79.6% — — — — — 6.7% — — — — — — — — — — — — — — — — 90 Sarvam-105B Sarvam AI OPEN 105B·10.3Ba 128K 1676.2 78.7% — 84.8% — — — 10.1% — — — — — — — — — — — — — — — — 91 DeepSeek-V4-Pro (Non-Think) DeepSeek OPEN 1600B·49Ba 1M 1670.4 72.9% — — — — — 7.7% — — 46.0% — — — — — — — — — — — — — 92 Qwen3-Max Alibaba CLOSED — 256K 1658.1 76.0% — — — — — 9.0% — — 48.0% — — — — — — — 64.6% — — — — — 93 OpenAI o3-mini (High) OpenAI CLOSED — 200K 1653.0 79.7% — — — — — 12.0% 80.6 — 67.0% — — — — — — — — — — — — — 94 Gemini 2.5 Flash Google CLOSED — 1M 1637.3 82.8% — — — — — 11.0% — — — — — — — — — — — — — — — — 95 openPangu-2.0-Flash (Non-Thinking) Huawei OPEN 92B·6Ba 512K 1632.4 79.8% — 89.3% — — — — — — 54.4% — — — — — — — — — — — — — 96 Hunyuan-T1 Tencent CLOSED — 256K 1631.0 69.3% — — — — — — 93.1 — — — — — — — — — — — — — — — 97 Step-3 StepFun OPEN 321B·38Ba 64K 1628.1 73.0% — — — — — — — — — — — — — — — — — — — — — — 98 DeepSeek-V4-Flash (Non-Think) DeepSeek OPEN 284B·13Ba 1M 1623.2 71.2% — — — — — 8.1% — — — — — — — — — — — — — — — — 99 GLM-4.5-Air (106B-A12B) Zhipu AI / Z.ai (Tsinghua) OPEN 106B·12Ba 128K 1617.7 75.0% — 86.3% — — — 10.6% — — 37.6% — — — — — — — — — — — — — 100 GPT-5 nano OpenAI CLOSED — 400K 1595.3 71.2% — — — — — 8.2% — — — — — — — 22.6% — — — 20.7% — — — — 101 Seed1.5-Thinking ByteDance CLOSED 200B·20Ba 128K 1595.3 77.3% — 87.4% — — — — — — — — — — — — — — 62.1% 39.9% — — — — 102 Claude Sonnet 4 Anthropic CLOSED — 200K 1594.8 75.4% — — — — — — — — — — — — — — — — — — — — — — 103 Qwen3-235B-A22B-Instruct-2507 Alibaba OPEN 235B·22Ba 256K 1591.0 77.5% — 88.7% — — — — — — — — — — — — — — 62.6% — — — — — 104 Claude Haiku 4.5 Anthropic CLOSED — 200K 1590.8 73.0% — — — — — — — — — — — — — — — — — — — — — — 105 OpenAI o1 OpenAI CLOSED — 200K 1582.8 78.0% — — — — — 8.0% 90.2 — — — — — — — — — — 32.0% — — — — 106 DeepSeek-R1 671B DeepSeek OPEN 671B·37Ba 128K 1574.5 71.5% — 83.3% — — — — 92.2 — — — — — — — — — 61.8% — — — — — 107 Seed-OSS-36B ByteDance OPEN 36B 512K 1572.9 71.4% — 85.8% — — — 10.1% — — — — — — — 1.4% — — 55.7% — — — — — 108 MiniMax-M1 MiniMax OPEN 456B·45.9Ba 1M 1567.3 69.2% — — — — — 8.4% — — — — — — — — — — — — — — — — 109 gpt-oss-120b (Medium) OpenAI OPEN 117B·5.1Ba 128K 1555.0 73.1% — — — — — 8.6% — — — — — — — — — — — — — — — — 110 Falcon-H1R 7B TII OPEN 7.6B 256K 1551.5 61.3% — — — — — 11.1% — — 53.4% — — — — — — — — — — — — — 111 LG EXAONE 4.0 32B (Reasoning) LG AI Research OPEN 32B 131K 1549.8 75.4% — 83.7% — — — 10.5% — — 36.3% — — — — — — — — — — — — — 112 Gemini 2.0 Flash Thinking (Experimental) Google CLOSED — 1M 1548.5 74.2% — — — — — — — — — — — — — — — — — — — — — — 113 Llama-3.1-Nemotron-Ultra-253B v1 (Reasoning On) NVIDIA OPEN 253B 128K 1544.6 76.0% — 89.5% — — — 8.0% — — 38.0% — — — — — — — — — — — — — 114 gpt-oss-20b (High) OpenAI OPEN 21B·3.6Ba 128K 1540.0 71.5% — — — — — 10.9% — — — — — — — — — — — — — — — — 115 DeepSeek-V3.1 (Non-Thinking) DeepSeek OPEN 671B·37Ba 128K 1538.3 74.9% — — — — — 6.0% — — 38.0% — — — — — — — — — — — — — 116 Qwen3-235B-A22B (Thinking) Alibaba OPEN 235B·22Ba 128K 1536.2 71.1% — 83.4% — — — 12.0% — — 39.0% — — — — — — — — — — — — — 117 Kimi K2 Moonshot AI OPEN 1000B·32Ba 128K 1526.6 75.1% — 89.8% — — — 4.7% — — — — — — — — — — 57.2% — — — — — 118 Hunyuan-A13B Tencent OPEN 80B·13Ba 256K 1517.1 71.2% — 84.7% — 89.1% — — 91.1 — — — — — — — — — — — — — — — 119 Qwen3-32B (Thinking) Alibaba OPEN 32.8B 128K 1509.2 68.4% — 85.0% — — — — — — — — — — — — — — — — — — — — 120 Grok-3 (Standard) SpaceXAI CLOSED — 131K 1505.8 75.4% — — — — — — — — — — — — — — — — — — — — — — 121 Nemotron 3 Nano Omni NVIDIA OPEN 30B·3Ba 256K 1489.6 72.2% — — — — — 5.0% — — 74.2% — — — — — — — — — — — — — 122 Nemotron Nano 2 (Nemotron-Nano-9B-v2) NVIDIA OPEN 9B 128K 1489.1 64.0% — 90.3% — — — 6.5% — — 27.6% — — — — — — — — — — — — — 123 OpenAI o3-mini (Medium) OpenAI CLOSED — 200K 1485.5 76.8% — — — — — — 79.2 — — — — — — — — — — — — — — — 124 Magistral Medium Mistral AI CLOSED — 40K 1485.1 70.8% — — — — — 9.0% — — — — — — — — — — — — — — — — 125 Qwen3-30B-A3B (Thinking) Alibaba OPEN 30.5B·3.3Ba 128K 1483.2 65.8% — 86.5% — — — — — — — — — — — — — — — — — — — — 126 GPT-4.5 OpenAI CLOSED — 128K 1479.2 71.4% — — — — — — — — — — — — — — — — — — — — — — 127 Doubao-1.5-Pro ByteDance CLOSED 200B·20Ba 256K 1473.6 65.0% — 89.5% — 91.6% — — 93 — — — — — — — — — 55.1% — — — — — 128 Qwen3.5-Omni-Flash Alibaba CLOSED — 256K 1471.5 76.4% — 85.2% — — — — — — 38.4% — — — — — — — 54.9% — — — — — 129 GPT-4.1 OpenAI CLOSED — 1M 1466.6 66.3% — 87.4% — — — — — — — — — — — — — — — — — — — — 130 OLMo 3-Think 32B Allen Institute for AI (Ai2) OPEN 32.23B 64K 1457.1 61.0% — 89.0% — 89.8% — 5.9% — — 47.6% — — 88.2% — — — — — — — — — — 131 Claude 3.7 Sonnet Anthropic CLOSED — 200K 1450.1 68.0% — 90.8% — — — — — — — — — — — — — — — — — — — — 132 ERNIE 4.5 300B-A47B Baidu OPEN 300B·47Ba 128K 1445.5 81.0% — 88.0% — 94.3% — 4.0% 91.1 — 39.0% — — — — — — — — — — — — — 133 DeepSeek-R1-Zero DeepSeek OPEN 671B·37Ba 128K 1435.8 73.3% — — — — — — — — — — — — — — — — — 14.0% — — — — 134 Magistral Small Mistral AI OPEN 24B 128K 1422.4 68.2% — — — — — 6.4% — — — — — — — — — — — — — — — — 135 GLM-Z1-32B-0414 Zhipu AI OPEN 32B 32K 1421.3 66.1% — 84.5% — — — — — — — — — — — — — — 52.6% — — — — — 136 Qwen3-14B (Thinking) Alibaba OPEN 14.8B 128K 1396.5 64.0% — 85.4% — — — 4.0% — — 41.0% — — — — — — — — — — — — — 137 GLM-4-32B-0414 Zhipu AI OPEN 32B 32K 1393.6 — — 87.6% — — — — — — — — — — — — — — — — — — — — 138 Kimi k1.5 Moonshot AI CLOSED — 128K 1391.2 — — 87.2% — — — — — — — — — — — — — — — — — — — — 139 DeepSeek-R1-Distill-Llama-70B DeepSeek OPEN 70B 128K 1384.0 65.2% — — — — — 6.0% — — — — — — — — — — — — — — — — 140 Gemini 2.0 Pro Experimental Google CLOSED — 2M 1382.2 64.7% — — — — — — — — — — — — — — — — — — — — — — 141 OpenAI o1-preview OpenAI CLOSED — 128K 1380.6 73.3% — — — — — — 74.8 — — — — — — — — — — — — — — — 142 Llama-3.3-Nemotron-Super-49B v1 (Reasoning On) NVIDIA OPEN 49.9B 128K 1378.0 66.7% — 89.2% — — — 7.0% — — 38.0% — — — — — — — — — — — — — 143 gpt-oss-20b (Medium) OpenAI OPEN 21B·3.6Ba 128K 1367.6 66.0% — — — — — 7.0% — — — — — — — — — — — — — — — — 144 DeepSeek-V3-0324 DeepSeek OPEN 671B·37Ba 128K 1365.5 65.0% — — — — — 5.0% — — 41.0% — — — — — — — — — — — — — 145 Qwen3-Coder-480B-A35B Alibaba OPEN 480B·35Ba 256K 1364.5 62.0% — — — — — 4.0% — — — — — — — — — — — — — — — — 146 Claude 3.5 Sonnet (New) Anthropic CLOSED — 200K 1357.3 60.0% — 90.2% — 93.2% — 4.0% 88.3 — — — — — — — — — — — — — — — 147 InternVL2.5-78B OpenGVLab (Shanghai AI Lab) OPEN 78B 32K 1350.1 — — — — — — — — — — — — — — — — — — — — — — — 148 Gemini 2.0 Flash Google CLOSED — 1M 1339.5 60.1% — — — — — 5.3% — — 40.2% — — — — — — — — — — — — — 149 LG EXAONE Deep 32B LG AI Research OPEN 32B 32K 1337.3 66.1% — — — — — — — — — — — — — — — — — — — — — — 150 OpenAI o3-mini (Low) OpenAI CLOSED — 200K 1334.3 70.6% — — — — — — 77.6 — — — — — — — — — — — — — — — 151 gpt-oss-120b (Low) OpenAI OPEN 117B·5.1Ba 128K 1330.6 67.1% — — — — — 5.2% — — 58.0% — — — — — — — — — — — — — 152 Qwen3-8B (Thinking) Alibaba OPEN 8.2B 128K 1323.0 62.0% — 85.0% — — — 4.0% — — 33.0% — — — — — — — — — — — — — 153 Skywork-R1V (38B) Kunlun Tech OPEN 38B 128K 1309.1 61.6% — — — — — — — — — — — — — — — — — — — — — — 154 Hunyuan-TurboS Tencent CLOSED 560B·56Ba 256K 1306.0 62.1% — 87.6% — 90.8% — — 89.8 — — — — — — — — — — — — — — — 155 Mistral Large 3 Mistral AI OPEN 675B·41Ba 256K 1303.2 67.2% — — — — — 4.0% — — 36.0% — — 74.0% — — — — — — — — — — 156 Claude 3.5 Sonnet Anthropic CLOSED — 200K 1294.7 59.4% — 87.8% — 93.1% — — 87.1 — — — — — — — — — — — — — — — 157 Phi-4-reasoning Microsoft OPEN 14B 32K 1292.1 65.8% — 83.4% — — — — — — — — — — — — — — — — — — — — 158 Phi-4-reasoning (14B) Microsoft OPEN 14B 32K 1292.1 65.8% — 83.4% — — — — — — — — — — — — — — — — — — — — 159 MiniMax-Text-01 MiniMax OPEN 456B·45.9Ba 1M 1288.1 54.4% — 89.1% — — — — 87.8 — — — — — — — — — — — — — — — 160 GPT-4.1 mini OpenAI CLOSED — 1M 1285.7 65.0% — 84.1% — — — — 81 — — — — — — — — — — — — — — — 161 Gemini 2.5 Flash-Lite (Thinking) Google CLOSED — 1M 1281.7 66.7% — — — — — 6.9% — — — — — — — — — — — — — — — — 162 MiniMax-VL-01 MiniMax OPEN 456B·45.9Ba 1M 1276.1 — — — — — — — — — — — — — — — — — — — — — — — 163 DeepSeek-V3 671B DeepSeek OPEN 671B·37Ba 128K 1269.5 59.1% — 86.1% — — — — 91.6 — — — — — — — — — — — — — — — 164 OpenAI o1-mini OpenAI CLOSED — 128K 1261.7 60.0% — — — — — — 83.9 — — — — — — — — — — — — — — — 165 QwQ-32B Alibaba OPEN 32.5B 128K 1260.2 65.6% — 83.9% — 29.5% — — — — — — — — — — — — — — — — — — 166 Llama 4 Maverick Meta OPEN 400B·17Ba 1M 1253.3 69.8% — — — — — — — — — — — — — — — — — — — — — — 167 Qwen2.5-Max Alibaba CLOSED — 32K 1252.5 60.1% — — — — — — — — — — — — — — — — — — — — — — 168 GPT-4o OpenAI CLOSED — 128K 1249.9 53.6% 96.7% 85.6% — — — — 83.4 — — — — — — — — — — — — — — — 169 Qwen2.5-VL-72B Alibaba OPEN 73B 32K 1242.1 49.0% — 86.3% — — — — — — — — — — — — — — — — — — — — 170 Reka Flash 3 Reka AI OPEN 21B 32K 1241.4 52.9% — — — — — 5.1% — — 30.4% — — — — — — — — — — — — — 171 Tülu 3 405B Allen Institute for AI (Ai2) OPEN 405.85B 128K 1238.9 — — 86.0% — 88.6% — — — — — — — — — — — — — — — — — — 172 LG EXAONE 4.0 32B (Non-reasoning) LG AI Research OPEN 32B 131K 1238.1 63.7% — 84.8% — — — 4.9% — — 33.5% — — — — — — — — — — — — — 173 Llama 3.1 405B Meta OPEN 405B 128K 1237.4 50.7% 96.9% 88.6% — — — — — — — — — — — — — — — — — — — — 174 Llama 3.3 70B Meta OPEN 70B 128K 1236.0 50.5% — 92.1% — — — — — — — — — — — — — — — — — — — — 175 Amazon Nova Premier Amazon CLOSED — 1M 1235.4 56.9% — 91.5% — — — — — — — — — — — — — — — — — — — — 176 Qwen3-235B-A22B (Non-Thinking) Alibaba OPEN 235B·22Ba 128K 1235.2 62.9% — 83.2% — — — — — — — — — — — — — — — — — — — — 177 Grok-2 SpaceXAI CLOSED — 131K 1228.2 56.0% — — — — — — — — — — — — — — — — — — — — — — 178 Mistral Medium 3 Mistral AI CLOSED — 128K 1220.2 — — — — — — — — — — — — — — — — — — — — — — — 179 Amazon Nova Pro Amazon CLOSED — 300K 1216.3 46.9% 94.8% 92.1% — 86.9% — — 85.4 — — — — — — — — — — — — — — — 180 Gemini 2.5 Flash-Lite (Non-thinking) Google CLOSED — 1M 1193.2 64.6% — — — — — 5.1% — — — — — — — — — — — — — — — — 181 Qwen2-Math-72B Alibaba OPEN 72.7B 4K 1189.1 — — — — — — — — — — — — — — — — — — — — — — — 182 Command A Cohere OPEN 111B 256K 1177.5 50.8% — 90.9% — — — — — — — — — — — — — — — — — — — — 183 GPT-4 Turbo OpenAI CLOSED — 128K 1142.7 49.3% — — — — — — 86 — — — — — — — — — — — — — — — 184 Grok-2 mini SpaceXAI CLOSED — 131K 1129.5 51.0% — — — — — — — — — — — — — — — — — — — — — — 185 QVQ-72B-Preview Alibaba OPEN 73B 32K 1127.6 — — — — — — — — — — — — — — — — — — — — — — — 186 Qwen3-32B (Non-Thinking) Alibaba OPEN 32.8B 128K 1121.8 54.6% — 83.2% — — — — — — — — — — — — — — — — — — — — 187 Llama-3.1-Nemotron-Ultra-253B v1 (Reasoning Off) NVIDIA OPEN 253B 128K 1120.4 56.6% — 88.8% — — — — — — — — — — — — — — — — — — — — 188 Llama-3.3-Nemotron-Super-49B v1 (Reasoning Off) NVIDIA OPEN 49.9B 128K 1116.2 50.0% — 89.2% — — — 4.0% — — 39.0% — — — — — — — — — — — — — 189 GLM-4-Plus Zhipu AI CLOSED — 128K 1115.1 50.7% — 79.5% — — — — — — — — — — — — — — — — — — — — 190 Sonar Perplexity AI CLOSED 70B 128K 1101.8 47.1% — — — — — 7.3% — — — — — — — — — — — — — — — — 191 Qwen3-30B-A3B (Non-Thinking) Alibaba OPEN 30.5B·3.3Ba 128K 1101.1 54.8% — 83.7% — — — — — — — — — — — — — — — — — — — — 192 Qwen3-14B (Non-Thinking) Alibaba OPEN 14.8B 128K 1094.6 54.8% — 84.8% — — — — — — — — — — — — — — — — — — — — 193 Claude 3 Opus Anthropic CLOSED — 200K 1081.0 50.4% 96.4% — 95.4% 86.8% 88.5% — 83.1 — — — — — — — — 92.9% — — — — — — 194 DeepSeek-V2.5 DeepSeek OPEN 236B·21Ba 128K 1080.1 — — — — — — — — — — — — — — — — — — — — — — — 195 QwQ-32B-Preview Alibaba OPEN 32.5B 32K 1080.0 65.2% — 33.8% — 66.6% — — — — — — — — — — — — — — — — — — 196 Mistral Small 3.2 (24B) Mistral AI OPEN 24B 128K 1075.6 46.1% — — — — — — — — — — — — — — — — — — — — — — 197 Hunyuan-Large (A52B) Tencent OPEN 389B·52Ba 128K 1072.5 42.4% 95.0% 85.0% 86.8% 86.3% 88.7% — 88.9 88.3% — — — — — — — — — — — — — — 198 Gemini 2.0 Flash-Lite Google CLOSED — 1M 1071.8 51.5% — — — — — 4.6% — — — — — — — — — — — — — — — — 199 gpt-oss-20b (Low) OpenAI OPEN 21B·3.6Ba 128K 1071.0 56.8% — — — — — 4.2% — — — — — — — — — — — — — — — — 200 Mistral Large 2 (24.07) Mistral AI OPEN 123B 128K 1068.2 — — — — — — — — — — — — — — — — — — — — — — — 201 Yi-Lightning 01.AI CLOSED — 16K 1063.8 50.9% — 81.9% — — — — — — — — — — — — — — — — — — — — 202 Gemini 1.5 Pro Google CLOSED — 1M 1062.3 46.2% — — 93.3% 89.2% — — 74.9 — — — — — — — — — — — — — — — 203 Llama 4 Scout Meta OPEN 109B·17Ba 10M 1054.1 57.2% — — — — — — — — — — — — — — — — — — — — — — 204 Mistral Small 3.1 (24B) Mistral AI OPEN 24B 128K 1051.4 46.0% — — — — — — — — — — — — — — — — — — — — — — 205 Claude 3.5 Haiku Anthropic CLOSED — 200K 1041.8 41.6% — 85.9% — 86.6% — 3.0% 83.1 — 43.0% — — — — — — — — — — — — — 206 Amazon Nova Lite Amazon CLOSED — 300K 1039.0 42.0% 92.4% 89.7% — 82.4% — — 80.2 — — — — — — — — — — — — — — — 207 GPT-4 OpenAI CLOSED — 8K 1037.4 — 96.3% — 95.3% — 87.5% — 80.9 — — — — — — — — — — — — — — — 208 Tülu 3 70B Allen Institute for AI (Ai2) OPEN 70B 128K 1023.6 48.0% — 83.2% — 82.0% — — 74.3 — — — — 75.0% — — — — — — — — — — 209 Phi-4 (14B) Microsoft OPEN 14B 16K 1016.7 56.1% — 63.0% — — — — 75.5 — — — — — — — — — — — — — — — 210 DeepSeek-Coder-V2 236B DeepSeek OPEN 236B·21Ba 128K 1012.1 — 92.8% — — 83.9% — — — — — — — — — — — — — — — — — — 211 DeepSeek-R1-Distill-Qwen-32B DeepSeek OPEN 32B 128K 1009.0 62.1% — 34.6% — 41.8% — — — — — — — — — — — — — — — — — — 212 Gemma 3 27B Google OPEN 27.4B 128K 1001.5 42.4% — — — — — — — — — — — — — — — — — — — — — — 213 Llama 3.2 90B Vision Meta OPEN 88.8B 128K 999.5 46.7% — — — — — — — — — — — — — — — — — — — — — — 214 Gemini 1.0 Ultra Google CLOSED — 32K 992.0 — — — 87.8% 83.6% — — 82.4 — — — — — — — — — — — — — — — 215 Skywork-o1-Open-Llama-3.1-8B Kunlun Tech OPEN 8B 128K 987.8 — — — — — — — — — — — — — — — — — — — — — — — 216 Llama 3.1 70B Meta OPEN 70.6B 128K 980.8 46.7% 94.8% 87.5% 86.7% 55.9% 85.4% — — — — — — — — — — — — — — — — — 217 Mistral Small 3 (24B) Mistral AI OPEN 24B 32K 978.8 — — 82.9% — — — — — — — — — — — — — — — — — — — — 218 GLM-4 Zhipu AI / THUDM (Tsinghua) CLOSED — 128K 976.2 39.9% — 83.7% — 84.7% — — — — — — — — — — — — — — — — — — 219 YandexGPT 5 Pro Yandex CLOSED — 32K 976.2 44.9% — 77.0% — 84.0% — — 63 — — — — — — — — — — — — — — — 220 GPT-4o mini OpenAI CLOSED — 128K 973.1 40.2% 93.3% — — 77.7% 79.2% — 79.7 93.1% — 96.8% — — 79.0% — — — — 3.6% — — — — 221 Qwen2.5-72B Alibaba OPEN 72.7B 128K 965.7 45.9% 72.4% 84.1% 87.6% 86.3% 83.9% — — — — — — — — — — — — — — — — — 222 Granite 4.1 8B Instruct IBM OPEN 8B 512K 965.1 42.0% — 87.1% — 80.5% — 4.0% — — 39.0% — — — — — — — — — — — — — 223 Palmyra X5 Writer CLOSED — 1M 964.6 47.2% — — — 71.0% — — — — — — — — — — — — — — — — — — 224 Gemma 3 12B Google OPEN 12.2B 128K 944.3 40.9% — 88.9% — 85.7% — — — — — — — — — — — — — — — — — — 225 Falcon-H1 34B TII OPEN 34B 256K 939.0 41.5% 61.0% 89.4% 81.9% 70.7% — — — — — — — — — — — — — — — — — — 226 Qwen2-VL-72B Alibaba OPEN 73.4B 32K 931.3 38.8% — 54.9% — 69.2% — — — — — — — — — — — — — — — — — — 227 Nemotron-4 340B NVIDIA OPEN 340B 4K 930.8 — 94.3% — 90.5% 85.4% 89.5% — — — — — — — — — — — — — — — — — 228 Granite 4.0 H Small IBM OPEN 32B·9Ba 128K 927.7 40.6% — 87.5% — 81.6% — 4.0% — — 31.0% — — — — — — — — — — — — — 229 Amazon Nova Micro Amazon CLOSED — 128K 923.2 40.0% 90.2% 87.2% — 79.5% — — 79.3 — — — — — — — — — — — — — — — 230 Qwen3-8B (Non-Thinking) Alibaba OPEN 8.2B 128K 922.1 39.3% — 83.0% — — — 3.0% — — 29.0% — — — — — — — — — — — — — 231 Qwen2.5-Math-72B Alibaba OPEN 72.7B 4K 919.6 — — — — — — — — — — — — — — — — — — — — — — — 232 LG EXAONE 3.5 32B Instruct LG AI Research OPEN 32B 32K 911.3 39.7% 91.7% 81.7% — 75.3% — — — — — — — — — — — — — — — — — — 233 Reka Core Reka AI CLOSED — 128K 909.9 38.2% — — — — — — — — — — — — — — — — — — — — 86.8% — 234 Molmo 2 8B Allen Institute for AI (Ai2) OPEN 8.66B 36K 904.2 — 89.6% — — — — — — — — — — — — — — — — — — — — — 235 NAVER HyperCLOVA X SEED Think 32B NAVER OPEN 32B 128K 894.7 62.0% — — 57.2% — — 5.0% — 76.7% 38.0% — — — — — — — — — — — — — 236 InternLM3-8B-Instruct Shanghai AI Laboratory OPEN 8B 128K 893.9 37.4% — 79.3% 91.2% — — — 83.1 — — — — — — — — — — — — — — — 237 OLMo 3 7B Allen Institute for AI (Ai2) OPEN 7.3B 64K 892.8 40.0% — 85.6% — 71.2% — 5.8% — — 32.3% — — 64.4% — — — — — — — — — — 238 GPT-4.1 nano OpenAI CLOSED — 1M 887.9 50.3% — 74.5% — — — — — — — — — — — — — — — — — — — — 239 Llama 3 70B Meta OPEN 70B 8K 886.4 39.5% 93.0% — — 81.3% 83.1% — 79.7 — — — — — — — — — — — — — — — 240 Nemotron-H 56B NVIDIA OPEN 56B 8K 883.7 — 95.0% — 89.0% — 84.5% — — 85.0% — — 48.6% — — — — — — — — — — — 241 SmolLM3 3B (Think) Hugging Face OPEN 3.08B 128K 881.6 41.7% — 71.2% — — — — — — — — — — — — — — — — — — — — 242 abab6.5 MiniMax CLOSED — 200K 880.4 — — 78.9% — 83.1% — — — — — — — — — — — — — — — — — — 243 Inflection-2.5 Inflection AI CLOSED — 8K 870.8 38.4% 94.6% — 90.2% 82.2% — — — — — — — — — — — — — — — — — — 244 Gemini 1.5 Flash Google CLOSED — 1M 865.5 39.5% — — 86.5% 85.5% — — 78.4 — — — — — — — — — — — — — — — 245 DeepSeek-V2 236B DeepSeek OPEN 236B·21Ba 128K 860.3 — — — — 79.7% — — — — — — — — — — — — — — — — — — 246 Qwen2.5-32B Alibaba OPEN 32.5B 128K 843.7 48.0% 70.4% — 85.2% 84.5% 82.0% — — — — — — — — — — — — — — — — — 247 Hermes 3 405B Nous Research OPEN 405B 128K 842.1 44.8% 69.5% 84.9% 90.2% 75.4% 86.3% — — 86.0% — 86.2% 48.8% 61.8% — — — — — — — — — — 248 Qwen2-72B Alibaba OPEN 72B 128K 832.7 37.9% 68.9% 77.6% 87.6% 82.4% 85.1% — — — — — — — — — — — — — — — — — 249 OLMo 2 32B Allen Institute for AI (Ai2) OPEN 32.23B 4K 823.2 — — 85.6% — 70.6% — — 78 — — — — — — — — — — — — — — — 250 Claude 2 Anthropic CLOSED — 100K 821.5 — 91.0% — — — — — — — — — — — — — — 88.3% — — — — — — 251 Claude 3 Sonnet Anthropic CLOSED — 200K 821.3 40.4% 93.2% 81.1% 89.0% 82.9% 75.1% — 78.9 — — — — — — — — 88.8% — — — — — — 252 Grok-1.5 SpaceXAI CLOSED — 128K 808.7 35.9% — — — — — — — — — — — — — — — — — — — — — — 253 PaLM 2 Google CLOSED — 8K 792.2 — 95.1% — 86.8% 78.1% 90.9% — 85 85.0% — — 58.5% — — — — 62.3% — — — — — — 254 Phi-3.5-MoE (16x3.8B, 6.6B active) Microsoft OPEN 41.9B·6.6Ba 128K 791.5 36.8% 91.0% — 83.8% 79.1% 81.3% — — 88.6% — — 89.6% — 78.0% — — — — — — — — — 255 AI21 Jamba 1.5 Large AI21 Labs OPEN 398B·94Ba 256K 777.9 36.9% 93.0% 81.5% — 65.5% — — — — — — — — — — — — — — — — — — 256 Claude 1 Anthropic CLOSED — 9K 758.5 — 90.0% — — — — — — — — — 90.8% — — — — 88.8% — — — — — — 257 Phi-3-medium (14B) Microsoft OPEN 14B 128K 757.6 — 91.6% — 82.4% 81.4% 81.5% — — 87.9% — 97.7% 87.4% 50.2% 80.2% — — — — — 55.8% — — — 258 DeepSeekMath 7B DeepSeek OPEN 7B 4K 757.3 — — — — — — — — — — — — — — — — — — — — — — — 259 Upstage Solar Pro Upstage OPEN 22B 4K 747.6 36.4% 68.9% 84.4% 86.4% 67.3% — — — — — — — — — — — — — — — — — — 260 Granite 3.3 8B Instruct IBM OPEN 8.1B 128K 746.5 — — 74.8% — 69.1% — — 59.36 — — — — — — — — — — — — — — — 261 InternLM2.5-7B Shanghai AI Laboratory OPEN 7B 1M 738.6 38.4% — — — 71.6% — — — — — — — — — — — — — — — — — — 262 Aya Vision 32B Cohere Labs OPEN 32B 16K 713.9 34.4% — 78.5% — — — — — — — — — — — — — — — — — — — — 263 Mistral Large Mistral AI CLOSED — 32K 713.0 — 94.0% — 89.2% — 86.7% — — — — — — — — — — — — — — — — — 264 Claude 3 Haiku Anthropic CLOSED — 200K 707.0 33.3% 89.2% 77.2% 85.9% 73.7% 74.2% — 78.4 — — — — — — — — 87.0% — — — — — — 265 Granite 3.2 8B Instruct IBM OPEN 8.1B 128K 705.8 — — 74.3% — 64.8% — — 50.95 — — — — — — — — — — — — — — — 266 SmolLM3 3B (No Thinking) Hugging Face OPEN 3.08B 128K 703.6 35.7% — 76.7% — — — — — — — — — — — — — — — — — — — — 267 Qwen2.5-14B Alibaba OPEN 14.7B 128K 696.7 32.8% 67.3% — 84.3% 78.2% 81.0% — — — — — — — — — — — — — — — — — 268 Llama 3.2 11B Vision Meta OPEN 10.6B 128K 682.7 32.8% — — — — — — — — — — — — — — — — — — — — — — 269 Gemma 3 4B Google OPEN 4.3B 128K 680.3 30.8% — 90.2% — 72.2% — — — — — — — — — — — — — — — — — — 270 Mixtral 8x22B Mistral AI OPEN 141B·39Ba 64K 678.2 37.3% — 71.8% — 61.3% — — — — — — — — — — — — — — — — — — 271 Qwen1.5-110B Alibaba OPEN 111B 32K 665.5 35.9% 69.6% 34.2% 87.5% 74.8% — — — — — — — — — — — — — — — — — — 272 Llama-3.1-Nemotron-70B Instruct NVIDIA OPEN 70.6B 128K 661.5 25.8% — 78.3% — 63.0% — — — — — — — — — — — — — — — — — — 273 Mistral Large 24.11 Mistral AI OPEN 123B 128K 658.0 24.9% — 84.0% — 52.7% — — — — — — — — — — — — — — — — — — 274 Phi-3-small (7B) Microsoft OPEN 7B 8K 658.0 34.3% 90.7% — 77.0% 79.1% 81.5% — — 86.9% — 97.0% 88.0% 45.1% 79.2% — — — — — 58.1% — — — 275 Inflection-2 Inflection AI CLOSED — 8K 646.1 — 70.7% — 89.0% — — — — 84.2% — 91.3% — — — — — — — — — — — — 276 Reka Flash (21B) Reka AI CLOSED 21B 128K 633.5 34.0% — — — — — — — — — — — — — — — — — — — — 84.0% — 277 OLMo 2 13B Allen Institute for AI (Ai2) OPEN 13B 4K 632.7 — 83.5% 82.6% 86.4% 58.8% 81.5% — 71.5 — — — — 54.2% — — — — — — — — — — 278 GLM-4-9B-Chat Zhipu AI OPEN 9B 128K 629.9 — — 69.0% — — — — — — — — — — — — — — — — — — 73.1% — 279 Gemma 2 27B Google OPEN 27.2B 8K 628.2 — 71.4% — 86.4% 74.9% 83.7% — 74.2 83.2% — 88.6% — 55.1% 53.7% — — — — — — — — — 280 Gemini 1.0 Pro Google CLOSED — 32K 620.1 — — — 84.7% 75.0% — — 74.1 — — — — — — — — — — — — — — — 281 Pixtral 12B Mistral AI OPEN 12.4B 128K 617.0 — — 61.3% — — — — — — — — — — — — — — — — — — — — 282 DBRX Databricks OPEN 132B·36Ba 32K 593.2 34.9% 68.9% 48.2% 89.0% 54.1% 81.8% — — — — — — — — — — — — — — — — — 283 Qwen2-57B-A14B Alibaba OPEN 57B·14Ba 64K 589.2 34.3% 64.1% 59.9% 85.2% 67.0% 79.5% — — — — — — — — — — — — — — — — — 284 MiniCPM3-4B OpenBMB OPEN 4B 32K 579.8 — — 68.4% — 70.2% — — — — — — — — — — — — — — — — — — 285 Qwen2.5-7B Alibaba OPEN 7.61B 128K 565.7 36.4% 63.7% — 80.2% 70.4% 75.9% — — — — — — — — — — — — — — — — — 286 Claude Instant 1.2 Anthropic CLOSED — 100K 558.7 — — — — — — — — — — — 84.4% — — — — — — — — — — — 287 Llama 3.1 8B Meta OPEN 8.03B 128K 553.8 30.4% 83.4% 80.4% 80.2% 30.1% 76.2% — — — — — — — — — — — — — — — — — 288 Ministral 8B Mistral AI OPEN 8.02B 128K 553.7 — 71.9% — — — 75.3% — — — — — — 48.3% — — — — — — — — — — 289 AI21 Jamba 1.5 Mini AI21 Labs OPEN 52B·12Ba 256K 553.6 32.3% 85.7% 75.8% — 53.4% — — — — — — — — — — — — — — — — — — 290 Aya Expanse 32B Cohere Labs OPEN 32B 128K 547.4 33.8% — 68.6% — 56.3% — — — — — — — — — — — — — — — — — — 291 Qwen1.5-72B Alibaba OPEN 72B 32K 545.1 — — — — 65.5% — — — — — — — — — — — — — — — — — — 292 Skywork-MoE-Base Kunlun Tech OPEN 146B·22Ba 8K 537.4 — — — — — — — — — — — — — — — — — — — — — — — 293 Qwen-72B Alibaba OPEN 72B 32K 535.8 — — — — 67.7% — — — — — — — — — — — — — — — — — — 294 Gemini 1.5 Flash-8B Google CLOSED 8B 1M 532.6 30.8% — — — 69.5% — — — — — — — — — — — — — — — — — — 295 Yi-1.5 34B 01.AI OPEN 34.4B 4K 530.7 36.3% 66.3% 31.2% — 59.8% — — — — — — — 71.1% — — — — — — — — — — 296 Phi-4-mini (3.8B) Microsoft OPEN 3.8B 128K 529.8 30.4% 83.7% 70.1% 69.1% 70.4% 67.0% 4.2% — 77.6% — — — — 72.5% — — — — — — — — — 297 Tülu 2+DPO 70B Allen Institute for AI (Ai2) OPEN 69B 8K 523.6 — — — — 66.0% — — — — — — — — — — — — — — — — — — 298 Phi-4-mini-instruct Microsoft OPEN 3.8B 128K 523.2 30.4% 83.7% 70.1% 69.1% 70.4% 67.0% — — 77.6% — — — — 72.5% — — — — — — — — — 299 Command R7B Cohere OPEN 7B 128K 519.3 26.3% — 77.9% — 54.9% — — — — — — — — — — — — — — — — — — 300 Inflection-1 Inflection AI CLOSED — 8K 513.0 — 94.2% — 84.3% 69.9% 83.3% — — 84.2% — 89.6% — — — — 78.5% — — — — — — — 301 Stable Beluga 2 (FreeWilly 2) 70B Stability AI (CarperAI) OPEN 70B 4K 511.0 — 71.1% — 86.4% — 83.0% — 50.3 — — — — — — — — — — — — — — — 302 Grok-1 SpaceXAI OPEN 314B·86Ba 8K 505.1 — — — — — — — — — — — — — — — — — — — — — — — 303 GPT-3.5 Turbo OpenAI CLOSED — 16K 502.6 — 85.2% — 85.5% — 81.6% — 64.1 — — — — — — — — — — — — — — — 304 LG EXAONE 3.0 7.8B Instruct LG AI Research OPEN 7.8B 4K 493.8 26.6% 63.7% 72.1% — 41.4% — — — — — — — — — — — — — — — — — — 305 NAVER HyperCLOVA X NAVER CLOSED 204B 32K 491.0 — — — 86.0% 53.5% 79.6% — — 86.4% — — — 53.3% — — — — — — — — — — 306 InternLM2-20B Shanghai AI Laboratory OPEN 20B 200K 487.1 — — — 85.8% 68.3% 74.8% — — — — — — 50.3% — — — 87.1% — — — — — — 307 Llama 3 8B Meta OPEN 8.03B 8K 486.3 34.2% 78.6% 40.9% — 61.1% 76.1% — 58.4 — — — — 45.9% — — — — — — — — — — 308 Snowflake Arctic Snowflake OPEN 480B·17Ba 4K 485.8 — — 52.4% — — — — — — — — — — — — — — — — — — — — 309 Qwen2-7B Alibaba OPEN 7.07B 128K 485.5 31.8% 60.6% 54.7% 80.7% 62.6% 77.0% — — — — — — — — — — — — — — — — — 310 DeepSeek LLM 67B DeepSeek OPEN 67B 4K 482.1 29.8% 64.1% 50.8% 75.7% 71.7% 76.0% — 71.9 82.6% — 81.6% 63.2% 46.4% — — — 56.0% — — — — — — 311 Gemma 2 9B Google OPEN 9.24B 8K 479.2 — 68.4% — 81.9% 68.2% 80.6% — 69.4 81.7% — 88.0% — 52.8% 53.4% — — — — — — — — — 312 Phi-3-mini (3.8B) Microsoft OPEN 3.8B 4K 479.2 30.6% 86.3% 56.1% 75.3% 73.5% 71.6% — — 83.5% — — 82.2% 39.0% 77.6% — — — — — 53.6% — — — 313 Phi-3.5-mini (3.8B) Microsoft OPEN 3.8B 128K 477.1 30.4% 84.6% 57.7% 69.4% 69.0% 68.5% — — 81.0% — — — — 74.7% — — — — — — — — — 314 Nous Hermes 2 Mixtral 8x7B DPO Nous Research OPEN 46.7B·12.9Ba 32K 474.1 — 64.3% — 84.9% — 76.2% — — 83.8% — 86.4% 46.6% 46.0% — — — — — — — 49.7% — — 315 Airoboros 70B (L2) Jon Durbin (independent) OPEN 70B 4K 473.4 — 68.5% — 87.9% — 83.5% — 40.63 — — — — — — — — — — — — — — — 316 Command R Cohere OPEN 35B 128K 462.5 30.3% 65.5% 62.7% 87.0% 53.5% 81.5% — — — — — — — — — — — — — — — — — 317 Codestral 22B Mistral AI OPEN 22.2B 32K 458.9 6.5% — 57.7% — 30.7% — — — — — — — — — — — — — — — — — — 318 Yi-34B 01.AI OPEN 34B 4K 451.7 — 64.6% — 85.7% 54.3% 83.0% — 64.2 — — — — — — — — — — — — — — — 319 OLMo 2 7B Allen Institute for AI (Ai2) OPEN 7.3B 4K 446.1 — 79.8% — 83.8% — 77.2% — 60.8 — — — — 50.4% — — — — — — — — — — 320 Krutrim-2 (12B) Ola Krutrim OPEN 12B 128K 444.7 — 60.0% 73.0% 83.0% — 77.0% — — — — 82.0% 49.0% — — — — — — — — — — — 321 Stable LM 2 12B Stability AI OPEN 12.1B 4K 440.3 — 65.0% — 86.1% — 78.8% — — — — — — — — — — — — — — — — — 322 Mixtral 8x7B Mistral AI OPEN 46.7B·12.9Ba 32K 438.9 — 59.7% — 84.4% — 77.2% — — 83.6% — 83.1% — — — — — — — — — — — — 323 ERNIE Bot (ERNIE 3.5) Baidu CLOSED — 8K 436.1 — — — — — — — — — — — — 64.4% — — — — — — — — — — 324 Mistral NeMo 12B Mistral AI OPEN 12B 128K 435.2 — — — 83.5% — 76.8% — — — — — 60.6% — — — — — — — — — — — 325 Ministral 3B Mistral AI CLOSED 3B 128K 423.7 — 64.2% — — — 72.7% — — — — — — 42.1% — — — — — — — — — — 326 Falcon3-10B TII OPEN 10B 32K 421.4 10.5% 66.2% 78.2% — 44.8% 71.0% — — 78.4% — — 48.2% — — — — — — — — — — — 327 Falcon3-7B TII OPEN 7B 32K 419.6 31.9% 62.6% 76.5% — 52.4% 70.4% — — 78.8% — — 45.8% — — — — — — — — — — — 328 StarCoder2 15B BigCode OPEN 15B 16K 416.5 — — — — — — — — — — — — — — — — — — — — — — — 329 Granite 3.0 8B Instruct IBM OPEN 8.1B 4K 415.3 33.8% 64.2% 52.3% 82.6% 51.5% 77.5% — — — — — 46.6% 40.5% 71.2% — — — — — — — — — 330 Falcon-180B TII OPEN 180B 2K 402.5 — — — — — 86.9% — 6.57 — — — — — — — — — — — — — — — 331 Upstage SOLAR 10.7B Upstage OPEN 10.7B 4K 396.9 — 62.0% — 84.6% — 83.7% — — — — — — — — — — — — — — — — — 332 Guanaco 65B University of Washington (Dettmers et al.) OPEN 65B 2K 396.3 — 65.4% — 86.5% — 82.4% — — — — — — — — — — — — — — — — — 333 Yi-1.5 9B 01.AI OPEN 9B 4K 396.1 37.9% 61.5% 29.4% — 51.4% — — — — — — — 62.7% — — — — — — — — — — 334 Starling-7B (alpha) UC Berkeley (Berkeley NEST) / Nexusflow OPEN 7B 8K 390.3 29.7% 63.8% 54.8% 84.9% 44.4% 80.6% — — — — — — — — — — — — — — — — — 335 PaLM (540B) Google CLOSED 540B 2K 380.5 — 53.0% — 83.4% — 81.1% — 69.4 82.3% — 76.6% 53.4% — — — 77.9% 49.1% — — 48.4% — — 84.6% 336 Llama 3.2 3B Meta OPEN 3.21B 128K 380.2 32.8% 78.6% 77.4% 69.8% — 71.1% — — — — — — — — — — — — — — — — — 337 Reka Edge (7B) Reka AI CLOSED 7B 64K 378.0 — — — — — — — — — — — — — — — — — — — — — — — 338 UL2 20B Google OPEN 20B 0.5K 376.5 — — — 94.1% — 90.1% — — 90.7% — — 87.2% — — — — — — — — — — — 339 Granite 3.1 8B Instruct IBM OPEN 8.1B 128K 371.2 8.3% 62.6% 72.1% 84.5% 34.1% 75.4% — — — — — — — — — — — — — — — — — 340 ChatGLM3-6B Zhipu AI / THUDM (Tsinghua) OPEN 6.2B 8K 367.9 26.8% — — 79.7% 66.1% — — 70.9 80.1% — — — 53.7% — — — — — — — — — — 341 Llama 2 70B Meta OPEN 69B 4K 365.0 — 57.4% — 85.3% 51.2% 80.2% — — 82.8% — 80.2% 60.2% 54.2% 50.7% — — — — — — — — — 342 Llama 2 70B Chat Meta OPEN 69B 4K 363.8 — 64.6% — 85.9% — 80.5% — 10.5 — — — — — — — — — — — — — — — 343 Qwen-14B Alibaba OPEN 14B 8K 347.6 — 84.4% — 80.2% 53.4% — — — 79.9% — 90.3% — 52.3% 77.9% — 71.1% — — — — — — — 344 Zephyr 7B Beta Hugging Face OPEN 7.24B 8K 311.2 — 62.0% — 84.4% — 77.7% — 9.66 — — — — — — — — — — — — — — — 345 Chinchilla Google CLOSED 70B 2K 310.8 — — — 80.8% — 74.9% — — 81.8% — — — — 51.3% — 77.4% 82.3% — — — 65.1% — — 346 AI21 Jamba AI21 Labs OPEN 52B·12Ba 256K 302.4 2.5% 64.4% 20.3% 87.1% 45.4% 82.5% — — 83.2% — 73.5% — — — — — — — — — — — — 347 Aya 23 35B Cohere Labs OPEN 35B 8K 297.2 28.8% 61.7% 59.3% — 53.6% — — — — — — — — — — — — — — — — 84.4% — 348 Orca 2 (13B) Microsoft OPEN 13B 4K 292.2 — 83.4% — 77.8% 50.2% — — 57.97 — — 92.8% — 49.9% — — 63.7% — — — — — — — 349 WizardLM-2 8x22B Microsoft OPEN 141B·39Ba 64K 285.2 17.6% — 52.7% — 48.6% — — — — — — — — — — — — — — — — — — 350 Guanaco 33B University of Washington (Dettmers et al.) OPEN 33B 2K 280.6 — 62.5% — 84.5% — — — — — — — — — — — — — — — — — — — 351 Nemotron-4 15B NVIDIA OPEN 15B 4K 277.5 — 55.5% — 82.4% 58.7% 78.0% — — 82.4% — 80.9% — — 60.9% — — — — — — — — — 352 Code Llama 34B Meta OPEN 34B 16K 264.5 — — — — — — — — — — — — — — — — — — — — — — — 353 Falcon 2 11B TII OPEN 11B 8K 262.9 — 59.7% — 82.9% — 78.3% — — — — 77.8% — — — — — — — — — — — — 354 OpenHermes 2.5 Mistral 7B Nous Research OPEN 7.24B 8K 255.7 — 60.1% — 81.7% — 74.3% — 35.79 82.7% — 81.7% 44.8% 43.1% — — — — — — — 41.0% — — 355 CodeGemma 7B Google OPEN 8.54B 8K 252.0 — — — — — — — — — — — — — — — — — — — — — — — 356 DeciLM-7B Deci AI OPEN 7.04B 8K 245.3 — 59.4% — 82.5% — 80.0% — — — — — — — — — — — — — — — — — 357 Falcon-40B TII OPEN 40B 2K 241.4 — 61.9% — 85.3% — 81.3% — 6.41 — — 81.9% — — — — — — — — — — — — 358 LLaMA 65B Meta OPEN 65.2B 2K 240.9 — 56.0% — 84.2% 43.5% 77.0% — — 82.8% — 78.9% 60.2% 47.6% 52.3% — — 51.6% — — — — — — 359 PLaMo-100B Preferred Networks OPEN 100B 4K 234.4 — — — — — — — — — — — — — — — — — — — — — — — 360 H2O-Danube3 4B H2O.ai OPEN 3.96B 8K 213.1 — 59.0% — 80.4% 38.9% 76.5% — — 82.6% — 83.8% — — — — — — — — — — — — 361 StarCoder (15.5B) BigCode OPEN 15.5B 8K 210.7 — — — — — — — — — — — — — — — — — — — — — — — 362 Falcon Mamba 7B TII OPEN 7B 8K 205.4 — 62.0% 33.4% 80.8% 19.9% 73.6% — — — — — — — — — — — — — — — — — 363 GPT-3 175B OpenAI CLOSED 175B 2K 197.2 — 51.5% — 79.3% — 77.7% — 36.5 82.8% — 70.1% 65.4% — — — 86.4% 46.8% — — 36.8% — — 87.7% 364 Phi-2 (2.7B) Microsoft OPEN 2.7B 2K 194.4 — 75.9% — 53.6% 59.4% 54.7% — — 60.2% — 88.5% 73.6% 29.8% 68.3% — — — — — 42.5% — — — 365 Gemma 7B Google OPEN 8.54B 8K 186.8 — 53.2% — 81.2% 55.1% 72.3% — — 81.2% — 81.5% 52.8% 41.7% 51.8% — — — — — — — — — 366 LLaMA 33B Meta OPEN 32.5B 2.048K 184.9 — 57.8% — 82.8% — 76.0% — — 82.3% — 80.0% 58.6% — 50.4% — — 48.3% — — — — — — 367 Command Cohere CLOSED — 4K 183.3 — — — — — — — — — — — 77.4% — — — — — — — — — — — 368 Granite 3.0 2B Instruct IBM OPEN 2.53B 4K 181.6 28.6% 54.4% 46.1% 76.8% 43.7% 71.9% — — — — — 43.2% 29.8% 66.4% — — — — — — — — — 369 Stable Beluga 1 (FreeWilly 1) 65B Stability AI (CarperAI) OPEN 65B 2K 177.8 — 68.2% — 85.9% — 49.8% — 0 — — — — — — — — — — — — — — — 370 Mistral 7B Mistral AI OPEN 7.3B 8K 172.7 5.6% 55.5% 23.9% 81.3% 22.0% 75.3% — — 83.0% — 80.0% — — — — — — — — — — — — 371 MiniCPM-2B OpenBMB OPEN 2.7B 4K 169.6 — 68.0% — 68.3% 36.9% — — — — — 85.4% — — — — — — — — — — — — 372 Apple DCLM-Baseline 7B Apple OPEN 7B 2K 166.8 24.8% 59.9% — 80.4% — 72.7% — — 81.3% — 82.2% 45.4% — 82.9% — 82.2% — — — — — — — 373 StarCoder2 3B BigCode OPEN 3B 16K 153.0 — — — — — — — — — — — — — — — — — — — — — — — 374 Qwen-7B Alibaba OPEN 7B 32K 137.5 — — — — 45.0% — — — — — — — — — — — — — — — — — — 375 Vicuna 13B v1.5 LMSYS (UC Berkeley/CMU/Stanford/UCSD) OPEN 13B 4K 135.2 — 56.6% — 81.1% — 74.7% — 27.73 — — — — — — — — — — — — — — — 376 Sarvam-1 (2B) Sarvam AI OPEN 2B 8K 129.0 — 58.5% — — — — — — — — — — — — — — — — — — — — — 377 Skywork-13B Kunlun Tech OPEN 13B 4K 124.9 — 50.2% — 77.4% — 72.2% — — 79.9% — 78.5% — — — — — — — — — — — — 378 MPT-30B-Instruct MosaicML OPEN 30B 8K 124.4 — 58.4% — 84.3% — 75.1% — 38.3 — — — — — — — — — — — — — — — 379 Baichuan2-13B Baichuan Intelligence OPEN 13B 4K 121.1 — — — — 48.8% — — — — — — — 48.2% — — — — — — — — — — 380 Jais 70B Inception (G42) OPEN 70B 4K 112.8 — 54.9% — 82.7% — 75.7% — — 81.2% — — 44.4% — 52.9% — — 42.9% — — — — — — 381 Flan-T5 XXL Google OPEN 11B 1K 108.0 27.0% — 22.0% — 45.3% — — — — — — — — — — — — — — — — — — 382 Llama 2 13B Chat Meta OPEN 13B 4K 105.1 20.2% 51.4% 34.0% — 33.2% 74.5% — 23.87 — — — — — — — — — — — — — — — 383 OLMoE-1B-7B-0924 Allen Institute for AI (Ai2) OPEN 6.9B·1.3Ba 4K 104.8 — 62.1% 21.9% 80.0% 33.9% 70.2% — — 79.8% — 84.2% — — — — — — — — — — — — 384 Llama-3.1-Minitron 4B NVIDIA OPEN 4.5B 8K 102.4 — 55.6% — 76.1% — 73.5% — — — — — — — — — — — — — — — — — 385 Code Llama 34B Python Meta OPEN 34B 16K 100.1 — 50.4% — 76.4% — 71.9% — — — — — — — — — — — — — — — — — 386 Qwen1.5-MoE-A2.7B Alibaba OPEN 14.3B·2.7Ba 32K 94.1 — 44.0% — 77.3% — 69.3% — — 80.5% — 69.5% — — — — 71.3% — — — — — — — 387 Gemini 1.0 Nano Google CLOSED 3.25B 32K 91.9 — — — — 42.4% — — — — — — — — — — — — — — — — — — 388 Galactica 120B Meta OPEN 120B 2.048K 85.9 — 67.9% — — — — — — — — 83.8% — — — — — — — — — 48.7% — — 389 MPT-30B MosaicML OPEN 30B 8K 84.2 — 56.0% — 82.4% — 74.9% — — — — — — — — — — — — — — — — — 390 Llama 3.2 1B Meta OPEN 1.24B 128K 81.3 27.2% 59.4% 59.5% 41.2% 35.0% — — — — — — — — — — — — — — — — — — 391 WizardLM 7B Microsoft & Peking University OPEN 7B 2K 76.2 — — — — — — — — — — — — — — — — — — — — — — — 392 Gopher Google CLOSED 280B 2K 72.7 — — — 79.2% — 70.1% — — 81.8% — — — — 50.6% — 74.5% 71.6% — — — 54.4% — — 393 Vicuna 13B (v1.1) LMSYS (UC Berkeley/CMU/Stanford/UCSD) OPEN 13B 2K 71.3 — 52.7% — 80.1% — 74.2% — 9.31 — — — — — — — — — — — — — — — 394 Llama 2 13B Meta OPEN 13B 4K 69.7 — 49.4% — 80.7% 39.4% 72.8% — — 80.5% — 77.3% 57.0% 39.1% 50.3% — — — — — — — — — 395 Poro 34B Silo AI (LumiOpen) OPEN 34.2B 2K 57.8 — 53.2% — 77.8% — 72.8% — — — — — — — — — — — — — — — — — 396 AI21 Jurassic-2 (Ultra) AI21 Labs CLOSED — 8K 51.9 — — — 78.8% — — — — — — — 55.8% — — — — — — — — — — — 397 Yi-6B 01.AI OPEN 6B 4K 42.9 — 50.3% — 74.4% 42.8% 71.3% — — — — — — — — — — — — — — — — — 398 DeepSeek-VL 7B DeepSeek OPEN 7B 4K 39.6 — — — 68.4% — — — — — — — — 27.8% — — — — — — — — — — 399 Nemotron-3 8B NVIDIA OPEN 8B 4K 39.5 — — — 76.4% — 70.9% — — 80.4% — 72.9% — — — — 70.6% — — — — — — — 400 GigaChat Sber (Sberbank) CLOSED — 128K 25.2 — — — 76.9% — 71.3% — — — — — — — — — — — — — — — — — 401 Sarashina2-70B SB Intuitions OPEN 70B 8K 14.5 — — — 62.7% 63.9% — — — — — — 39.2% — — — — — — — — — 91.8% — 402 LLaMA 13B Meta OPEN 13B 2.048K 0.6 — 52.7% — 79.2% 37.0% 73.0% — — 80.1% — 74.8% 56.4% 33.9% 50.4% — — 47.2% — — — — — — 403 StableLM Zephyr 3B Stability AI OPEN 2.8B 4K -0.4 — 46.1% — 74.2% — 65.5% — — — — — — 33.2% — — — — — — — 35.3% — — 404 Teuken-7B (instruct) OpenGPT-X OPEN 7B 4K -3.2 — 56.9% — 62.0% — — — — — — — — — — — — — — — — — — — 405 Koala 13B UC Berkeley (BAIR) OPEN 13B 2K -4.1 — 53.0% — 77.6% — 74.0% — 9.11 — — — — — — — — — — — — — — — 406 Llama 2 7B Chat Meta OPEN 7B 4K -10.6 — 52.9% — 78.6% — 71.7% — 13.09 — — — — — — — — — — — — — — — 407 Baichuan2-7B Baichuan Intelligence OPEN 7B 4K -15.1 — — — — 41.6% — — — — — — — 42.7% — — — — — — — — — — 408 DeepSeekMoE 16B DeepSeek OPEN 16.4B·2.8Ba 4K -49.9 — 49.8% — 77.1% — 70.2% — — 80.2% — 68.1% — — — — — 46.4% — — — — — — 409 GLM-130B Zhipu AI / THUDM (Tsinghua) OPEN 130B 2K -67.8 — — — — — — — — — — — — — — — 80.2% — — — — 13.3% — — 410 Comma v0.1-2T EleutherAI OPEN 7B 4K -71.4 — 45.8% — 64.4% — — — — 72.5% — 71.8% 46.2% — 52.3% — — — — — — — — — 411 SmolLM2 1.7B Hugging Face OPEN 1.71B 8K -93.8 — 60.5% — 68.7% — 59.4% — — 77.6% — — 42.2% — — — — — — — — — — — 412 Pharia-1-LLM-7B (control) Aleph Alpha OPEN 7.04B 8K -97.7 — 54.6% — 64.6% — 65.1% — — — — — — — — — — — — — — — — — 413 BLOOMZ (176B) BigScience OPEN 176.25B 2K -106.4 — 55.4% — 75.2% — 59.3% — — — — — — — — — — — — — 48.6% — 69.1% — 414 Llama 2 7B Meta OPEN 6.7B 4K -121.8 — 45.9% — 77.2% 32.6% 69.2% — — 78.8% — 75.2% — 29.3% 48.3% — — — — — — — — — 415 MPT-7B-Instruct MosaicML OPEN 6.7B 2.048K -129.7 — 50.3% — 77.9% — 70.5% — 29.4 — — — — — — — — — — — — — — — 416 BLOOM (176B) BigScience OPEN 176.25B 2K -148.0 — 50.4% — 76.4% — — — — — — — — — — — — — — — — — — — 417 Phi-1.5 (1.3B) Microsoft OPEN 1.3B 2K -148.3 2.4% 44.4% 20.3% 47.6% 7.5% 73.4% — — 76.6% — 75.6% 37.2% — 52.6% — — — — — — — — — 418 Gemma 2B Google OPEN 2.5B 8K -150.7 22.7% 42.1% 20.4% 71.4% 35.2% 65.4% — — 77.3% — 73.2% 47.8% 24.2% 49.7% — — — — — — — — — 419 Qwen-1.8B Alibaba OPEN 1.8B 32K -157.9 — — — — 22.3% — — — — — — — — — — — — — — — — — — 420 LaMDA Google CLOSED 137B 2K -180.4 — — — — — — — — — — 76.4% — — — — — — — — 39.9% — — — 421 LLaMA 7B Meta OPEN 6.7B 2K -180.9 — 47.6% — 76.1% 30.3% 70.1% — — 79.8% — 72.8% 57.2% 23.9% 48.9% — — 46.9% — — — — — — 422 OLMo 7B Allen Institute for AI (Ai2) OPEN 6.9B 2K -182.0 — 48.5% — 76.4% — 67.9% — — 78.4% — 65.4% 50.2% — — — — — — — — — — — 423 Falcon-7B TII OPEN 7B 2K -185.3 — 44.5% — 76.3% — 67.2% — — 80.3% — 73.6% 44.6% — — — 74.9% — — — — — — — 424 Luminous Supreme (70B) Aleph Alpha CLOSED 70B 2K -190.2 — 44.2% — 59.2% — 70.0% — — 79.9% — 76.9% 33.0% — — — 74.0% 40.8% — — — — — — 425 StableLM-3B-4e1t Stability AI OPEN 2.8B 4K -203.6 0.0% 46.6% 22.0% 75.9% 9.0% 71.2% — — — — — — — — — — — — — — — — — 426 ChatGLM2-6B Zhipu AI / THUDM (Tsinghua) OPEN 6.24B 32K -219.2 — — — 57.0% 30.0% — — 25.6 69.6% — — — — — — — — — — — — — — 427 Alpaca 7B Stanford (CRFM / Tatsu Lab) OPEN 6.7B 0.512K -229.7 — — — — 33.3% — — — — — — — — — — — — — — — — — — 428 Stable LM 2 1.6B Stability AI OPEN 1.64B 4K -229.9 0.0% 43.7% 11.6% 69.3% 8.6% 64.1% — — — — — — — — — — — — — — — — — 429 MPT-7B MosaicML OPEN 6.7B 2.048K -262.2 — 47.7% — 75.0% — — — — — — — — 21.3% — — — — — — — — — — 430 H2O-Danube 1.8B H2O.ai OPEN 1.8B 16K -285.2 — 39.3% — 67.6% — 65.3% — — 76.7% — 67.5% 39.2% — — — — — — — — — — — 431 XGen-7B 8K Salesforce OPEN 7B 8K -290.1 — 41.2% — 74.2% — 64.9% — — 75.5% — — 40.2% — — — — — — — — — — — 432 RedPajama-INCITE-7B-Base Together OPEN 6.9B 2K -299.7 — 39.3% — 70.4% — 64.2% — — 77.4% — 69.2% 50.4% — — — 71.4% — — — — — — — 433 RedPajama-INCITE-7B-Instruct Together OPEN 6.9B 2K -300.8 — 40.8% — 71.0% — 65.7% — 4.21 77.0% — 71.6% 48.8% — — — 69.0% — — — — — — — 434 OpenLLaMA 7B OpenLM Research (Berkeley) OPEN 6.7B 2K -322.0 — 38.0% — 72.0% — 67.0% — 5.5 77.0% — 68.0% 40.0% — — — — — — — — — — — 435 GPT-NeoX-20B EleutherAI OPEN 20.6B 2K -339.0 24.3% 38.0% 25.9% 53.5% 31.6% 66.1% — — — — 72.3% 29.0% — — — 72.0% — — — — — — — 436 BTLM-3B-8K Cerebras OPEN 2.6B 8K -364.6 — 37.6% — 69.8% — 65.8% — — 77.2% — 66.9% 40.4% — 46.5% — — 39.4% — — — — — — 437 Apple OpenELM (270M–3B) Apple OPEN 3B 2K -367.9 — 35.6% — 72.4% — 65.5% — — 78.2% — 59.9% — — — — — 38.8% — — — — — — 438 MPT-7B-StoryWriter-65k+ MosaicML OPEN 6.7B 65K -372.6 — 45.6% — 74.1% — 51.1% — 0.32 — — — — — — — — — — — — — — — 439 RedPajama-INCITE-7B-Chat Together OPEN 6.9B 2K -382.3 — 42.1% — 70.8% — 59.8% — 6.56 — — — — — — — — — — — — — — — 440 BLOOM-7B1 BigScience OPEN 7.069B 2K -387.2 26.4% 41.1% 9.1% 62.0% 30.9% 65.4% — — — — — — — — — — — — — — — — — 441 GPT-J-6B EleutherAI OPEN 6.05B 2K -391.0 24.6% 34.0% 25.2% 66.1% 31.9% 65.3% — — 76.5% — 67.0% 28.8% — — — 69.7% — — — — — — — 442 Pythia-6.9B EleutherAI OPEN 6.9B 2K -400.3 25.2% 31.3% 22.8% — 32.3% 60.9% — — 75.2% — 67.3% — — — — 67.3% — — — — — — — 443 Jais-13B Inception (G42) OPEN 13B 2K -409.7 — 35.8% — 57.7% — — — — 67.6% — — — — — — — — — — — — — — 444 GPT-Neo 2.7B EleutherAI OPEN 2.7B 2K -431.6 26.6% 33.4% 25.9% 42.7% 31.4% 56.5% — 4.77 72.1% — — — — — — 62.2% — — — — — — — 445 Cerebras-GPT 13B Cerebras OPEN 13B 2K -454.6 — 36.7% — 51.3% — 64.6% — 4.39 76.6% — 71.4% 28.6% — — — 69.6% — — — — — — — 446 ChatGLM-6B Zhipu AI / THUDM (Tsinghua) OPEN 6.2B 2K -456.9 — — — 30.4% 18.7% — — 3.9 65.7% — — — — — — — — — — — — — — 447 RedPajama-INCITE-Base-3B-v1 Together OPEN 2.8B 2K -470.3 — 40.2% — 63.2% — 63.2% — — 74.7% — — — — — — 65.4% — — — — — — — 448 Pythia-12B EleutherAI OPEN 11.8B 2K -475.5 — 31.8% — — — 63.9% — 4.45 76.0% — 70.2% — — — — 70.5% — — — — — — — 449 Pythia-1.4B EleutherAI OPEN 1.4B 2K -483.4 26.2% 26.0% 23.7% 52.9% 31.5% 57.3% — — 70.9% — 60.6% — — — — 61.6% — — — — — — — 450 StableLM-Alpha 7B Stability AI OPEN 7B 4K -552.2 — 32.0% — 51.8% — 55.4% — — — — — — — — — — — — — — — — — — Grok 4.20 SpaceXAI unrated CLOSED — 1M 2736.7 — — — — — — — — — 82.9% — — — — — — — — — — — — — — Baichuan 4 Baichuan Intelligence unrated CLOSED — 32K 2558.1 — — — — — — — — — — — — — — — — — — — — — — — — ERNIE 4.0 Baidu unrated CLOSED — 8K 2345.9 — — — — — — — — — — — — — — — — — — — — — — — — Claude Opus 4.5 (Medium) Anthropic unrated CLOSED — 200K 2283.3 — — — — — — — — — — — — — — — — — — — — — — — — Kimi Chat Moonshot AI unrated CLOSED — 128K 2165.5 — — — — — — — — — — — — — — — — — — — — — — — — DeepSeek-Prover-V2 671B DeepSeek unrated OPEN 671B·37Ba 128K 2164.8 — — — — — — — — — — — — — — — — — — — — — — — — GPT-5-Codex OpenAI unrated CLOSED — 400K 2103.4 — — — — — — — — — — — — — — — — — — — — — — — — Step-1V StepFun unrated CLOSED — 32K 1978.9 — — — — — — — — — — — — — — — — — — — — — — — — Grok 4.3 SpaceXAI unrated CLOSED — 1M 1973.3 — — — — — — — — — — — — — — — — — — — — — — — — Doubao (1st-gen) ByteDance unrated CLOSED — 128K 1955.4 — — — — — — — — — — — — — — — — — — — — — — — — Jamba2 Mini AI21 Labs unrated OPEN 52B·12Ba 256K 1933.4 — — 97.0% — — — — — — — — — — — — — — — — — — — — — OpenAI o1-pro OpenAI unrated CLOSED — 200K 1700.4 — — — — — — — — — — — — — — — — — — — — — — — — Reka Edge (2026) Reka AI unrated OPEN 7B 16K 1698.3 — — — — — — — — — — — — — — — — — — — — — — — — R1-1776 Perplexity AI unrated OPEN 671B·37Ba 128K 1566.7 — — — — — — — — — — — — — — — — — — — — — — — — InternVL3-78B OpenGVLab (Shanghai AI Lab) unrated OPEN 78B 32K 1541.5 — — — — — — — — — — — — — — — — — — — — — — — — iFlytek Spark X1 (Xinghuo X1) iFlytek unrated CLOSED — 128K 1447.3 — — — — — — — — — — — — — — — — — — — — — — — — Upstage Solar Pro 2 (Reasoning) Upstage unrated CLOSED 31B 64K 1419.4 69.0% — — — — — 7.0% — — 37.0% — — — — — — — — — — — — — — Gorilla 7B UC Berkeley & Microsoft Research unrated OPEN 7B 2K 1404.4 — — — — — — — — — — — — — — — — — — — — — — — — Devstral Small Mistral AI unrated OPEN 24B 128K 1358.6 — — — — — — — — — — — — — — — — — — — — — — — — ERNIE 4.5 VL 424B-A47B Baidu unrated OPEN 424B·47Ba 128K 1354.6 — — — — — — — — — — — — — — — — — — — — — — — — Palmyra Med 70B Writer unrated OPEN 70B 8K 1333.2 — — — — — — — — — — — — — — — — — — — — — — — — Llama-3.1-ELYZA-JP-70B ELYZA unrated CLOSED 70B 128K 1190.8 — — — — — — — — — — — — — — — — — — — — — — — — Pixtral Large (124B) Mistral AI unrated OPEN 124B 128K 1190.3 — — — — — — — — — — — — — — — — — — — — — — — — Molmo 72B Allen Institute for AI (Ai2) unrated OPEN 72B 4K 1106.0 — — — — — — — — — — — — — — — — — — — — — — — — Upstage Solar Pro 2 (Chat) Upstage unrated CLOSED 31B 64K 1103.4 56.0% — — — — — 4.0% — — 34.0% — — — — — — — — — — — — — — MiniCPM-o 2.6 OpenBMB unrated OPEN 8B 32K 1058.7 — — — — — — — — — — — — — — — — — — — — — — — — Codestral 25.01 Mistral AI unrated CLOSED — 256K 1056.8 — — — — — — — — — — — — — — — — — — — — — — — — Baichuan 3 Baichuan Intelligence unrated CLOSED — 32K 1016.7 — — — — — — — — — — — — — — — — — — — — — — — — Amazon Titan Text (Express & Lite) Amazon unrated CLOSED — 8K — — — — — — — — — — — — — — — — — — — — — — — — — Apple Foundation Model 3 Core Advanced (on-device, 20B sparse) Apple unrated CLOSED 20B·4Ba 32K — — — — — — — — — — — — — — — — — — — — — — — — — Apple Foundation Model 3 Core (on-device, ~3B) Apple unrated CLOSED 3B 32K — — — — — — — — — — — — — — — — — — — — — — — — — Dolphin 2.5 Mixtral 8x7B Cognitive Computations (Eric Hartford) unrated OPEN 46.7B·12.9Ba 16K — — — — — — — — — — — — — — — — — — — — — — — — — ERNIE 3.0 Titan Baidu unrated CLOSED 260B 0.512K — — — — — — — — — — — — — — — — — — — — — — — — — ERNIE X1 Baidu unrated CLOSED — 8K — — — — — — — — — — — — — — — — — — — — — — — — — GLM-5.2 (High) Zhipu AI / Z.ai (Tsinghua) unrated OPEN 744B·40Ba 1M — — — — — — — — — — — — — — — — — — — — — — — — — Grok 4.20 Multi-Agent SpaceXAI unrated CLOSED — 1M — — — — — — — — — — — — — — — — — — — — — — — — — Hunyuan (1st-gen) Tencent unrated CLOSED — 4K — — — — — — — — — — — — — — — — — — — — — — — — — iFlytek Spark V1.0 (Xinghuo) iFlytek unrated CLOSED — 8K — — — — — — — — — — — — — — — — — — — — — — — — — iFlytek Spark V4.0 (Xinghuo) iFlytek unrated CLOSED — 8K — — — — — — — — — — — — — — — — — — — — — — — — — MAI-1-preview Microsoft unrated CLOSED — 128K — — — — — — — — — — — — — — — — — — — — — — — — — rinna japanese-gpt-neox-3.6b rinna unrated OPEN 3.6B 2K — — — — — — — — — — — — — — — — — — — — — — — — — Step-1 StepFun unrated CLOSED 100B 256K — — — — — — — — — — — — — — — — — — — — — — — — — Step-2 StepFun unrated CLOSED 1000B 16K — — — — — — — — — — — — — — — — — — — — — — — — — iFlytek Spark V3.0 (Xinghuo) iFlytek unrated CLOSED — 8K 995.5 — — — — — — — — — — — — — — — — — — — — — — — — Palmyra X 004 Writer unrated CLOSED — 128K 990.1 — — — — — — — — — — — — — — — — — — — — — — — — DeepSeek-VL2 DeepSeek unrated OPEN 27B·4.5Ba 4K 953.6 — — — — — — — — — — — — — — — — — — — — — — — — Qwen-Max-0428 Alibaba unrated CLOSED — 32K 904.0 — — — — — — — — — — — — — — — — — — — — — — — — Phi-4-multimodal (5.6B) Microsoft unrated OPEN 5.6B 128K 842.4 — — — — — — — — — — — — — — — — — — — — — — — — Phi-4-multimodal-instruct Microsoft unrated OPEN 5.6B 128K 842.4 — — — — — — — — — — — — — — — — — — — — — — — — Mistral Medium (original) Mistral AI unrated CLOSED — 32K 840.8 — — — — — — — — — — — — — — — — — — — — — — — — DeepSeek Coder 33B DeepSeek unrated OPEN 33.3B 16K 833.4 — — — — — — — — — — — — — — — — — — — — — — — — Qwen2.5-Coder-32B Alibaba unrated OPEN 32.5B 128K 803.8 — — — — — — — — — — — — — — — — — — — — — — — — Codestral Mamba (7B) Mistral AI unrated OPEN 7.3B 256K 774.0 — — — — — — — — — — — — — — — — — — — — — — — — MiniCPM-V 2.6 OpenBMB unrated OPEN 8B 32K 771.6 — — — — — — — — — — — — — — — — — — — — — — — — Soofi S SOOFI Consortium unrated OPEN 31.6B·3.5Ba 1.024M 764.0 — — — — — — — — — — — — — — — — — — — — — — — — WizardCoder-Python-34B V1.0 Microsoft unrated OPEN 34B 16K 745.4 — — — — — — — — — — — — — — — — — — — — — — — — GLM-4V-9B Zhipu AI unrated OPEN 14B 8K 675.7 — — — — — — — — — — — — — — — — — — — — — — — — MiniCPM-Llama3-V 2.5 OpenBMB unrated OPEN 8B 8K 634.2 — — — — — — — — — — — — — — — — — — — — — — — — Code Llama 70B Instruct Meta unrated OPEN 70B 16K 618.8 — — — — — — — — — — — — — — — — — — — — — — — — Claude 2.1 Anthropic unrated CLOSED — 200K 565.4 — — — — — — — — — — — — — — — — — — — — — — — — Idefics2 8B Hugging Face unrated OPEN 8B 32K 564.3 — — — — — — — — — — — — — — — — — — — — — — — — Phi-3.5-vision (4.2B) Microsoft unrated OPEN 4.2B 128K 532.4 — — — — — — — — — — — — — — — — — — — — — — — — CodeQwen1.5-7B Alibaba unrated OPEN 7B 64K 526.5 — — — — — — — — — — — — — — — — — — — — — — — — CogVLM-17B Zhipu AI / THUDM (Tsinghua) unrated OPEN 17B 4K 525.7 — — — — — — — — — — — — — — — — — — — — — — — — Code Llama 70B Meta unrated OPEN 70B 16K 472.7 — — — — — — — — — — — — — — — — — — — — — — — — Granite 34B Code Instruct IBM unrated OPEN 34B 8K 472.7 — — — — — — — — — — — — — — — — — — — — — — — — Phi-1 (1.3B) Microsoft unrated OPEN 1.3B 2K 381.7 — — — — — — — — — — — — — — — — — — — — — — — — Granite 8B Code Instruct IBM unrated OPEN 8B 4K 345.3 — — — — — — — — — — — — — — — — — — — — — — — — Qwen-VL Alibaba unrated OPEN 9.6B 8K 343.4 — — — — — — — — — — — — — — — — — — — — — — — — Llama-3-ELYZA-JP-8B ELYZA unrated OPEN 8B 8K 324.8 — — — — — — — — — — — — — — — — — — — — — — — — Apple Foundation Model (on-device, ~3B) Apple unrated CLOSED 3B 32K 240.6 — — — — — — — — — — — — — — — — — — — — — — — — Code Llama 13B Meta unrated OPEN 13B 16K 232.3 — — — — — — — — — — — — — — — — — — — — — — — — Megatron-Turing NLG 530B NVIDIA unrated CLOSED 530B 2K 210.0 — — — 80.2% — 73.0% — — 82.0% — — — — — — 76.6% 47.9% — — 36.6% — — — — Viking 7B Silo AI (LumiOpen) unrated OPEN 7.55B 4K 154.9 — — — — — — — — — — — — — — — — — — — — — — — — CodeGen2.5 7B Salesforce unrated OPEN 7B 2K 153.4 — — — — — — — — — — — — — — — — — — — — — — — — Code Llama 7B Meta unrated OPEN 7B 16K 127.6 — — — — — — — — — — — — — — — — — — — — — — — — CodeT5+ 16B Salesforce unrated OPEN 16B 2K 98.5 — — — — — — — — — — — — — — — — — — — — — — — — CodeGen 16B (Mono) Salesforce unrated OPEN 16.1B 2K 25.1 — — — — — — — — — — — — — — — — — — — — — — — — OpenAI Codex OpenAI unrated CLOSED 12B 4K 14.4 — — — — — — — — — — — — — — — — — — — — — — — — SantaCoder 1.1B BigCode unrated OPEN 1.1B 2K -97.6 — — — — — — — — — — — — — — — — — — — — — — — — OPT-175B Meta unrated OPEN 175B 2.048K -138.8 — 43.9% — 59.3% — 72.6% — — 81.1% — 71.0% 34.0% — — — 75.6% — — — — — — 79.8% — CodeGeeX (13B) Zhipu AI / THUDM (Tsinghua) unrated OPEN 13B 2K -149.9 — — — — — — — — — — — — — — — — — — — — — — — — OPT-IML 30B Meta unrated OPEN 30B 2.048K -189.2 — 45.5% — — — 67.8% — — 77.3% — 64.9% 50.6% — — — — — — — — — — 80.1% — OPT-66B Meta unrated OPEN 66B 2.048K -252.0 — 40.0% — — — — — — 79.8% — 67.3% — — — — 74.9% — — — — — — 77.3% — IDEFICS 80B Hugging Face unrated OPEN 80B 2K -264.9 — — — — — — — — — — — — — — — — — — — — — — — — Aya 101 Cohere Labs unrated OPEN 13B 1K -271.2 — — — — — — — — — — — — — — — — — — — — — 70.7% — — Turing-NLG (17B) Microsoft unrated CLOSED 17B 1K -449.6 — — — — — — — — — — — — — — — 68.0% — — — — — — —