नई दिल्ली, 12 अक्टूबर
Apple शोधकर्ताओं की एक टीम ने विशेष रूप से गणित में बड़े भाषा मॉडल (एलएलएम) की औपचारिक तर्क क्षमताओं पर सवाल उठाया है।
उन्होंने पाया कि एलएलएम एक ही प्रश्न के विभिन्न तात्कालिकताओं का उत्तर देते समय ध्यान देने योग्य भिन्नता प्रदर्शित करते हैं।
साहित्य सुझाव देता है कि एलएलएम में तर्क प्रक्रिया औपचारिक तर्क के बजाय संभाव्य पैटर्न-मिलान है।
यद्यपि एलएलएम अधिक अमूर्त तर्क पैटर्न से मेल खा सकते हैं, लेकिन वे सच्चे तार्किक तर्क से कम हैं। इनपुट टोकन में छोटे बदलाव मॉडल आउटपुट में भारी बदलाव ला सकते हैं, जो एक मजबूत टोकन पूर्वाग्रह का संकेत देता है और सुझाव देता है कि ये मॉडल अत्यधिक संवेदनशील और नाजुक हैं।
"इसके अतिरिक्त, कई टोकन के सही चयन की आवश्यकता वाले कार्यों में, सटीक उत्तर पर पहुंचने की संभावना टोकन या चरणों की संख्या के साथ तेजी से घट जाती है, जो जटिल तर्क परिदृश्यों में उनकी अंतर्निहित अविश्वसनीयता को रेखांकित करती है," ऐप्पल के शोधकर्ताओं ने अपने पेपर में कहा। जीएसएम-प्रतीकात्मक: बड़े भाषा मॉडल में गणितीय तर्क की सीमाओं को समझना।
ग्रेड-स्कूल स्तर के प्रश्नों पर मॉडल के गणितीय तर्क का आकलन करने के लिए 'जीएसएम8के' बेंचमार्क का व्यापक रूप से उपयोग किया जाता है।
जबकि GSM8K पर एलएलएम के प्रदर्शन में हाल के वर्षों में काफी सुधार हुआ है, यह स्पष्ट नहीं है कि उनकी गणितीय तर्क क्षमताएं वास्तव में उन्नत हुई हैं या नहीं, जिससे रिपोर्ट किए गए मेट्रिक्स की विश्वसनीयता पर सवाल उठ रहे हैं।