كيف يُقاس الظهور في الذكاء الاصطناعي بشكل صحيح؟
بنسبة ومعها حجم عينة وفترة ثقة، لا بلقطة شاشة واحدة. الإجابات غير حتمية، والتشغيل الواحد لا يفصل الإشارة عن ضجيج العينة.
لماذا لقطة الشاشة الواحدة لا تساوي شيئًا
اسأل المساعد السؤال نفسه مرتين وقد تحصل على إجابتين مختلفتين. لهذا فإن لقطة شاشة واحدة، وهي التقرير الشائع في هذا المجال، لا تخبرك بشيء: لا تعرف إن كان اسمك ظهر لأن وضعك تحسّن، أم بالصدفة. قِسنا هذا على أنفسنا قبل أن نبيعه، ووجدنا أن الخطأ يبقى كبيرًا حتى بعد عشر محاولات. لهذا نُشغّل كل سؤال خمس عشرة مرة، ونُعطيك نسبة مع هامش الخطأ. مثال: "ظهرت في ٤ مرات من ١٥" لا "ظهرت في ChatGPT".
مقياسان منفصلان لا مقياس واحد
الذكر والاستشهاد نتيجتان شبه مستقلتين: محرك قد يذكر اسمك دون رابط، أو يستشهد بنطاقك دون أن ينطق اسمك. دمجهما في رقم واحد يخفي أيهما تحرّك.
ما يشمله التعاقد وما لا يشمله
التعاقد على العمل والقياس: ما يرسب في الفحوصات يُصلَح أو يُوثَّق مع تسمية الجهة المانعة، ومجموعة الأسئلة تُقاس بعدد تشغيلات معلن مع فترات ثقة منشورة. أما الموضع داخل إجابة أي محرك فليس محلًّا للتعاقد، لأن أحدًا لا يملكه.
مجانًا، دون تسجيل، والنتيجة كاملة على الشاشة.
ابدأ الفحص