كم هو دقيق ChatGPT في إنشاء الردود؟

شات جي بي تي هو روبوت دردشة ذكي تم تطويره من قبل OpenAI وقد بدأ يتميز بالدقة والأداء في مجالات متعددة. ولكن من المهم الإشارة إلى أن معرفته محدودة بالبيانات المتاحة حتى عام 2021. تم إجراء اختبار لدقته من قبل البروفيسور كريستيان تيرويش في جامعة بنسلفانيا، الذي قدم امتحان ام بي ايه لشات جي بي تي لاختبار دقته.

اختبار مكون من سبعة أسئلة تغطي مفاهيم عديدة في الأعمال التجارية مثل تحليل العمليات، تحويل المخزون، وتحليل الانتظار. تم تصميم هذا الاختبار لمحاكاة بيئة حقيقية للإنسان، وكانت الأسئلة مطروحة بنفس الطريقة التي يتم بها طرحها على طالب بشري. على مفاجأة البروفيسور ترفيش، بدأ ChatGPT الاختبار بقوة، وحصل على درجة A+ لإجابته على السؤال الأول حول مفهوم Eng bottleneck في تحليل العمليات.

على الرغم من أن الدردشة الآلية كانت تواجه بعض الأسئلة المعقدة، إلا أن الأستاذ كان معجبًا بالأداء العام لها. بعد إجراء اختبار MBA على ChatGPT، استنتج الأستاذ تيرفيش أن الدردشة الآلية ستتلقى درجة بين B و B-.

تفسير دقة ChatGPT

إحدى العروض الأخرى لدقة شات جي بي تي كانت في المجال الطبي، حيث تمكن الروبوت الدردشة من اجتياز امتحان الترخيص الطبي الأمريكي (USMLE). وفقًا للأبحاث، كان شات جي بي تي قادرًا على تحقيق دقة تزيد عن 50% عبر جميع الاختبارات وحتى قدم تحليلات وشروحًا لإجاباته.

في دراسة منفصلة قادها أطباء من شركة البداية الطبية Ansible Health ، أظهر ChatGPT أداءً في أو بالقرب من عتبة النجاح لجميع الامتحانات الثلاثة المطلوبة للحصول على ترخيص كطبيب في الولايات المتحدة. على الرغم من أن دقة ChatGPT ملحوظة بالتأكيد ، إلا أنه من المهم أن نضع في اعتبارنا أن أداءه يمكن أن يتفاوت اعتمادًا على السياق والحاجة المعطاة.

بيانات التدريب المستخدمة لتدريب النموذج تتضمن التحيزات والقيود لمصادر النص المستخدمة، لذا من الضروري استخدام النموذج بشكل مسؤول.

وقد تم تكرار هذا الرأي من قبل الرئيس التنفيذي لشركة OpenAI ، الذي صرح في تغريدة أن "ChatGPT محدود للغاية ، وأنه "خطأ الاعتماد عليه لأي شيء مهم في الوقت الحالي".

٠٠:٤٨

01:12

فشل اختبار المحادثة مع Chat GPT

كما هو موضح في الصورة أعلاه، فإن المحادثة التجريبية مع ChatGPT أظهرت أن أداء الذكاء الاصطناعي للروبوت الحديث ليس دائمًا متسقًا.

عندما سئلت عن عدد مرات فوز الأرجنتين بكأس العالم لكرة القدم ، أجاب ChatGPT في البداية: "فازت الأرجنتين بكأس العالم لكرة القدم مرة واحدة فقط ، في عام 1986". ومع ذلك ، عندما سئل "من فاز بكأس العالم لكرة القدم في عام 1978" ، رد ChatGPT بقوله "فازت الأرجنتين بكأس العالم لكرة القدم في عام 1978."

أدى هذا الامر إلى استنتاج أن الأرجنتين فازت بكأس العالم مرتين. ومع ذلك ، عندما تم طرح نفس السؤال مرة أخرى "الآن أسألك مرة أخرى كم مرة فازت الأرجنتين بكأس العالم؟" أعطى ChatGPT نفس الإجابة "حصلت الأرجنتين على كأس العالم مرة واحدة في عام 1986" على الرغم من المحادثة السابقة.

يسلط هذا الضوء على دقة Chat GPT وضرورة التحسين والتنقية المستمرة.

اقرأ الآن: هل يمكن لـ Chat GPT كتابة وإصلاح الشفرة؟

هل تعطي ChatGPT نفس الإجابة للجميع؟

إجابات ChatGPT يمكن أن تختلف قليلاً ، ومع ذلك ، إذا طلب المستخدمون نفس السؤال ، فإننا نميل إلى رؤية إجابات متشابهة جدًا.

هل تعتبر ChatGPT موثوقة؟

يحتوي ChatGPT على قيوده، مما يعني أنه يمكن أن يعطي أحيانًا نتائج غير دقيقة أو خاطئة، لذا كن حذرًا.