Илон Маскийн үүсгэн байгуулсан xAI компанийн Grok чатбот 10 загвар дотроос алдаатай хариулт өгөх түвшнээр хамгийн бага буюу ердөө 8 хувийн үзүүлэлттэй гарсан тухай хиймэл оюунт үйлчилгээний найдвартай байдалд дүн шинжилгээ хийдэг Relum платформын тайланд дурджээ.
Судалгаагаар Grok нь ажлын орчинд ашиглахад тохиромжтой, хамгийн найдвартай хиймэл оюунт чатботуудын нэг гэж тодорхойлогджээ. Тус хиймэл оюунт загварын алдаатай хариулт өгөх түвшин ердөө 8 хувьтай байна. Харин ChatGPT 35 хувийн үзүүлэлттэйгээр Google-ийн Gemini-гийн дараа (38 хувь) оржээ.
Судалгааны явцад чатботуудыг алдаатай хариулт өгөх давтамж, хэрэглэгчдийн үнэлгээ, хариултаа тогтвортой өгөх байдал, системийн тасалдлын давтамж зэрэг үзүүлэлтээр үнэлжээ. Үүний дараа 0-99 хүртэлх найдвартай байдлын эрсдэлийн оноо өгсөн бөгөөд оноо өндөр байх нь илүү ноцтой асуудалтайг илтгэх аж.
Эдгээр шалгуурын нийлбэр дүнгээр Grok 6 оноо авсан нь судалгааны хамгийн сайн үзүүлэлтүүдийн нэг болжээ. DeepSeek чатбот 4 гэсэн маш сайн эрсдэлийн оноо авч, тасалдалгүй ажилласан үзүүлэлтээр хоёрдугаар байрт оржээ. Харин ChatGPT-ийн хувьд галлюцинац болон системийн тасалдлаар эрсдэлийн хамгийн өндөр буюу 99 оноог авсан бол дараа нь Claude (75 оноо), Meta AI (70) жагссан байна.
