کاهش ۷۰ درصدی تأخیر و دقت ۹۹ درصد توسط مایتای و گروک

به گزارش پی آر؛ یک همکاری سه‌جانبه بین شرکت پشتیبانی تلفنی هوش مصنوعی Phonely، پلتفرم بهینه‌سازی inference به نام Maitai، و شرکت تولیدکننده چیپ Groq، موفق به دستیابی به پیشرفتی بزرگ در حوزه هوش مصنوعی مکالمه‌ای شده‌اند؛ چالشی که سال‌ها صنعت را درگیر کرده بود: تأخیرهای نامناسبی که باعث می‌شد تماس‌گیرندگان فوراً متوجه شوند با ماشین صحبت می‌کنند.

این همکاری به Phonely اجازه داده است تا زمان پاسخ‌دهی را بیش از ۷۰ درصد کاهش داده و دقت پاسخ‌ها را از ۸۱.۵ درصد به ۹۹.۲ درصد افزایش دهد. این دقت حتی از استاندارد GPT-4o با ۹۴.۷ درصد حدود ۴.۵ درصد بهتر است. این پیشرفت به خاطر قابلیت جدید Groq در سوییچ فوری و بدون تأخیر بین چند مدل تخصصی هوش مصنوعی، تحت کنترل و بهینه‌سازی پلتفرم Maitai میسر شده است.
مشکل تأخیر در هوش مصنوعی مکالمه‌ای

یکی از چالش‌های اصلی مدل‌های زبان بزرگ (LLM) مانند GPT-4o، پاسخ سریع و طبیعی در مکالمات تلفنی است. تأخیر چند ثانیه‌ای در مکالمه تلفنی، باعث می‌شود تجربه مکالمه غیرطبیعی و رباتیک به نظر برسد. این مشکل به حدی است که تقریباً هر ۱۰ درخواست یکی دو بار تأخیر ناخوشایند رخ می‌دهد که به سرعت مصنوعی بودن مکالمه را آشکار می‌کند.

ویلیام بودوز، مدیرعامل Phonely، در مصاحبه‌ای با VentureBeat گفت: «بیشتر شرکت‌های بزرگ LLM مانند OpenAI یا Claude، تأخیر بالایی در پاسخ‌گویی دارند. تأخیر چهار ثانیه‌ای هنگام صحبت با هوش مصنوعی در تلفن، مانند یک ابدیت است و همین باعث می‌شود اکثر هوش مصنوعی‌های صوتی غیرانسانی به نظر برسند.»

این تأخیرها مانعی بزرگ برای پذیرش هوش مصنوعی تلفنی در مرکز تماس‌ها و خدمات مشتری بوده است.

راه‌حل فناوری جدید

Groq فناوری خاصی را توسعه داده است که به آن «سوییچ لحظه‌ای بدون تأخیر LoRA» گفته می‌شود. این فناوری اجازه می‌دهد بدون کاهش عملکرد، بین چند مدل تخصصی هوش مصنوعی به سرعت و بدون وقفه جابجا شد. LoRA (Low-Rank Adaptation) به توسعه‌دهندگان امکان می‌دهد تا تغییرات کوچک و تخصصی روی مدل‌های موجود ایجاد کنند، بدون نیاز به آموزش مجدد مدل‌های کامل.

چلسی کانتور، مدیر بازاریابی Groq، توضیح داد که این فناوری از معماری خاص سخت‌افزاری و حافظه سریع برای ذخیره و مدیریت این مدل‌ها بهره می‌برد.

نقش Maitai در بهینه‌سازی مدل‌ها

Maitai سیستمی شبیه به یک لایه واسطه است که عملکرد مدل‌ها را به‌صورت مستمر جمع‌آوری و بهبود می‌بخشد. کریستین دالسانتو، مؤسس Maitai، گفت:
«ما به طور خودکار بهترین مدل را برای هر درخواست انتخاب و بهینه‌سازی می‌کنیم. نقاط ضعف مدل‌ها شناسایی شده و بدون دخالت کاربر، به مرور اصلاح می‌شوند.»

رشد چشمگیر دقت و سرعت پاسخ

زمان شروع پاسخ‌دهی AI به شدت کاهش یافته است: ۷۳.۴ درصد بهبود از ۶۶۱ میلی‌ثانیه به ۱۷۶ میلی‌ثانیه. زمان تکمیل پاسخ هم ۷۴.۶ درصد کاهش یافته است. دقت نیز از ۸۱.۵ درصد در مدل اول به ۹۹.۲ درصد در مدل چهارم رسیده است، رقمی که در بسیاری از حوزه‌های خدمات مشتری بهتر از عملکرد انسان است.

بودوز گفت: «حدود ۷۰ درصد افراد نمی‌توانند تشخیص دهند با هوش مصنوعی صحبت می‌کنند، چون تأخیر و کیفیت گفتار کاملاً انسانی شده است.»
تأثیر تجاری و تغییرات در مراکز تماس

یکی از مشتریان Phonely شاهد افزایش ۳۲ درصدی تماس‌های موفق بوده است. مراکز تماس، که هزینه‌های زیادی برای آموزش و مدیریت نیروهای انسانی دارند، حالا می‌توانند با استفاده از AI هزینه‌ها را کاهش دهند.

یک مرکز تماس مشتری Phonely، این ماه قصد دارد ۳۵۰ نیروی انسانی را به طور کامل با این AI جایگزین کند. بودوز گفت: «این یک تحول بزرگ برای مراکز تماس است، چون دیگر نیازی به مدیریت نیروهای انسانی و زمان‌بندی نیست.»

سخت‌افزار Groq و مزیت‌های آن

چیپ‌های تخصصی Groq برای پردازش زبان بهینه شده‌اند و این امکان را فراهم می‌کنند تا مدل‌های تخصصی متعدد بدون تأخیر اجرا شوند. این چیپ‌ها در مدیریت داده‌ها و محاسبات با سرعت و دقت بالا بی‌نظیر هستند.

سرعت پیاده‌سازی

یکی از نکات مهم این همکاری، سرعت استقرار سریع مدل‌هاست. برخلاف پروژه‌های AI سنتی که ماه‌ها زمان می‌برند، Maitai می‌تواند انتقال به مدل‌های بهینه شده را در همان روز انجام دهد بدون اینکه کسب‌وکار وقفه‌ای تجربه کند.

آینده هوش مصنوعی در سازمان‌ها

این همکاری نشان‌دهنده روند تغییر معماری AI از مدل‌های بزرگ و کلی به سمت مدل‌های تخصصی و بهینه شده است. شرکت‌ها حالا ترجیح می‌دهند مجموعه‌ای از مدل‌های دقیق و کوچک داشته باشند که برای هر وظیفه بهینه شده‌اند.

کریستین دالسانتو گفت: «ما معتقدیم این روش تحولی در ساخت و استقرار AI سازمانی ایجاد می‌کند.»