סירי מפשלת
עוזרים אישיים וירטואליים נבחנו במחקר חדש שהכיל 4,952 שאלות שנשאלו לכל ארבעת העוזרים. כל תגובה חולקה לאחת מחמש קטגוריות. האם העוזרת ענתה בעל פה? האם התשובה הגיעה ממסד נתונים כמו גרף הידע? האם התשובה הגיעה ממקור צד שלישי כמו ויקיפדיה? האם העוזר לא הצליח להבין את השאלה? האם העוזר הבין את השאלה, אך לא ענה נכון?
ארבע העוזרות האישיות הווירטואליות שנבדקו היו Alexa, Cortana של מיקרוסופט על הרמקול החכם Invoke, Google Assistant ב-Google Home, Google Assistant בסמארטפון וסירי. בעוד שכל הארבעה יכולים להתמודד עם בקשות אחרות כמו הגדרת אזעקה, הזמנת פרחים והזמנת ארוחות ערב, בדיקה זו נעשתה אך ורק כדי למדוד איזה עוזר הוא בעל הידע הרב ביותר.
הזוכה הכללי היה Google Assistant בסמארטפון. האחרון ניסה לענות על רוב השאלות (במילים אחרות, הוא אמר דברים כמו "סליחה, אני לא יודע את זה" פחות פעמים מהמתחרים) והיה לו את האחוז הגבוה ביותר של שאלות "שנענו בצורה מלאה ונכונה". Cortana ב-the Invoke הייתה במקום השני באחוז התשובות הנכונות, ואחריה Google Assistant ב-Google Home, Alexa ולאחר מכן Siri. עוד בפברואר,העוזרת הוירטואלית של אפל סיימה במקום האחרון במחקרשהוגבל לעוזרים מרמקולים חכמים בלבד.
בהשוואה של מבחן 2018 לתוצאות השנה שעברה, רק Cortana ב-Invoke הראתה שיפור באחוז התשובות הנכונות (86% ל-92.1%). Google Assistant בסמארטפון לא היה חלק מהמחקר בשנה שעברה. בעוד שהאחוז של אלקסה ירד, היא אכן הגדילה את מספר השאלות שהיא ניסתה לענות עליה פי 2.7 לעומת השנה שעברה. ל-Cortana היה האחוז הנמוך ביותר של תשובות שגויות, ואחריה Google Assistant גם בסמארטפון וגם ברמקול החכם של הבית. כל העוזרים האלה טעו הרבה פחות מ-1% מהמקרים. מצד שני, אחוז התשובות השגויות שדיברה אלקסה עלה בחדות מקצת פחות מ-1% ב-2017 ליותר מ-3% השנה. סירי ענתה לא נכון בכ-3% מהפעמים בשנה שעברה, וקצת יותר מ-3% השנה.
ל-Google Assistant בסמארטפון היה המספר הגדול ביותר של תשובות שיוחסו למקור צד שלישי. זה קרה ליותר ממחצית מהתגובות שלה. לאלקסה הייתה המספר המועט ביותר של תשובות שמקורן מצד שלישי, בעוד שה-Cortana של Invoke הראתה את הירידה היחידה משנה לשנה בקטגוריה זו. בעוד שסירי הסתמכה על מקור צד שלישי רק קצת יותר מ-20% מהמקרים, היא הייתה בעלת הגידול הגדול ביותר משנה לשנה. לאלקסה היה האחוז הגדול ביותר של שאלות שהיא ענתה בבדיחה, ואחריה סירי, שהייתה לה ירידה גדולה בקטגוריה זו.
נראה כי מבחן זה מאשר את מה שהפך ברור;סירי מאבדת גובה במהירות. הבדיקה גם אומרת לנו שאולי אלקסה הפכה להיות קצת מוערכת יתר על המידה וקורטנה לא מוערכת. זה גם חושף ש-Google Assistant היא למעשה העוזרת האישית הווירטואלית החכמה ביותר בנקודת זמן זו.
מָקוֹר:StoneTemple
