أنشأ الباحثون نموذج ذكاء اصطناعي يمكنه التعرّف على أصوات الكتابة على لوحة مفاتيح حاسوب “ماك بوك برو” (MacBook Pro) من آبل، وبعد تدريب هذا النموذج على ضغطات المفاتيح المسجلة عن طريق هاتف قريب أصبح قادرًا على تحديد المفتاح الذي يُضغط عليه بدقة تصل إلى 95%، بناءً على صوت الضغط على المفتاح فقط.
وأشار الباحثون إلى أنه عند استخدام الأصوات التي يجمعها الحاسوب خلال محادثات Zoom لتدريب خوارزمية تصنيف الصوت، انخفضت دقة التنبؤ إلى 93%، وهي نسبة مرتفعة ومثيرة للقلق، وتعتبر رقمًا قياسيًا لهذه الوسيلة.
وقد جمع الباحثون البيانات التدريبية عن طريق الضغط على 36 مفتاحًا في لوحة مفاتيح حاسوب “ماك بوك برو” 25 مرة لكل مفتاح باستخدام أصابع مختلفة وبدرجات ضغط متفاوتة، ثم سجلوا الصوت الناتج عن كل ضغطة عبر هاتف ذكي موجود بالقرب من لوحة المفاتيح، أو عبر مكالمة Zoom تُجرى عبر الحاسوب.
ثم أنتجوا موجات وصورا طيفية من التسجيلات التي تظهر الاختلافات المميزة لكل مفتاح وأجروا خطوات معالجة بيانات لزيادة الإشارات التي يمكن استخدامها لتحديد صوت المفاتيح.
وبعد اختبار النموذج على هذه البيانات، وجدوا أنه تمكن من تحديد المفتاح الصحيح من تسجيلات الهاتف الذكي بنسبة 95%، ومن تسجيلات مكالمات Zoom بنسبة 93%، ومن تسجيلات مكالمات Skype بنسبة 91.7% وهي نسبة أقل ولكنها لا تزال نسبة عالية جدًا، ومثيرة للقلق.
ويقول الباحثون إنه مع تزايد استخدام أدوات مؤتمرات الفيديو مثل: Zoom، وانتشار الأجهزة المزودة بميكروفونات مدمجة في كل مكان، والتطور السريع في تقنيات الذكاء الاصطناعي، يمكن أن تجمع هذه الهجمات قدر كبير من بيانات المستخدمين، إذ يمكن من خلالها الوصول إلى كلمات المرور والمناقشات والرسائل وغيرها من المعلومات الحساسة بسهولة.