Keystroke transcription from acoustic emanations using continuous wavelet transform


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Enformatik Enstitüsü, Siber Güvenlik Anabilim Dalı, Türkiye

Tezin Onay Tarihi: 2022

Tezin Dili: İngilizce

Öğrenci: ABDULLAH ÖZKAN

Danışman: BANU GÜNEL KILIÇ

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

En yaygın iletişim yöntemlerinden biri yazılı iletişimdir. Yazılı iletişim yıllar içinde çeşitli biçimlerde bulunmuş, teknik ve teknolojik gelişmelerle şekil değiştirmiştir. Günümüzde yazılı iletişim dijital ortama kaymış ve klavyeler en sık kullanılan giriş noktalarından biri haline gelmiştir. Bu, klavyeleri bilgi akışında kritik bir düğüm haline getirir. Klavyeden girilen bilgilerin sızmasının birkaç yolu vardır. Akustik yayılım bu sızıntı yollarından biridir. Literatürde, tuş seslerini işlemeyi ve bilgiyi yakalamayı amaçlayan bu saldırı türü için çeşitli yaklaşımlar önerilmiştir. Ancak, bu amaçla sürekli dalgacık dönüşümünün kullanımı daha önce araştırılmamıştır. Sürekli dalgacık dönüşümü, darbe benzeri sinyaller için hem zaman hem de frekansta daha iyi çözünürlük sağlar. Bu nedenle, bu dönüşüm, diğer geleneksel dönüşümlere göre tuş seslerinin analizine daha uygundur. Bu tezde, bir klavyenin akustik yayılımlarından gelen tuş vuruşlarının transkripsiyonu için, dalga dosyalarını girdi olarak kullanarak ve yazılı metni %57,2'ye kadar doğrulukla çıktı olarak geri alarak, sürekli dalgacık dönüşümüne dayalı bir yöntem öneriyoruz. Başlangıçta, farklı şekillerde birden çok kez basılan 38 tuşun tuş seslerini kaydederek bir veri seti oluşturuldu. Bunlar daha sonra tuş vuruşu seslerinin özelliklerini saptamak, ayırmak ve elde etmek için sürekli dalgacık dönüşümü kullanılarak analiz edildi. Çeşitli sınıflandırma algoritmaları test edilmiş ve performanslar kaydedilmiştir. Sözlükler ve dil modelleri kullanılarak sistem çıktısının iyileştirilmesi ve ayrıca hata matrisinin kendisinden elde edilen bilgiler için önerilerde bulunulmuştur.