Alt ekstremite biyomekanik sinyal analiziyle derin öğrenme tabanlı insan yürüyüşü tanıma
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: İstanbul Üniversitesi-Cerrahpaşa, Lisansüstü Eğitim Enstitüsü, BİYOMEDİKAL MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2023
Tezin Dili: Türkçe
Öğrenci: HACER KUDUZ
Danışman: FIRAT KAÇAR
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:öğrenme yaklaşımları giderek yaygınlaşmaktadır. Bu tez çalışmasında, sağlıklı katılımcılara yerleştirilmiş IMU, gonyometre ve EMG sensöründen yer seviyesi yürüyüş sırasında farklı yürüme hızlarında kaydedilen açık erişimli bir veri seti kullanılmıştır. Çalışmamız, sağlıklı bireylerin fiziksel yürüyüşündeki zamansal yürüyüş örüntülerini doğru olarak sınıflandırmak üzere çeşitli makine öğrenmesi (ML) ve derin öğrenme (DL) algoritmalarını araştırmayı amaçlamaktadır. Yürüyüş sinyali öznitelikleri çıkarmada kayan pencereler yöntemi kullanılırken farklı pencere uzunluklarının ve ML algoritmalarının sınıflandırma performansına etkileri karşılaştırılmıştır. Derin evrişimli sinir ağı (CNN) modeli girişi için IMU sensör ve bileşke lineer ivmelenme sinyalleri segmentlere ayrılmış, ardından Sürekli Dalgacık Dönüşümü (CWT) ve Kısa Süreli Fourier Dönüşümü (STFT) dönüşümleriyle zaman-frekans analizi (TFA) temsilleri oluşturulmuştur. Ayrıca ayak, bacak, uyluk ve gövdeye yerleştirilen IMU sensör ile ayak bileği, diz ve kalçaya yerleştirilen GON sensör yürüyüş spektrogramları, yürüyüş sinyallerine STFT uygulanarak elde edilmiş ve 2D-CNN sınıflandırıcısıyla eğitilmiştir. Son yıllarda insan aktivitesini tanıma amacıyla giyilebilir biyomekanik sensörler ve derin öğrenme yaklaşımları giderek yaygınlaşmaktadır. Bu tez çalışmasında, sağlıklı katılımcılara yerleştirilmiş IMU, gonyometre ve EMG sensöründen yer seviyesi yürüyüş sırasında farklı yürüme hızlarında kaydedilen açık erişimli bir veri seti kullanılmıştır. Çalışmamız, sağlıklı bireylerin fiziksel yürüyüşündeki zamansal yürüyüş örüntülerini doğru olarak sınıflandırmak üzere çeşitli makine öğrenmesi (ML) ve derin öğrenme (DL) algoritmalarını araştırmayı amaçlamaktadır. Yürüyüş sinyali öznitelikleri çıkarmada kayan pencereler yöntemi kullanılırken farklı pencere uzunluklarının ve ML algoritmalarının sınıflandırma performansına etkileri karşılaştırılmıştır. Derin evrişimli sinir ağı (CNN) modeli girişi için IMU sensör ve bileşke lineer ivmelenme sinyalleri segmentlere ayrılmış, ardından Sürekli Dalgacık Dönüşümü (CWT) ve Kısa Süreli Fourier Dönüşümü (STFT) dönüşümleriyle zaman-frekans analizi (TFA) temsilleri oluşturulmuştur. Ayrıca ayak, bacak, uyluk ve gövdeye yerleştirilen IMU sensör ile ayak bileği, diz ve kalçaya yerleştirilen GON sensör yürüyüş spektrogramları, yürüyüş sinyallerine STFT uygulanarak elde edilmiş ve 2D-CNN sınıflandırıcısıyla eğitilmiştir. IMU, GON ve EMG biyomekanik sinyallerinin, kayan pencereler yöntemi kullanılarak ML sınıflandırılmasında 1000 (5s) uzunluğundaki kayan pencere uzunluğu ve QSVM sınıflandırıcısı daha iyi performans sağlamıştır. Tekli sensör IMU, GON ve EMG modellerinin doğrulukları sırasıyla 0.95, 0.83 ve 0.74'tür. Çoklu sensör modellerinin doğrulukları ise IMU-GON (0.95), IMU-EMG (0.90), GON-EMG (0.78) ve IMU-GON-EMG (0.92)'dir. Bu sonuçlar insan yürüyüş tanımada IMU giyilebilir sensör kullanımının etkisini göstermektedir. Ayrıca ML yaklaşımıyla IMU sensör yerleşim yerinin ve farklı veri işleme yöntemlerinin insan yürüyüş tanımadaki etkisi değerlendirilmiş ve SVM tabanlı sınıflandırıcıların yüksek sınıflandırma doğruluğu sağladığına ulaşılmıştır. Tekli IMU sensör 'Ft', 'Sh', 'Th' ve 'Tr'modellerinin doğrulukları sırasıyla 0.693, 0.727, 0.748 ve 0.66'dır. Çoklu IMU sensör 'ShTh', 'ShThFt' ve 'All' modellerinin doğrulukları ise 0.75, 0.799 ve 0.839 olarak bulunmuştur. DL yaklaşımıyla IMU sinyali ve bileşke lineer ivmelenmeleri TFA görüntülerinin insan yürüyüş tanıma üzerindeki etkisi değerlendirilmiştir. Analizler 'STFT-tümü', 'CWT-tümü' ve 'CWT-BLİV' CNN modellerinin en yüksek test sınıflandırma performansına, sırasıyla 0.833, 0.809 ve 0.794 doğruluk ve 0.876, 0.857 ve 0.846 özgüllük değerleriyle ulaşılmıştır. DL analiz sonuçları, STFT ve CWT tabanlı TFA görüntüleri kullanılan CNN modelleri, tüm IMU kanalları birleştirildiğinde, en yüksek sınıflandırma doğruluğunu göstermiştir. Bu analizlerde biyomekanik sensör yerleşim yerine göre sinyal filtreleme ve segmentasyonu etkileri karşılaştırılarak tek ve iki girişli IMU ve GON sensör CNN modellerinin insan yürüyüş tanıma performansları incelenmiştir. 'IMU-5s', 'Multi-5s', ve 'Multi-tüm' modellerinin sınıflandırma performansı ortalamaları sırasıyla doğrulukları 0.910, 0.842 ve 0.828 özgüllükleri ise 0.932, 0.882 ve 0.871 olarak bulunmuştur. Uyluk ve bacak spektrogramları, yürüyüş hızı gruplarının tam olarak sınıflandırılmasına olanak sağlamıştır. Sonuç olarak, makine öğrenmesi yaklaşımı sağlıklı bireyler için giyilebilir biyomekanik sensörlerden uygun geçici yürüyüş özelliklerinin belirlemesinde önemli bir değerlendirme aracıdır. Önerilen bu yaklaşım, sağlıklı bireylerin yürüyüş hızı sınıflandırmasında TFA yaklaşımı ve 2D-CNN kullanarak giyilebilir sensör sinyallerinde gözlemlenebilir farklılıklar olmadan yürüyüşün güvenilir çoklu sınıflandırmasını sağlayan yenilikçi bir çalışmadır.