Geç Kaynastırma (Late Fusion) Yöntemiyle Farklı Sensör (Optik, Kızılötesi, Akustik, Lidar, Radar) Verilerini Isleyen, Derin Ögrenme Tabanlı Gerçek Zamanlı Iha Tespit Ve Takip Prototipi Gelistirilmesi


Sezgin M. (Yürütücü), Kahraman S., İçkecan D.

TÜBİTAK Projesi, 1001 - Bilimsel ve Teknolojik Araştırma Projelerini Destekleme Programı, 2026 - 2028

  • Proje Türü: TÜBİTAK Projesi
  • Destek Programı: 1001 - Bilimsel ve Teknolojik Araştırma Projelerini Destekleme Programı
  • Başlama Tarihi: Ocak 2026
  • Bitiş Tarihi: Aralık 2028

Proje Özeti

Bu proje, insansız hava araçlarının (İHA) gerçek zamanlı tespiti ve takibi için yenilikçi, çok bileşenli bir sistem geliştirmeyi amaçlamaktadır. Projenin özgün değeri, Optik, Kızılötesi, Akustik, LiDAR ve Radar sensörlerinden elde edilen verilerin, her biri için özel olarak tasarlanmış Convolutional Neural Network (CNN) modelleri aracılığıyla bağımsız olarak işlenmesi ve sonrasında tüm çıktıların Kanıtsal Derin Öğrenme (Evidential Deep Learning- EDL) yöntemi kullanılarak entegre edilmesidir. Bu yaklaşım, her sensörün özgün özniteliklerini korurken, farklı veri kaynaklarının sunduğu avantajları dinamik bir şekilde birleştirerek, tek sensöre dayalı veya statik veri entegrasyonu yöntemlerinin ötesinde yüksek doğruluk ve düşük hata oranı sunan bir sistem geliştirmeyi hedeflemektedir.

Proje kapsamında ilk olarak gerçek zamanlı veri toplama ve ön işleme süreçleri gerçekleştirilecektir. Optik veriler için 4K çözünürlüklü RGB kameralar kullanılacak, termal görüntüler ise kızılötesi sensörler vasıtasıyla elde edilecektir. Akustik sensörler yüksek örnekleme hızında ses kayıtları toplayarak bu verileri mel spectrogramlarına dönüştürecektir. Aynı zamanda, LiDAR ve Radar sensörlerinden 3D nokta bulutları ve radar sinyalleri şeklinde uzaysal veriler elde edilecektir. Toplanan ham veriler, sensöre özgü gürültü giderme, normalizasyon, boyutlandırma ve gerektiğinde Üretken Çekişmeli Ağlar (Generative Adversarial Networks- GAN) gibi veri artırma (data augmentation) teknikleriyle çoğaltılarak, model eğitimi için uygun hale getirilecektir. Her sensör verisine özel geliştirilecek CNN modelleri, derin öğrenme teknikleri kullanılarak optimize edilecek ve her bir model kendi alanındaki en önemli öznitelikleri dikkate alarak bağımsız tespit çıktıları oluşturacaktır. Bu çıktılar, EDL çerçevesi ile geçmiş performans ölçümleri ve denetimli öğrenme stratejileri doğrultusunda ağırlıklandırılarak tek bir nihai tespit kararı üretecektir. Eğer sistem, İHA varlığı yönünde bir karar verirse, her sensörün görüntüsünde o an en çok İHA’ya benzeyen bölge tespit çerçevesi (bounding box) ile vurgulanacaktır. Bu yaklaşım bize gerçek zamanlı İHA takibi gerçekleştirmemize olanak sağlayacaktır.

Proje, aşağıda sıralanan iş paketleri ve 18 aylık zaman çizelgesi çerçevesinde gerçekleştirilecektir. İlk altı ay, sensörlerin kurulumu, veri toplama ve ön işleme süreçlerine ayrılacak; sonraki altı ay, CNN modellerinin geliştirilmesi, EDL entegrasyonu ve grafik arayüz (GUI) tasarımının paralel olarak yürütülmesi ile desteklenecek; son altı ay ise laboratuvar ve saha testlerinin, sistem entegrasyonunun ve performans değerlendirmelerinin yapılması için kullanılacaktır. Proje, detaylı test ve analizler ile doğruluk (accuracy), kesinlik (precision), recall (duyarlılık) gibi performans metriklerinin değerlendirilmesi ve optimize edilmesi yoluyla gerçekleştirilecektir.

Yaygın etki açısından, geliştirilecek sistem savunma sanayii, kamu güvenliği, sınır kontrolü ve kritik altyapıların korunması gibi stratejik alanlarda uygulanabilirliği yüksek, modüler ve esnek bir çözüm sunacaktır. Sistemin sunduğu yenilikçi tespit yaklaşımı, operatörlerin gerçek zamanlı olarak tüm sensör verilerini izleyebileceği, tespit sonuçlarını görsel olarak değerlendirebileceği ve kritik müdahaleler için hızlı kararlar alabileceği interaktif bir grafik arayüz ile desteklenecektir. Projeden elde edilecek bilimsel veriler, teknik çıktılar, makaleler, konferans sunumları, teknik raporlar ve çalıştaylar aracılığıyla ulusal ve uluslararası düzeydeki paydaşlarla paylaşılacak; bu da hem akademik literatüre hem de pratik uygulamalara önemli katkılar sağlayacaktır.