Paragraf Tabanlı Çıkarımsal Özetlemede Öbekleme Kullanan İki Yöntemin Kıyaslanması


Creative Commons License

KISAYOL A. İ., TURAN M.

Düzce Üniversitesi Bilim ve Teknoloji Dergisi, cilt.6, sa.4, ss.1047-1057, 2018 (Hakemli Dergi) identifier

  • Yayın Türü: Makale / Tam Makale
  • Cilt numarası: 6 Sayı: 4
  • Basım Tarihi: 2018
  • Dergi Adı: Düzce Üniversitesi Bilim ve Teknoloji Dergisi
  • Derginin Tarandığı İndeksler: TR DİZİN (ULAKBİM)
  • Sayfa Sayıları: ss.1047-1057
  • İstanbul Ticaret Üniversitesi Adresli: Evet

Özet

Özetleme, bir bakıma metinleri kısaltma işlemidir. Bu kısaltma işlemi metinlerdeki önemli bilgileri içerecekşekilde olmalıdır. Bu çalışmanın amacı da İngilizce dilinde yazılmış makale, haber vs. gibi dokümanparagraflarının içerdiği bilgi önemine göre seçilerek özetleme yapılmasıdır.Çalışmanın ilk aşamasında doküman kümesini temsil edecek önemli kelimeler belirlenmiştir. Bu aşamada tümdokümanlarda geçen kelimeler kök geçiş sıklıklarına göre büyükten küçüğe göre sıralanır ve belirli sayıda seçilenen sık kelimeler ile paragraf vektörü temsil edilir.Bir sonraki aşamada, istenilen özet oranına göre paragraflar kümelere ayrıştırılır. Kümeleme algoritması olarak KMeans kullanılmıştır. Kümeler oluşturulurken başlangıç noktalarının belirlenmesi amacıyla iki farklı yöntemkullanılmıştır. Bunlardan birincisi geçiş sıklıkları hesaplanan kelimelerden ilk 10’u seçilerek bu anahtarkelimelerin en çok geçtiği paragraflar seçilir. İkinci yöntemde kullanıcının belirlediği özet oranına göre seçilecekanahtar kelime sayısı belirlenir. Daha sonra bu anahtar kelimelerin en çok geçtiği paragraflar başlangıç noktalarıolarak belirlenir. Özet oluşturmada çıkarım yöntemi olarak oluşturulmuş olan her bir kümeden, kümelerin merkeznoktasına Jaccard uzaklığı bakımından en yakın olan paragraf seçimi uygulanmıştır. Çıkan sonuçlar kontroledildiğinde ikinci yöntemin daha başarılı bir sonuç verdiği gözlemlenmiştir. İkinci yönteme göre başarı oranları%20 özet oranı için %40 , %40 özet oranı için %50 ve %60 özet oranı için %71 elde edilmiştir.
Summarization is a process of abbreviation of a text. This abbreviation should be such that it contains important information in the texts. The purpose of this study is selecting according to the importance of the information contained in the document paragraphs in articles, news, etc. During the first phase of the study, important words to represent the document set were identified. At this stage, the words in all the documents are sorted according to the frequency of root passage order by ascending and the most frequently selected words and paragraph vector are represented at a certain number of times. In the next step, the paragraphs are separated into clusters according to the desired summary ratio. K-Means was used as the clustering algorithm. Two different methods were used to determine the starting points when the clusters were constructed. The first is selected from the words calculated for the first 10 pass-through frequencies, and the paragraphs most frequently passed by these key words are selected. In the second method, the number of keywords is determined according to the summary rate determined by the user. Then the paragraphs most often passed by these keywords are set as starting points. The paragraph selection that is closest to the center point of the clusters in terms of Jaccard distance is applied from each set which is constructed as a subtraction method in the summarization. When the results were checked, it was observed that the second method gave a more successful result. Success rates according to the second method were 40% for the 20% summary rate, 50% for the 40% summary rate and 71% for the summary rat