Bilimsel Metinlerde Anlamsal Özetleme: Derin Öğrenme Yaklaşımlarının Performans Analizi

Bu çalışmada biyomedikal soyutlayıcı metin özetleme görevinde alan odaklı ve genel amaçlı Transformer tabanlı modeller karşılaştırılmıştır. BART Large CNN, PEGASUS Large, FLAN T5 XL ve BioMistral 7B modelleri, 133120 PubMed makalesinden oluşan hazır bir veri seti üzerinde eğitilmiş ve test edilmiştir. Tüm modeller 1024 token girdi ve 256 token çıktı sınırı ile eğitilmiş, performansları ROUGE 1, ROUGE 2, ROUGE L ve ROUGE Lsum metrikleri kullanılarak değerlendirilmiştir. Sonuçlar, BioMistral 7B modelinin ROUGE 1 değerinde 47.74, ROUGE 2 değerinde 21.08 ve ROUGE L değerinde 27.99 skorları ile en yüksek genel performansı elde ettiğini göstermektedir. Niteliksel değerlendirmeler, BioMistral 7B modelinin biyomedikal terminolojiye daha yüksek uyum sağladığını ve klinik bilgileri daha tutarlı biçimde özetleyebildiğini ortaya koymuştur. Bu bulgular, alan uyarlamalı ön eğitimin biyomedikal soyutlayıcı özetleme görevlerinde model performansını artırdığını göstermektedir.