Google yan kuruluşu DeepMind, sağlık sistemi için yeni bir dil modeli sunuyor. Teşhise yardımcı olmalıdır. İnsanlara kıyasla ne yapabilir?
Eylül 2010’da kurulan İngiliz şirketi DeepMind, 2014’te Google tarafından devralındı ve başlangıçta Google DeepMind adı altında faaliyet gösterdi, ancak o zamandan beri şirketin adını DeepMind olarak kısalttı.
Duyuru
Şirketin resmi hedefi, tüm sektörlerde zekayı anlamaktır. Amaç, somut uygulamaları ve hizmet verilen sektörleri esnek bir şekilde açık tutmak ve daha sonra en iyi getiriyi vaat eden alanlarda kendini konumlandırmaktır.
Britanya Adaları merkezli DeepMind ile Ulusal Sağlık Servisi (NHS) ile çalışan faydalı bir görev bulmaları şaşırtıcı değil. NHS uzun süredir kronik personel sıkıntısı çekiyor ve veri odaklı bir tıbbi araca şiddetle ihtiyaç duyuyor.
Bu çerçeve koşulları, tıp alanındaki diğer dijital teknoloji sağlayıcılarına şimdiden yardımcı oldu. AB’de ve özellikle Almanya’da bu tür sistemler, içerik açısından elde edilen tüm başarılara rağmen henüz pilot projelerin ötesine geçememiştir. Burada tıbbi cihaz olarak kabul edilirler ve insan vücudu üzerinde bir etkiye sahip olabilecekleri takdirde buna göre sertifikalandırılmalı ve kayıt altına alınmalıdır.
Almanya’da tıpta AI için çerçeve koşulları hala çok katı
Google, gelişmiş arama algoritmalarıyla arkasında olsa ve hastalar veri bağışlayarak verilerini BT şirketlerine erişilebilir hale getirebilse de, bu ülkedeki direnç hatırı sayılır.
SAP’nin kurucularından Klaus Tschira’nın vakfı tarafından finanse edilen Science Media Center Germany, şu anda DeepMind dil modelini Almanya’da bilinir hale getiriyor. Burada sunulan tıbbi sorular için dil modeli, klinisyenler tarafından sağlananlara benzer kalitede yanıtlar sağlamayı amaçlamaktadır. En azından ″Nature″ dergisinde ″Geniş dil kalıpları klinik bilgiyi kodlar″ başlıklı bir makalede bu şekilde sunulmaktadır.
Duyuru
Tıp uzmanları için Google korumalı
Bir Google aramasında, pazar liderinin arama algoritmasının sonuçlarını aynı kişiden benzer arama sorgularının zaten alınmış sonuçlarına göre yönlendirdiğini ve bu nedenle balon oluşumunu teşvik ettiğini deneyimleyen hiç kimse, DeepMind’in sonuçlarına gerçekten şaşırmamalıdır.
Bir dereceye kadar, dil modellerinin belirli tıbbi uygulamaları, karmaşık gerçeklikten büyük ölçüde korunan ve yalnızca sonuçların zaten bilindiği alanları dikkate alan bir akıl hastanesinde hareket ediyor.
Mevcut değerlendirme, tıp alanındaki dil modellerinin teşhis ve bilgi sağlama konusunda büyük potansiyele sahip olduğu beklentisinin ötesine geçmemektedir. Bu amaçla, bu tür modellerin pratikte ne kadar yararlı olabileceğini karşılaştırmalı olarak bulmak için dil modellerinin performansını değerlendirmek için kriterler sağlanmalıdır.
Yazarlar, önceki kıyaslamaların genellikle yalnızca bireysel tıbbi testlerdeki dil modellerinin performansını değerlendirdiğinin ve bu nedenle yalnızca sınırlı öneme sahip olduğunun farkındadır. Bu nedenle MultiMedQA ile yeni bir kıyaslama geliştirdiler. Bu yedi veri kümesi demek. Bunlar, tıbbi araştırma ve hasta sorularından oluşan altı mevcut veri setini ve çevrimiçi olarak en sık aranan 3.173 tıbbi sorudan oluşan yeni bir veri seti olan HealthSearchQA’yı içerir.
Yazarlar, Google PaLM dil modelini temel alarak, tıbbi sorular için MultiMedQA veri kümesinin çoğu veri kümesinde en azından diğer son teknoloji modellerin yanı sıra çalışan özel bir dil modeli oluşturdu. ABD’deki tıbbi sınav tarzı sorular için model, diğer mevcut dil modellerinden ortalama olarak %17 daha doğruydu. Ancak henüz sağlık profesyonellerinden yanıt kalitesine ulaşmış değil.
Med-PaLM modelinin, dokuz doktordan oluşan bir panelin değerlendirmesinde insan “meslektaşları” kadar iyi performans gösterdiği söyleniyor. Ancak, her yanıt yalnızca bir kişi tarafından derecelendirildi. Bazı yerlerde, modelin performansı insanların gerisinde kaldı. Dil modelindeki yanıtların %18,7’si içerik açısından yanlış veya uygunsuzdu. İnsan yanıtları için bu oran yalnızca %1,4 idi.
Daha iyi yeniden üretilebilir dil modeli sonuçları?
Tıbbi teşhisler ve nihayetinde daha fazla tedavi ve maliyetlerin üstlenilmesine karar veren dilsel formülasyonları ile uğraşan herkes, farklı bir sonuca varabilecek ikinci tıbbi görüş fikrini bilir.
Tıbbi dil kalıplarının nihayetinde yalnızca tek bir düşünce çizgisini yansıtması riski vardır, bu da daha sonra yeniden üretilmesi daha kolaydır ancak büyük resmi büyük ölçüde daraltır. Etkilenen hastalar, aynı serideki makinelerde olduğu gibi benzer olsaydı, bu bir sorun olmazdı.
Bu bağlamdaki diğer bir problem, her bir hastanın bilinebilen ve ilgili hekime sunulabilen bireysel tıbbi geçmişi ve tedavi geçmişidir. Bununla birlikte, bir tıbbi dil modeli ile, sonuçta şeffaf hastalara yol açacak olan, değerlendirme için hastaya özgü tüm veriler mevcut olmalıdır.
(Christopher Jehle)
Önerilen editoryal içerik
İzninizle, harici bir kitaptan (Amazon İştirakleri) bir öneri buraya yüklenecektir.
Kitap önerilerini her zaman yükle
Kitap önerisini şimdi yükleyin
Eylül 2010’da kurulan İngiliz şirketi DeepMind, 2014’te Google tarafından devralındı ve başlangıçta Google DeepMind adı altında faaliyet gösterdi, ancak o zamandan beri şirketin adını DeepMind olarak kısalttı.
Duyuru
Şirketin resmi hedefi, tüm sektörlerde zekayı anlamaktır. Amaç, somut uygulamaları ve hizmet verilen sektörleri esnek bir şekilde açık tutmak ve daha sonra en iyi getiriyi vaat eden alanlarda kendini konumlandırmaktır.
Britanya Adaları merkezli DeepMind ile Ulusal Sağlık Servisi (NHS) ile çalışan faydalı bir görev bulmaları şaşırtıcı değil. NHS uzun süredir kronik personel sıkıntısı çekiyor ve veri odaklı bir tıbbi araca şiddetle ihtiyaç duyuyor.
Bu çerçeve koşulları, tıp alanındaki diğer dijital teknoloji sağlayıcılarına şimdiden yardımcı oldu. AB’de ve özellikle Almanya’da bu tür sistemler, içerik açısından elde edilen tüm başarılara rağmen henüz pilot projelerin ötesine geçememiştir. Burada tıbbi cihaz olarak kabul edilirler ve insan vücudu üzerinde bir etkiye sahip olabilecekleri takdirde buna göre sertifikalandırılmalı ve kayıt altına alınmalıdır.
Almanya’da tıpta AI için çerçeve koşulları hala çok katı
Google, gelişmiş arama algoritmalarıyla arkasında olsa ve hastalar veri bağışlayarak verilerini BT şirketlerine erişilebilir hale getirebilse de, bu ülkedeki direnç hatırı sayılır.
SAP’nin kurucularından Klaus Tschira’nın vakfı tarafından finanse edilen Science Media Center Germany, şu anda DeepMind dil modelini Almanya’da bilinir hale getiriyor. Burada sunulan tıbbi sorular için dil modeli, klinisyenler tarafından sağlananlara benzer kalitede yanıtlar sağlamayı amaçlamaktadır. En azından ″Nature″ dergisinde ″Geniş dil kalıpları klinik bilgiyi kodlar″ başlıklı bir makalede bu şekilde sunulmaktadır.
Duyuru
Tıp uzmanları için Google korumalı
Bir Google aramasında, pazar liderinin arama algoritmasının sonuçlarını aynı kişiden benzer arama sorgularının zaten alınmış sonuçlarına göre yönlendirdiğini ve bu nedenle balon oluşumunu teşvik ettiğini deneyimleyen hiç kimse, DeepMind’in sonuçlarına gerçekten şaşırmamalıdır.
Bir dereceye kadar, dil modellerinin belirli tıbbi uygulamaları, karmaşık gerçeklikten büyük ölçüde korunan ve yalnızca sonuçların zaten bilindiği alanları dikkate alan bir akıl hastanesinde hareket ediyor.
Mevcut değerlendirme, tıp alanındaki dil modellerinin teşhis ve bilgi sağlama konusunda büyük potansiyele sahip olduğu beklentisinin ötesine geçmemektedir. Bu amaçla, bu tür modellerin pratikte ne kadar yararlı olabileceğini karşılaştırmalı olarak bulmak için dil modellerinin performansını değerlendirmek için kriterler sağlanmalıdır.
Yazarlar, önceki kıyaslamaların genellikle yalnızca bireysel tıbbi testlerdeki dil modellerinin performansını değerlendirdiğinin ve bu nedenle yalnızca sınırlı öneme sahip olduğunun farkındadır. Bu nedenle MultiMedQA ile yeni bir kıyaslama geliştirdiler. Bu yedi veri kümesi demek. Bunlar, tıbbi araştırma ve hasta sorularından oluşan altı mevcut veri setini ve çevrimiçi olarak en sık aranan 3.173 tıbbi sorudan oluşan yeni bir veri seti olan HealthSearchQA’yı içerir.
Yazarlar, Google PaLM dil modelini temel alarak, tıbbi sorular için MultiMedQA veri kümesinin çoğu veri kümesinde en azından diğer son teknoloji modellerin yanı sıra çalışan özel bir dil modeli oluşturdu. ABD’deki tıbbi sınav tarzı sorular için model, diğer mevcut dil modellerinden ortalama olarak %17 daha doğruydu. Ancak henüz sağlık profesyonellerinden yanıt kalitesine ulaşmış değil.
Med-PaLM modelinin, dokuz doktordan oluşan bir panelin değerlendirmesinde insan “meslektaşları” kadar iyi performans gösterdiği söyleniyor. Ancak, her yanıt yalnızca bir kişi tarafından derecelendirildi. Bazı yerlerde, modelin performansı insanların gerisinde kaldı. Dil modelindeki yanıtların %18,7’si içerik açısından yanlış veya uygunsuzdu. İnsan yanıtları için bu oran yalnızca %1,4 idi.
Daha iyi yeniden üretilebilir dil modeli sonuçları?
Tıbbi teşhisler ve nihayetinde daha fazla tedavi ve maliyetlerin üstlenilmesine karar veren dilsel formülasyonları ile uğraşan herkes, farklı bir sonuca varabilecek ikinci tıbbi görüş fikrini bilir.
Tıbbi dil kalıplarının nihayetinde yalnızca tek bir düşünce çizgisini yansıtması riski vardır, bu da daha sonra yeniden üretilmesi daha kolaydır ancak büyük resmi büyük ölçüde daraltır. Etkilenen hastalar, aynı serideki makinelerde olduğu gibi benzer olsaydı, bu bir sorun olmazdı.
Bu bağlamdaki diğer bir problem, her bir hastanın bilinebilen ve ilgili hekime sunulabilen bireysel tıbbi geçmişi ve tedavi geçmişidir. Bununla birlikte, bir tıbbi dil modeli ile, sonuçta şeffaf hastalara yol açacak olan, değerlendirme için hastaya özgü tüm veriler mevcut olmalıdır.
(Christopher Jehle)
Önerilen editoryal içerik
İzninizle, harici bir kitaptan (Amazon İştirakleri) bir öneri buraya yüklenecektir.
Kitap önerilerini her zaman yükle
Kitap önerisini şimdi yükleyin