NLP Proje Fikri

  1. KısayolKısayol reportŞikayet pmÖzel Mesaj
    BerkayCit
    BerkayCit's avatar
    Kayıt Tarihi: 25/Şubat/2011
    Erkek

    Merhaba hocalar,

    NLP -> Doğal Dil İşleme( natural language processing ) dersimiz var ve bu dersde proje yapacağız. Özetle bu konu hakkında fikirleriniz, şunları yapabilirsin dediğiniz projeleriniz varsa bekliyorum.

    Bilmeyenler için NLP ile ilgili kısa bir yazı paylaşmak istiyorum öncelikle: (ekşi den buldum)

    -------------

    doğal dil işleme, ana işlevi doğal bir dili çözümleme, anlama, yorumlama ve üretme olan bilgisayar sistemlerinin tasarımını ve gerçekleştirilmesini konu alan bilim ve mühendislik dalıdır. ddi, yapay zeka( bilgi gösterimi, planlama, akıl yürütme, vb. ), biçimsel diller kuramı(dil çözümleme), kuramsal dilbilim, bilişsel psikoloji gibi çok değişik alanlarda geliştirilmiş kuram, yöntem ve teknolojileri bir araya getirir. 1950 ve 1960 ‘larda yapay zekanın küçük bir alt alanı olarak görülen bu konu, araştırmacıların ve gerçekleştirilen uygulamaların elde ettiği başarılar sonunda artık bilgisayar bilimlerinin temel bir disiplini olarak kabul edilmektedir. 

    doğal dil işleme (ddi), önümüzdeki yıllarda insanların bilgisayarlar ile etkileşiminde temel birtakım değişiklikler getirmeye aday teknolojilerden biridir. ddi ‘nin ucuz bilgisayar gücüne dayanması nedeniyle önceleri beklenen sonuca göre çok pahalı olan ddi uygulamaları için güçlü bilgisayarların ortaya çıkışı büyük değişiklikler yapmıştır.

    doğal dil işleme alanındaki araştırmalarda temel amaçlar genellikle şunlar olmuştur:

    - doğal dillerin işlev ve yapısını daha iyi anlamak
    - bilgisayarlar ile insanlar arasındaki arabirim olarak doğal dil kullanmak ve bu şekilde bilgisayar ile insanlar arasındaki iletişimi kolaylaştırmak
    - bilgisayar ile dil çevirisi yapmak

    ddi sistemleri, beş ana seviyede incelenir. bu seviyeler şöyledir:

    sesbilim (phonology)
    biçimbilim (morphology)
    sözdizimbilim (syntax)
    anlambilim (semantics)
    kullanımbilim (pragmatics)

    sesbilim harflerin seslerini ve bunlarin dil içinde nasıl kullanıldığını inceler. tüm dillerin bir alfabesi vardır. her harfin sesi diğerlerinden farklıdır ve bu ses birimlerine fonem adı verilir. sesbilimde ana problem ses dalgalarının sürekli olmasına ragmen fonemlerin kesikli olmasıdır. konuşmayı anlamak için, sürekli akan konuşma kesikli seslere bölümlenmelidir. daha sonra sesler ve fonemler sınıflandırılmalıdır. bu karmaşık problem örüntü tanıma kapsamında ele alınır. 

    biçimbilim sözcük oluşumunu ele alan bilimdir. bu aşamada temel amaç kelimenin kökünü ve eklerini doğru olarak tespit ve tasnif edebilmektir. bir kelimede eklerin sırası ve yapısı, yapım ve çekim eklerinin belirlenmesi gibi işlemler bu seviyede yapılır.

    sözdizimbilim, sözcüklerin cümle oluşturmak için ne şekilde sıralanmaları gerektiğini inceler. kelimelerin cümle içindeki yapısal görevlerini, öbekleri ve bunları oluşturan alt öbekleri tanımlar. sözcüklerin birleştirilerek cümlelerin oluşturulması veya bir cümlenin bileşenlerine ayrıştırılması(parsing) işlemleri bu aşamada gerçekleştirilir.

    anlambilim, dilin gerçek dünya ile iletişim kurduğu düzeydir. kelimelerin anlamlarını ve bunların cümlenin anlamını oluşturmak için nasıl bir araya geldiklerini inceler. 

    kullanımbilim, cümlelerin normal anlamından farklı bir anlamda kullanıldığı durumları inceler. örneğin "pencereyi acabilir misiniz" cümlesi soru değil istektir. bazıları tarafından anlambilimin altkümesi olarak ele alınmaktadır.

    --------

     

    NLP ile ne yapılabilir? Fikir vermesi açısından bir kaç örnek vermek istiyorum.

    Mesela bir abimiz yazar tanıma projesi yapmış. NLP ve ML kullanarak, 30 tane yazarın hangi yazıyı yazdığını tahmin eden bir proje geliştirmiş. -> http://ziynetnesibe.com/dogal-dil-isleme-yazar-tanima-projesi

     

    NLP Türkçe için "Zemberek" diye bir proje yapmışlar. Bu konu üzerinde kafa yormak isteyenler inceleyebilir.

    https://github.com/ahmetaa/zemberek-nlp

     

    Bir de bu konu ile ilgili bir prof. konuşmasını şöyle bırakayım.

    https://www.youtube.com/watch?v=CzIUICJXAjY

     

    Özetle sizin eksikliğini hissettiğiniz bir konu var mı NLP ve ML ile çözülebilinecek. Tabi bu projeyi yapmaya çalışacağımız için çok da zor olmamalı :)


    the programmers of tomorrow are the wizards of the future Gabe Newell
  2. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Allura
    Allura's avatar
    Kayıt Tarihi: 17/Mayıs/2009
    Erkek

    kadınlar ve erkekler cinsiyet olarak ayırt edilebilir mi cümle yapısı vs. classifield yapılabilirse değişik bir proje olur belki. benim düşüncem kadınların cümleleri ile erkeklerin cümleleri çok bariz olmasada genele vurulduğunda anlaşılıyor yani bir masanın üzerindeki meyveleri bir kadının anlatması ile erkeğin anlatması ayırt edilebilir mi nlp kullanarak :)


    "
  3. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Allura
    Allura's avatar
    Kayıt Tarihi: 17/Mayıs/2009
    Erkek

    kadınlar ve erkekler cinsiyet olarak ayırt edilebilir mi cümle yapısı vs. classifield yapılabilirse değişik bir proje olur belki. benim düşüncem kadınların cümleleri ile erkeklerin cümleleri çok bariz olmasada genele vurulduğunda anlaşılıyor yani bir masanın üzerindeki meyveleri bir kadının anlatması ile erkeğin anlatması ayırt edilebilir mi nlp kullanarak :)


    "
  4. KısayolKısayol reportŞikayet pmÖzel Mesaj
    BerkayCit
    BerkayCit's avatar
    Kayıt Tarihi: 25/Şubat/2011
    Erkek
    Allura bunu yazdı

    kadınlar ve erkekler cinsiyet olarak ayırt edilebilir mi cümle yapısı vs. classifield yapılabilirse değişik bir proje olur belki. benim düşüncem kadınların cümleleri ile erkeklerin cümleleri çok bariz olmasada genele vurulduğunda anlaşılıyor yani bir masanın üzerindeki meyveleri bir kadının anlatması ile erkeğin anlatması ayırt edilebilir mi nlp kullanarak :)

    hocam yeterince örnek bulabilirsek edilebilinir diye düşünüyorum. ama burada hocamız daha çok bir problemi çözecek bir proje istiyor.


    the programmers of tomorrow are the wizards of the future Gabe Newell
  5. KısayolKısayol reportŞikayet pmÖzel Mesaj
    telekom
    telekom's avatar
    Kayıt Tarihi: 28/Temmuz/2005
    Erkek

    Keyifli bir konu, dusunsene bir gun buyuk b.k yiyip sirra kadem basarsam daha onceki yazilarimi - aramalarimi analiz edip daha sonra yazacagim yazilardan beni bulmalari.. Cok tatli konu, zamanim olsada ben de uzerine calissam.

    Multi uyeler icin yapmak lazim bunu ya da tosuncuk adinda bir program yazip ciftlikbank firarisini arayacaksin. (:


    vatandaşa kafam girsin!..
  6. KısayolKısayol reportŞikayet pmÖzel Mesaj
    BerkayCit
    BerkayCit's avatar
    Kayıt Tarihi: 25/Şubat/2011
    Erkek
    telekom bunu yazdı

    Keyifli bir konu, dusunsene bir gun buyuk b.k yiyip sirra kadem basarsam daha onceki yazilarimi - aramalarimi analiz edip daha sonra yazacagim yazilardan beni bulmalari.. Cok tatli konu, zamanim olsada ben de uzerine calissam.

    Multi uyeler icin yapmak lazim bunu ya da tosuncuk adinda bir program yazip ciftlikbank firarisini arayacaksin. (:

    hiç böyle düşünmemiştim :D 

    aynen güzel bir konu ama benim de bu konuda ufkum biraz dar o yüzden konu açtım hocam. 


    the programmers of tomorrow are the wizards of the future Gabe Newell
  7. KısayolKısayol reportŞikayet pmÖzel Mesaj
    trooper
    trooper's avatar
    Kayıt Tarihi: 11/Kasım/2007
    Erkek
    telekom bunu yazdı

    Keyifli bir konu, dusunsene bir gun buyuk b.k yiyip sirra kadem basarsam daha onceki yazilarimi - aramalarimi analiz edip daha sonra yazacagim yazilardan beni bulmalari.. Cok tatli konu, zamanim olsada ben de uzerine calissam.

    Multi uyeler icin yapmak lazim bunu ya da tosuncuk adinda bir program yazip ciftlikbank firarisini arayacaksin. (:

    Goruyorum ve artiriyorum feyk profillerden vpn arkasinda taciz,tehdit  vs islerine bulasanlari bulabilir ama bu olay ayni zamanda felaket fişleme aracina da evrilebilir 


    ZzZzZzZ...!
  8. KısayolKısayol reportŞikayet pmÖzel Mesaj
    müstakar
    yarasaadam
    yarasaadam's avatar
    Kayıt Tarihi: 02/Haziran/2011
    Erkek

    bu arada  hazır  değinmişken doğal dil işleme de eğitim setler varsa  benimle de  paylaşabilirsiniz teşekkür ederim 


    Beyninizi işlemci olarak kullanın , harddisk olarak değil :) İnsanlar kitap gibidir azizim , önemli olan cildi değil, içerikleridir Tüm ağı çökertmek , bir insanı hacklemekle başlar
  9. KısayolKısayol reportŞikayet pmÖzel Mesaj
    RitmFarbRacourci
    RitmFarbRacourci's avatar
    Kayıt Tarihi: 14/Mart/2008
    Erkek

    @BerkayCit : benim merak ettiğim birşey var; 

    Bu Atıntı'sını yaptığın metinde de, her cümle yaklaşık 3-4 kelime ile mi bölünmüş? safi merak.

    Örn ;

    "doğal dil işleme, ana 

    … "


    Zenith.Nâdîr I'şıkY'ılı/sn @@,? ^^D` ThGodShprd FairChld.ThndrBlt.Warthog AnChrno KlmeSySnye/Sre BlgMntkSrç GönlTekn. M'tşâbh SbMrne,Avitr,Astr,Wtch√. AirRce PrMtr Gri'yÇlnMvi ,. Sey'Sy'Sml'Frb'Srç'Şkl'Prprtn *TkAsl* LugerP08 (3+2N,1K) YelYutan'SağanGil'Ebâbil(Ula, bu nasıl kuş. uçarken uyu'yormuş, ya da @@,) ) NeverMore (VrgllüNokt: ,. 12:[1Çşn,(2AnMlzm)]) YvşDzgndr,DzgnHzldr/shter* MssaoKzuoBro's Trnd.Leak (mv.krmz;syh,pmb)/t  DefnsngOfcontrIda* JstSml&WvBys,JstSml&Wv .. CrispR/cas9 TraCpy DznlDntl avas'vam AirBrne ThrMin UnVrse^^D DğrdnV/VyDlylı;SrlrV/VyCvplr Jvnoia(^^D`) UpHgh5 127hEvrythngMvs* ManInFire WmnAtWar,ÇzmÜrt* DnTccrı,AtzmTccrı* SeWhtisNtThre* SmmrBrk LstFrqncy.Crzy ChldrnOfCenghs ThGretJurny CphrneumZeyd DenOfThievs ThArtst.MllnsOfUsKbr LeGrndeVyge OurBrndisCrss(2005-2015) LstCstle Drive2016 Crtx.Lmbc(Umt.Krk) Kntrst 'mAlwaysUp^^F` KBoardKiller^^D` SaraBande O.Fortuna MneyBll.5wy 5Pozsyn EcnmcsYleBsebll Scout Sttükoİhtyr Ylnzlk.BenetMiller KrkuÖzgvnKnşma Str.Eştlk EnjyThShw StrSatr GamChngr N.Explinng Demoltn PinHâni&DumanÖzel BrdOfPassg ByondClods Blod.BrinBrire MedteMSSbecn thred,Asenk MünicH(Pssngr) MarcoK.StarB SquaTringWave KepClm,BeQit,AlwySmle. Duman-özel Tr.Gov KepİtSmpl 2Çellos.SydneyLive.SmllsLkTinSprit CtchThLne rt-pcr ByndPrcptn Pity ThRtrn @ibisile Lneer3pnt gesTay+b EgzrszTkrr Sd.iNtrSdRltn RakmAlfabTemp Sym'blism Okunabilir'lik Broca'sBrain PaulGrhm ?SearchUser= FugAzzi^^` Çalgılar:TelliYaylıÜflemeliVurmalıTuşluPerdeliSizZilElektroAkustikManyetikSynthesizer BrainFuck.b.bf^^D` BarlowLens KmStar ConcptMaps FormNmass. İnfoGrafc Classfcton Nocturnl gtAFastReadngCours AgodRedrİsAReRedr CommaAddict &EyMovemntsEducatn NowIsGood^^D` Alin,MhmtAçar "Cpt.Fantstc @.^,) " "be adventurous, be bold, but savor it. it goes fast." "myFace is mine, myHands are mine, myMouth is mine, but i'm not. i'm yours. O.o," "it was a Beautiful mistake, but a Mistake. O.o," ; SaE.AhT: "PersnPoisndWthWrd " "zahr hitzk, zuhr hitzk."
  10. KısayolKısayol reportŞikayet pmÖzel Mesaj
    BerkayCit
    BerkayCit's avatar
    Kayıt Tarihi: 25/Şubat/2011
    Erkek
    RitmFarbRacourci bunu yazdı

    @BerkayCit : benim merak ettiğim birşey var; 

    Bu Atıntı'sını yaptığın metinde de, her cümle yaklaşık 3-4 kelime ile mi bölünmüş? safi merak.

    Örn ;

    "doğal dil işleme, ana 

    … "

    ekşinin layout undan kaynaklanıyor hocam


    the programmers of tomorrow are the wizards of the future Gabe Newell
  11. KısayolKısayol reportŞikayet pmÖzel Mesaj
    iskeltan
    iskeltan's avatar
    Kayıt Tarihi: 15/Haziran/2016
    Erkek

    kufuripsum diye bi projem vardi, agirligina gore kufur uretgec. nlp sayilir mi o acaba?


    duanla yasamadim ki bedduanla oleyim - Arif
Toplam Hit: 1267 Toplam Mesaj: 14
nlp proje