Text Mining

  1. KısayolKısayol reportŞikayet pmÖzel Mesaj
    kajmerpac
    kajmerpac's avatar
    Kayıt Tarihi: 03/Kasım/2008
    Erkek

    Merhaba,

    Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?

    Bu belki text mininge girmiyordur fakat konuya biraz fransızım.

     

  2. KısayolKısayol reportŞikayet pmÖzel Mesaj
    trnight
    trnight's avatar
    Kayıt Tarihi: 21/Ocak/2013
    Erkek
    kajmerpac bunu yazdı

    Merhaba,

    Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?

    Bu belki text mininge girmiyordur fakat konuya biraz fransızım.

     

    Text mining biraz daha olaya istatistiksel yaklaşıyor hocam. Örnek vermek gerekirse bir yazar hangi kelimeleri çok kullanıyor, bir haber makalesinde ağırlıklı olarak hangi kelimeler kullanıyor gibi verileri alıp çıkarımlar yapıyor.

    Senin istediğin olayda ise çoğu dilde hazır fonksiyonlar ola biliyor replace tarzı. Bulup değiştiriyor falan. Veya direk sayı olarak küfürleri arıyacaksan regex kullana bilirsin diye düşünüyorum. Hangi dil olduğunu söylersen daha iyi yardım ala bilirsin.


    Bilgi güçtür...
  3. KısayolKısayol reportŞikayet pmÖzel Mesaj
    kajmerpac
    kajmerpac's avatar
    Kayıt Tarihi: 03/Kasım/2008
    Erkek
    trnight bunu yazdı
    kajmerpac bunu yazdı

    Merhaba,

    Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?

    Bu belki text mininge girmiyordur fakat konuya biraz fransızım.

     

    Text mining biraz daha olaya istatistiksel yaklaşıyor hocam. Örnek vermek gerekirse bir yazar hangi kelimeleri çok kullanıyor, bir haber makalesinde ağırlıklı olarak hangi kelimeler kullanıyor gibi verileri alıp çıkarımlar yapıyor.

    Senin istediğin olayda ise çoğu dilde hazır fonksiyonlar ola biliyor replace tarzı. Bulup değiştiriyor falan. Veya direk sayı olarak küfürleri arıyacaksan regex kullana bilirsin diye düşünüyorum. Hangi dil olduğunu söylersen daha iyi yardım ala bilirsin.

    sağol hocam öncelikle. dil önemli değil bir şekilde yaparız. Mesala benim bir küfür databasem var diyelim. Bir kelimeyi bu database içerisinde aratıcam. Basit yöntemlerle yapılabilir fakat performanslı buna yönelik bişey var mıdır diye merak ediyorum

  4. KısayolKısayol reportŞikayet pmÖzel Mesaj
    kont239
    kont239's avatar
    Kayıt Tarihi: 04/Ocak/2010
    Erkek
    kajmerpac bunu yazdı
    trnight bunu yazdı
    kajmerpac bunu yazdı

    Merhaba,

    Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?

    Bu belki text mininge girmiyordur fakat konuya biraz fransızım.

     

    Text mining biraz daha olaya istatistiksel yaklaşıyor hocam. Örnek vermek gerekirse bir yazar hangi kelimeleri çok kullanıyor, bir haber makalesinde ağırlıklı olarak hangi kelimeler kullanıyor gibi verileri alıp çıkarımlar yapıyor.

    Senin istediğin olayda ise çoğu dilde hazır fonksiyonlar ola biliyor replace tarzı. Bulup değiştiriyor falan. Veya direk sayı olarak küfürleri arıyacaksan regex kullana bilirsin diye düşünüyorum. Hangi dil olduğunu söylersen daha iyi yardım ala bilirsin.

    sağol hocam öncelikle. dil önemli değil bir şekilde yaparız. Mesala benim bir küfür databasem var diyelim. Bir kelimeyi bu database içerisinde aratıcam. Basit yöntemlerle yapılabilir fakat performanslı buna yönelik bişey var mıdır diye merak ediyorum

    Biz bunu StoredProcedure ile yapıyoruz. Tablonun içindeki verileri gelen string içinde like ile aratıp içinde barındırdığı sakıncalı kelimeleri tespit edebiliyoruz. Duruma göre işlemi kesip arka tarafa log atıyorz.

    Buraya bir tane select yazayım örnek : 

    SELECT PARAMETER_VALUE FROM COR.PARAMETER_DEFINITION_TBL (NOLOCK)
    WHERE  @EXPLANATION LIKE '%'+(PARAMETER_VALUE)+'%'

    Farklı bir performanslı yöntem öğrenirsen paylaşırsan bizde faydalanırız. Ama performans konusunda bu kullandığımız yapı şimdiye kadar sorun çıkarmadı. 


    4641544948---53415249544153
  5. KısayolKısayol reportŞikayet pmÖzel Mesaj
    kajmerpac
    kajmerpac's avatar
    Kayıt Tarihi: 03/Kasım/2008
    Erkek
    kont239 bunu yazdı
    kajmerpac bunu yazdı
    trnight bunu yazdı
    kajmerpac bunu yazdı

    Merhaba,

    Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?

    Bu belki text mininge girmiyordur fakat konuya biraz fransızım.

     

    Text mining biraz daha olaya istatistiksel yaklaşıyor hocam. Örnek vermek gerekirse bir yazar hangi kelimeleri çok kullanıyor, bir haber makalesinde ağırlıklı olarak hangi kelimeler kullanıyor gibi verileri alıp çıkarımlar yapıyor.

    Senin istediğin olayda ise çoğu dilde hazır fonksiyonlar ola biliyor replace tarzı. Bulup değiştiriyor falan. Veya direk sayı olarak küfürleri arıyacaksan regex kullana bilirsin diye düşünüyorum. Hangi dil olduğunu söylersen daha iyi yardım ala bilirsin.

    sağol hocam öncelikle. dil önemli değil bir şekilde yaparız. Mesala benim bir küfür databasem var diyelim. Bir kelimeyi bu database içerisinde aratıcam. Basit yöntemlerle yapılabilir fakat performanslı buna yönelik bişey var mıdır diye merak ediyorum

    Biz bunu StoredProcedure ile yapıyoruz. Tablonun içindeki verileri gelen string içinde like ile aratıp içinde barındırdığı sakıncalı kelimeleri tespit edebiliyoruz. Duruma göre işlemi kesip arka tarafa log atıyorz.

    Buraya bir tane select yazayım örnek : 

    SELECT PARAMETER_VALUE FROM COR.PARAMETER_DEFINITION_TBL (NOLOCK)
    WHERE  @EXPLANATION LIKE '%'+(PARAMETER_VALUE)+'%'

    Farklı bir performanslı yöntem öğrenirsen paylaşırsan bizde faydalanırız. Ama performans konusunda bu kullandığımız yapı şimdiye kadar sorun çıkarmadı. 

    Sürekli akan bir data yapısı olacak. Bu sebeple hızlı sonuca gitmeliyiz. Stored Procedure ya da bir sql sorgusu işi çözebilir ama süreklilik olacağı için performanstan sıkıntı yaşayabiliriz. 

    Araştırma aşamasındayım, öğrenince yazarım buraya da

  6. KısayolKısayol reportŞikayet pmÖzel Mesaj
    aksata
    aksata's avatar
    Kayıt Tarihi: 28/Aralık/2009
    Erkek

    Databasedeki verileri dizine alırım foreach ile replace yaparım. İlk aklıma bu geldi.


    Bazıları özgürlüğü sadece kendileri gibi düşünenlere reva görüyor...
  7. KısayolKısayol reportŞikayet pmÖzel Mesaj
    kajmerpac
    kajmerpac's avatar
    Kayıt Tarihi: 03/Kasım/2008
    Erkek
    aksata bunu yazdı

    Databasedeki verileri dizine alırım foreach ile replace yaparım. İlk aklıma bu geldi.

    dediğim gibi bu yöntemler olabilir fakat bana daha özel performanslı olabilecek bişey lazım. küfür database i  büyük olursa sıkıntı yaşanır ki türkiyede küfür biraz fazla olur :D

  8. KısayolKısayol reportŞikayet pmÖzel Mesaj
    aksata
    aksata's avatar
    Kayıt Tarihi: 28/Aralık/2009
    Erkek
    kajmerpac bunu yazdı
    aksata bunu yazdı

    Databasedeki verileri dizine alırım foreach ile replace yaparım. İlk aklıma bu geldi.

    dediğim gibi bu yöntemler olabilir fakat bana daha özel performanslı olabilecek bişey lazım. küfür database i  büyük olursa sıkıntı yaşanır ki türkiyede küfür biraz fazla olur :D

    JavaScript ile kullanıcının kendisine yaptırırım. Server için sıfır yük


    Bazıları özgürlüğü sadece kendileri gibi düşünenlere reva görüyor...
  9. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Elif - Efe
    rakkoc
    rakkoc's avatar
    Kayıt Tarihi: 19/Aralık/2003
    Homo

    inputun database mi yoksa bir chat app gibi socket datasi mi olacak ?


    Bu aralar fazla yogunum. Unuttugum seyler oluyorsa affola. DM vs atın.
  10. KısayolKısayol reportŞikayet pmÖzel Mesaj
    kajmerpac
    kajmerpac's avatar
    Kayıt Tarihi: 03/Kasım/2008
    Erkek
    rakkoc bunu yazdı

    inputun database mi yoksa bir chat app gibi socket datasi mi olacak ?

    databasede değil ama atılabilir o sorun değil. Inputun nereden geldiği çok önemli değil chatten de gelebilir.

  11. KısayolKısayol reportŞikayet pmÖzel Mesaj
    YeniHarman
    YeniHarman's avatar
    Kayıt Tarihi: 17/Haziran/2012
    Erkek

    Simdi aklimdaki soru bu filtrenin nerede kullanilacagi baska bir ifadeyle ne kadar ciddi olacagi. Maalesef sozcuk tabanli bir arama ile ornegin abcde filtreye yakalanir ama a b c d e yakalanmaz. Kisaca ikisinin tahribat gucu ayni:)


    Olaylara karışmayın!
Toplam Hit: 2104 Toplam Mesaj: 14
mining text