Text Mining
-
Merhaba,
Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?
Bu belki text mininge girmiyordur fakat konuya biraz fransızım.
-
kajmerpac bunu yazdı
Merhaba,
Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?
Bu belki text mininge girmiyordur fakat konuya biraz fransızım.
Text mining biraz daha olaya istatistiksel yaklaşıyor hocam. Örnek vermek gerekirse bir yazar hangi kelimeleri çok kullanıyor, bir haber makalesinde ağırlıklı olarak hangi kelimeler kullanıyor gibi verileri alıp çıkarımlar yapıyor.
Senin istediğin olayda ise çoğu dilde hazır fonksiyonlar ola biliyor replace tarzı. Bulup değiştiriyor falan. Veya direk sayı olarak küfürleri arıyacaksan regex kullana bilirsin diye düşünüyorum. Hangi dil olduğunu söylersen daha iyi yardım ala bilirsin.
-
trnight bunu yazdıkajmerpac bunu yazdı
Merhaba,
Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?
Bu belki text mininge girmiyordur fakat konuya biraz fransızım.
Text mining biraz daha olaya istatistiksel yaklaşıyor hocam. Örnek vermek gerekirse bir yazar hangi kelimeleri çok kullanıyor, bir haber makalesinde ağırlıklı olarak hangi kelimeler kullanıyor gibi verileri alıp çıkarımlar yapıyor.
Senin istediğin olayda ise çoğu dilde hazır fonksiyonlar ola biliyor replace tarzı. Bulup değiştiriyor falan. Veya direk sayı olarak küfürleri arıyacaksan regex kullana bilirsin diye düşünüyorum. Hangi dil olduğunu söylersen daha iyi yardım ala bilirsin.
sağol hocam öncelikle. dil önemli değil bir şekilde yaparız. Mesala benim bir küfür databasem var diyelim. Bir kelimeyi bu database içerisinde aratıcam. Basit yöntemlerle yapılabilir fakat performanslı buna yönelik bişey var mıdır diye merak ediyorum
-
kajmerpac bunu yazdıtrnight bunu yazdıkajmerpac bunu yazdı
Merhaba,
Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?
Bu belki text mininge girmiyordur fakat konuya biraz fransızım.
Text mining biraz daha olaya istatistiksel yaklaşıyor hocam. Örnek vermek gerekirse bir yazar hangi kelimeleri çok kullanıyor, bir haber makalesinde ağırlıklı olarak hangi kelimeler kullanıyor gibi verileri alıp çıkarımlar yapıyor.
Senin istediğin olayda ise çoğu dilde hazır fonksiyonlar ola biliyor replace tarzı. Bulup değiştiriyor falan. Veya direk sayı olarak küfürleri arıyacaksan regex kullana bilirsin diye düşünüyorum. Hangi dil olduğunu söylersen daha iyi yardım ala bilirsin.
sağol hocam öncelikle. dil önemli değil bir şekilde yaparız. Mesala benim bir küfür databasem var diyelim. Bir kelimeyi bu database içerisinde aratıcam. Basit yöntemlerle yapılabilir fakat performanslı buna yönelik bişey var mıdır diye merak ediyorum
Biz bunu StoredProcedure ile yapıyoruz. Tablonun içindeki verileri gelen string içinde like ile aratıp içinde barındırdığı sakıncalı kelimeleri tespit edebiliyoruz. Duruma göre işlemi kesip arka tarafa log atıyorz.
Buraya bir tane select yazayım örnek :
SELECT PARAMETER_VALUE FROM COR.PARAMETER_DEFINITION_TBL (NOLOCK)
WHERE @EXPLANATION LIKE '%'+(PARAMETER_VALUE)+'%'Farklı bir performanslı yöntem öğrenirsen paylaşırsan bizde faydalanırız. Ama performans konusunda bu kullandığımız yapı şimdiye kadar sorun çıkarmadı.
-
kont239 bunu yazdıkajmerpac bunu yazdıtrnight bunu yazdıkajmerpac bunu yazdı
Merhaba,
Yapacağımız bir proje için yazılarda küfür araması yapmak istiyoruz. Bunun için hangi yöntem kullanılabilir bilgisi olan var mıdır?
Bu belki text mininge girmiyordur fakat konuya biraz fransızım.
Text mining biraz daha olaya istatistiksel yaklaşıyor hocam. Örnek vermek gerekirse bir yazar hangi kelimeleri çok kullanıyor, bir haber makalesinde ağırlıklı olarak hangi kelimeler kullanıyor gibi verileri alıp çıkarımlar yapıyor.
Senin istediğin olayda ise çoğu dilde hazır fonksiyonlar ola biliyor replace tarzı. Bulup değiştiriyor falan. Veya direk sayı olarak küfürleri arıyacaksan regex kullana bilirsin diye düşünüyorum. Hangi dil olduğunu söylersen daha iyi yardım ala bilirsin.
sağol hocam öncelikle. dil önemli değil bir şekilde yaparız. Mesala benim bir küfür databasem var diyelim. Bir kelimeyi bu database içerisinde aratıcam. Basit yöntemlerle yapılabilir fakat performanslı buna yönelik bişey var mıdır diye merak ediyorum
Biz bunu StoredProcedure ile yapıyoruz. Tablonun içindeki verileri gelen string içinde like ile aratıp içinde barındırdığı sakıncalı kelimeleri tespit edebiliyoruz. Duruma göre işlemi kesip arka tarafa log atıyorz.
Buraya bir tane select yazayım örnek :
SELECT PARAMETER_VALUE FROM COR.PARAMETER_DEFINITION_TBL (NOLOCK)
WHERE @EXPLANATION LIKE '%'+(PARAMETER_VALUE)+'%'Farklı bir performanslı yöntem öğrenirsen paylaşırsan bizde faydalanırız. Ama performans konusunda bu kullandığımız yapı şimdiye kadar sorun çıkarmadı.
Sürekli akan bir data yapısı olacak. Bu sebeple hızlı sonuca gitmeliyiz. Stored Procedure ya da bir sql sorgusu işi çözebilir ama süreklilik olacağı için performanstan sıkıntı yaşayabiliriz.
Araştırma aşamasındayım, öğrenince yazarım buraya da
-
Databasedeki verileri dizine alırım foreach ile replace yaparım. İlk aklıma bu geldi.
-
aksata bunu yazdı
Databasedeki verileri dizine alırım foreach ile replace yaparım. İlk aklıma bu geldi.
dediğim gibi bu yöntemler olabilir fakat bana daha özel performanslı olabilecek bişey lazım. küfür database i büyük olursa sıkıntı yaşanır ki türkiyede küfür biraz fazla olur :D
-
kajmerpac bunu yazdıaksata bunu yazdı
Databasedeki verileri dizine alırım foreach ile replace yaparım. İlk aklıma bu geldi.
dediğim gibi bu yöntemler olabilir fakat bana daha özel performanslı olabilecek bişey lazım. küfür database i büyük olursa sıkıntı yaşanır ki türkiyede küfür biraz fazla olur :D
JavaScript ile kullanıcının kendisine yaptırırım. Server için sıfır yük
-
inputun database mi yoksa bir chat app gibi socket datasi mi olacak ?
-
rakkoc bunu yazdı
inputun database mi yoksa bir chat app gibi socket datasi mi olacak ?
databasede değil ama atılabilir o sorun değil. Inputun nereden geldiği çok önemli değil chatten de gelebilir.
-
Simdi aklimdaki soru bu filtrenin nerede kullanilacagi baska bir ifadeyle ne kadar ciddi olacagi. Maalesef sozcuk tabanli bir arama ile ornegin abcde filtreye yakalanir ama a b c d e yakalanmaz. Kisaca ikisinin tahribat gucu ayni:)