Forum
Aktif konular
Üyeler
Kurallar
Arama
Machine Learning Ve Data Mining Soru Machine Learning Ve Data Mining Soru
-
Lightsaber bunu yazdıMhmdAlmz bunu yazdı
@DuPi , hocam bu dediklerin ihmal edilecek. Benim yapmak istediğim bu değil zaten bu bir örnekti. Duyguyu vs bırakmak gerekiyor. Yani Öğretmen ahmetten hoşlanıyormuş. Arkadaşının çocuğuymuş falan bunları es geç.
@Lightsaber , hocam o anki sınıf durumu da önemli sanırım. Kimse tahtya kalkmadı ise 1 kişi 2 defa tahtaya kalktı didiğeri 3 defa kalktı. Bu durumda + yı hak eden 3 defa kalktığı için hak etmiş oluyor. Diğer kriterleri hemen hemen eşit veya diğer kriterler seçimde önem derecesi daha az , tahtaya kalkma durumu daha fazla önem arz ediyor diyelim. Ama geçen hafta mehmet 20 defa tahtaya kalkmıştı. Bu sefer vektörler arasında çok büyük bir fark olmaz mı ? Sınıflandırma algoritmaları daha iyi sonuç getirmez mi ?
Değerler arasındaki farkları birbirine yakın tutmak için regularization kavramını araştırabilirsin. En basitinden her değeri o feature için uç değerlerin farkının mutlak değerine bölebilirsin.
Sınıflandırma algoritması dediğin nedir, hangisi mesela? Benim anlattığım şeyle de bir nevi sınıflandırma yapıyorsun
EDIT: Bir de sorunu böyle öğrenci-öğretmen benzetmesine girmeden direk anlatırsan daha anlaşılır olacağı kanaatindeyim.
Umarım anlatabilirim hocam .
Şöyle ki.
Dışarıda gezen satış elemanları var.
Bu elemanlar sahada gezerek müşterilerine uğrayıp anlaşma vs imzalıyorlar veya satış yapıyorlar ödeme vs alıp gün sonunda iş yerine geri dönüyorlar.
Bu elemanlar Şehrin lokasyonuna dağınık şekilde bir ucundan diğer ucuna müşteriye göre gidip geliyorlar.
Ahmet müşterisinden ödeme alınacak mesela . Ahmet müşterisi aradı "ben ödememi yapacağım gün içerisinde evraklarla ofisime bekliyorum sizi" diyor.
Şimdi bu durumda Dışarıdaki elemanlara bu iş otomatik atılacak. Normalde bu manuel yapılıyor. Buna yapay zeka uygulayacağım.
Şimdi Bu elemanların primleri var , günlük yaptığı km var , işi yapabilme durumu vs var.
Bir olay örgüsü olsun elimizde örnek olarak. Ahmetten devam edelim. Ahmet aradı söyledi buna dışarıdaki satış elemanı ahmet mşterisine uğrayacak. Ama hangi satış elemanı müsait ? Veya en müsait satış elemanı kim ?
Bazen durumlar değişkenlik gösteriyor. Dışarıda 3 tane satış elemanı olsun diyelim.
A - B - C Diye.
A'nın Ahmet müşterisine uğrama durumundaki kriterler ve değerler şu şekilde ;
1- Ahmet müşterisine 50 KM uzaklıkta
2- Ahmetten önce 3 Müşteriye daha uğrayacak.
3- 3 Müşteriye uğrama süresi Ortalama 2 saat 20 dakika.
4- Bu gün 30 TL prim kazandı
5- Müşterilerin yanında zamanında gitme oranı %88.2
B'nin Ahmet müşterisine uğrama duruundaki kriterler şu şekilde ;
1- Ahmet müşterisine 20 KM uzaklıkta
2- Ahmetten önce 1 Müşteriye daha uğrayacak.
3- 1 Müşteriye uğrama süresi Ortalama 1 saat 15 dakika.
4- Bu gün 70 TL prim kazandı
5- Müşterilerin yanında zamanında gitme oranı %79.5
C'nin Ahmet müşterisine uğrama duruundaki kriterler şu şekilde ;
1- Ahmet müşterisine 300 KM uzaklıkta
2- Ahmetten önce 1 Müşteriye daha uğrayacak.
3- 1 Müşteriye uğrama süresi Ortalama 25 dakika.
4- Bu gün 100 TL prim kazandı
5- Müşterilerin yanında zamanında gitme oranı %99
Ahmet müşterisine B elemanı gitmiş. Sebebi belirsiz. Sadece Elimizde data var.Bu olay örgüsüne benzer on binlerce data var.
Bu durumlara göre bir vektör oluşturup bu vektöre en yakın vektör hangisi ise o elemana bu görüşmeyi atamak mantıklı olur. Tıpkı facebook un "Arkadaşını da etiketle" diyip o fotoğrafa en yakın vektör hangisi ise onu getirmesi gibi.
Ben bilgisayara önce Madencilik uygulayarak bu kriterlerin Önem derecesini öğretmek istiyorum.
Yani Final state durumunda hangi durumlar daha önem arz ediyor Prim oranı mesela 0.3 çıktı diyelim. Tüm prim oranlarını 0.3 ile çarpıp , diğer koşulları da kendilerine has oranlarla çarpıp bir sonuç elde etmek istiyorum.
Bu sonuca da en yakın elemana bu işi görevi atmak istiyorum..
Burada da yapay zeka ve veri madenciliğine ihtiyacım var fakat ne tür bir algoritma kullanacağım konusunda pek tecrübeli değilim.
Primleri 0-1 aralığına getirme KM Değerlerini 0-1 aralığına getirme . gibi işlemleri elbette yapacağım mining yapamadan önce.
Olay bundan ibaret umarım anlatabilmişimdir. Aslında öğretmen öğrenci meselesine benzer bir olay örgüsü. Ilgin için teşekkürler şimdiden :)
-
Programcı değilim ancak daha önceki benzer konularda değindiğimi sandığım bir şeyi tekrar paylaşmak istiyorum.
Arkadaşlar, bildiğiniz üzere, bilimler sosyal bilimler, fen bilimleri, mühendislik bilimleri vs diye farklı kollardan müteşekkildir. Birey ve toplum davranışları ile sosyal fenomenleri konu edinen disiplinlerin sosyal bilimler alanında değerlendirilmesi yerleşik bir uygulamadır. Tüm sosyal bilim tarihi, metodolojisi ve felsefesi etrafındaki tartışmaların esaslı konularından biri de sosyal gerçekliğin yalnızca maddi unsurlardan müteşekkil, gözlem ve deney ile elde edilecek genellemelere imkân tanıyacak ölçüde objektif bir tabiatının olup olmadığıdır. Bugün için bu sorunun cevabı elbette ki HAYIR'dır. Ancak bu durum nicel araştırma yöntemleri ve desenlerini dışlamayı değil hem nicel hem de nitel araştırma yöntemlerini bir arada kullanmayı ve sosyal bilimlerin konusu olan insan'ın kendine has içsel ve çevresel koşullarının da göz önünde bulundurulması demektir. Yani hem araştırmacı hem de araştırmanın nesnesi öznel ve her zaman kestirilmesi mümkün olmayan bir yapıya sahiptir. Bu da genellemeler yapmayı zorlaştırmakta ve kuramları çeşitlendirmekte, bunun yanı sıra hiçbir kuramın açıklayamayacağı istisnai birçok durumla karşılaşılmasına yol açmaktadır. Sonuç olarak "karar alma süreci" ni konu edinen bir akış, veritabanı, ağaç vs oluşturmak hem zor hem de birçok zaman kullanışsızdır.
Ha tabi insanoğlunun zevk ve tercihlerinin bu kadar tekdüzeleştiği, duygusal tepki ve yönelimlerinin görsel ve işitsel medya yoluyla empoze edilen trendler çerçevesinde indirgendiği bu zamanda insan eskisi kadar çok yönlü ve deruni bir varlık olmayı ne kadar sürdürebilecektir orası da ayrı bir soru.
-
@MhmdAlmz senin durumuna graph algoritmaları daha çok uyar gibi geliyor onlara da bakabilirsin. facebook da arkadaş önermede graph algoritmaları kullanıyor bildiğim kadarıyla.
senin bahsettiğin yöntem pek verimli bir yöntem değil. yani diyorsun ki elimizde bir sürü örnek var, elbet yeni durum da bunlardan birine benzeyecektir, tek tek hangisine benzediğine bakalım elbet birine çok yakın çıkar demek istiyorsun anladığım kadarıyla. benim dediğim yöntemde ise verilerle sonuç arasında doğrudan bir korelasyon kuruyorsun. böyle yaklaşmak bence daha makul olacaktır ancak dediğim gibi graph algoritmalara da bir göz atmalısın.
@literatur hocam eğer bunu mhmdalmz'ın ilk söylediği verdiği öğretmen-öğrenci örneğine istaneden söylüyorsan burada puan vereni bir öğretmen değil de bir makine olarak düşünelim. bilgisayar belli kriterlere göre deterministik bir şekilde puan veriyor ancak biz hangi kriterlere göre puan verdiğini değil hangi kriterlerde kaç puan verdiğini biliyoruz. yani bilgisayar her kriter için belki bir katsayıya sahip ona göre puan veriyor ama biz bu katsayılara sahip olmadığımızdan elimizdeki çokça örnekten bu katsayılara, parametrelere yakınsama yapıyoruz. bu açıdan sosyal bilimlerle pek alakası olmasa gerek.
Ancak dediğin gibi kişisel kararlara yönelik tahmine en popüler örneklerden biri önceki alışveriş ve internet aramalarına göre bir sonraki alınacak ürünü tahmin etmek, buna göre reklam vermek vs. Bunlar çoğunlukla istatistiki çıkarımlar diyebiliriz sanırım ve oldukça başarılı sonuçlar veriyor. Sen daha iyi biliyorsundur muhtemelen ama bildiğim kadarıyla bazı sosyolojik meseleleri yorumlamak için istatistiksel, olasılıksal metodlara başvuruluyor.(Hatta akışkanlar mekaniğinin bile kullanıldığını okumuştum.)
-
Lightsaber bunu yazdı
@MhmdAlmz senin durumuna graph algoritmaları daha çok uyar gibi geliyor onlara da bakabilirsin. facebook da arkadaş önermede graph algoritmaları kullanıyor bildiğim kadarıyla.
senin bahsettiğin yöntem pek verimli bir yöntem değil. yani diyorsun ki elimizde bir sürü örnek var, elbet yeni durum da bunlardan birine benzeyecektir, tek tek hangisine benzediğine bakalım elbet birine çok yakın çıkar demek istiyorsun anladığım kadarıyla. benim dediğim yöntemde ise verilerle sonuç arasında doğrudan bir korelasyon kuruyorsun. böyle yaklaşmak bence daha makul olacaktır ancak dediğim gibi graph algoritmalara da bir göz atmalısın.
@literatur hocam eğer bunu mhmdalmz'ın ilk söylediği verdiği öğretmen-öğrenci örneğine istaneden söylüyorsan burada puan vereni bir öğretmen değil de bir makine olarak düşünelim. bilgisayar belli kriterlere göre deterministik bir şekilde puan veriyor ancak biz hangi kriterlere göre puan verdiğini değil hangi kriterlerde kaç puan verdiğini biliyoruz. yani bilgisayar her kriter için belki bir katsayıya sahip ona göre puan veriyor ama biz bu katsayılara sahip olmadığımızdan elimizdeki çokça örnekten bu katsayılara, parametrelere yakınsama yapıyoruz. bu açıdan sosyal bilimlerle pek alakası olmasa gerek.
Ancak dediğin gibi kişisel kararlara yönelik tahmine en popüler örneklerden biri önceki alışveriş ve internet aramalarına göre bir sonraki alınacak ürünü tahmin etmek, buna göre reklam vermek vs. Bunlar çoğunlukla istatistiki çıkarımlar diyebiliriz sanırım ve oldukça başarılı sonuçlar veriyor. Sen daha iyi biliyorsundur muhtemelen ama bildiğim kadarıyla bazı sosyolojik meseleleri yorumlamak için istatistiksel, olasılıksal metodlara başvuruluyor.(Hatta akışkanlar mekaniğinin bile kullanıldığını okumuştum.)
Graph işimizi görmüyor hocam çünkü elimizde bir katsayı yok. Yani Müşteriye olan uzaklık *50 + Prim * 1000 = Puan gibi bir değer olmadığından en yakın yada en makul elemanı bulamıyoruz.
Veri yapıları ile çözemiyorum yani Arama algoritması işimi görmüyor bu durumda. Çünkü elimde katsayı yok ne ile çarpacağım belli değil .
Bende Veri Madenciliği kullanarak bu katsayıları bulup. Daha sonra bu katsayılar ile birlikte sonuca ulaşmak istiyorum. Yani Madencilik ile bahsettiğim katsayıları bulmak istiyorum.
-
MhmdAlmz bunu yazdıLightsaber bunu yazdı
@MhmdAlmz senin durumuna graph algoritmaları daha çok uyar gibi geliyor onlara da bakabilirsin. facebook da arkadaş önermede graph algoritmaları kullanıyor bildiğim kadarıyla.
senin bahsettiğin yöntem pek verimli bir yöntem değil. yani diyorsun ki elimizde bir sürü örnek var, elbet yeni durum da bunlardan birine benzeyecektir, tek tek hangisine benzediğine bakalım elbet birine çok yakın çıkar demek istiyorsun anladığım kadarıyla. benim dediğim yöntemde ise verilerle sonuç arasında doğrudan bir korelasyon kuruyorsun. böyle yaklaşmak bence daha makul olacaktır ancak dediğim gibi graph algoritmalara da bir göz atmalısın.
@literatur hocam eğer bunu mhmdalmz'ın ilk söylediği verdiği öğretmen-öğrenci örneğine istaneden söylüyorsan burada puan vereni bir öğretmen değil de bir makine olarak düşünelim. bilgisayar belli kriterlere göre deterministik bir şekilde puan veriyor ancak biz hangi kriterlere göre puan verdiğini değil hangi kriterlerde kaç puan verdiğini biliyoruz. yani bilgisayar her kriter için belki bir katsayıya sahip ona göre puan veriyor ama biz bu katsayılara sahip olmadığımızdan elimizdeki çokça örnekten bu katsayılara, parametrelere yakınsama yapıyoruz. bu açıdan sosyal bilimlerle pek alakası olmasa gerek.
Ancak dediğin gibi kişisel kararlara yönelik tahmine en popüler örneklerden biri önceki alışveriş ve internet aramalarına göre bir sonraki alınacak ürünü tahmin etmek, buna göre reklam vermek vs. Bunlar çoğunlukla istatistiki çıkarımlar diyebiliriz sanırım ve oldukça başarılı sonuçlar veriyor. Sen daha iyi biliyorsundur muhtemelen ama bildiğim kadarıyla bazı sosyolojik meseleleri yorumlamak için istatistiksel, olasılıksal metodlara başvuruluyor.(Hatta akışkanlar mekaniğinin bile kullanıldığını okumuştum.)
Graph işimizi görmüyor hocam çünkü elimizde bir katsayı yok. Yani Müşteriye olan uzaklık *50 + Prim * 1000 = Puan gibi bir değer olmadığından en yakın yada en makul elemanı bulamıyoruz.
Veri yapıları ile çözemiyorum yani Arama algoritması işimi görmüyor bu durumda. Çünkü elimde katsayı yok ne ile çarpacağım belli değil .
Bende Veri Madenciliği kullanarak bu katsayıları bulup. Daha sonra bu katsayılar ile birlikte sonuca ulaşmak istiyorum. Yani Madencilik ile bahsettiğim katsayıları bulmak istiyorum.
onu anladım zaten graph algoritmaları derken machine learning'de kullanılan graph-based metodları kastettim. şu tarz yani: https://research.googleblog.com/2016/10/graph-powered-machine-learning-at-google.html
ancak çok tecrübeli değilim demişsin o nedenle benim dediğim yöntemle bir giriş yapman güzel bir başlangıç olacaktır, güzel sonuçlar alabileceğini düşünüyorum
-
Lightsaber bunu yazdıMhmdAlmz bunu yazdıLightsaber bunu yazdı
@MhmdAlmz senin durumuna graph algoritmaları daha çok uyar gibi geliyor onlara da bakabilirsin. facebook da arkadaş önermede graph algoritmaları kullanıyor bildiğim kadarıyla.
senin bahsettiğin yöntem pek verimli bir yöntem değil. yani diyorsun ki elimizde bir sürü örnek var, elbet yeni durum da bunlardan birine benzeyecektir, tek tek hangisine benzediğine bakalım elbet birine çok yakın çıkar demek istiyorsun anladığım kadarıyla. benim dediğim yöntemde ise verilerle sonuç arasında doğrudan bir korelasyon kuruyorsun. böyle yaklaşmak bence daha makul olacaktır ancak dediğim gibi graph algoritmalara da bir göz atmalısın.
@literatur hocam eğer bunu mhmdalmz'ın ilk söylediği verdiği öğretmen-öğrenci örneğine istaneden söylüyorsan burada puan vereni bir öğretmen değil de bir makine olarak düşünelim. bilgisayar belli kriterlere göre deterministik bir şekilde puan veriyor ancak biz hangi kriterlere göre puan verdiğini değil hangi kriterlerde kaç puan verdiğini biliyoruz. yani bilgisayar her kriter için belki bir katsayıya sahip ona göre puan veriyor ama biz bu katsayılara sahip olmadığımızdan elimizdeki çokça örnekten bu katsayılara, parametrelere yakınsama yapıyoruz. bu açıdan sosyal bilimlerle pek alakası olmasa gerek.
Ancak dediğin gibi kişisel kararlara yönelik tahmine en popüler örneklerden biri önceki alışveriş ve internet aramalarına göre bir sonraki alınacak ürünü tahmin etmek, buna göre reklam vermek vs. Bunlar çoğunlukla istatistiki çıkarımlar diyebiliriz sanırım ve oldukça başarılı sonuçlar veriyor. Sen daha iyi biliyorsundur muhtemelen ama bildiğim kadarıyla bazı sosyolojik meseleleri yorumlamak için istatistiksel, olasılıksal metodlara başvuruluyor.(Hatta akışkanlar mekaniğinin bile kullanıldığını okumuştum.)
Graph işimizi görmüyor hocam çünkü elimizde bir katsayı yok. Yani Müşteriye olan uzaklık *50 + Prim * 1000 = Puan gibi bir değer olmadığından en yakın yada en makul elemanı bulamıyoruz.
Veri yapıları ile çözemiyorum yani Arama algoritması işimi görmüyor bu durumda. Çünkü elimde katsayı yok ne ile çarpacağım belli değil .
Bende Veri Madenciliği kullanarak bu katsayıları bulup. Daha sonra bu katsayılar ile birlikte sonuca ulaşmak istiyorum. Yani Madencilik ile bahsettiğim katsayıları bulmak istiyorum.
onu anladım zaten graph algoritmaları derken machine learning'de kullanılan graph-based metodları kastettim. şu tarz yani: https://research.googleblog.com/2016/10/graph-powered-machine-learning-at-google.html
ancak çok tecrübeli değilim demişsin o nedenle benim dediğim yöntemle bir giriş yapman güzel bir başlangıç olacaktır, güzel sonuçlar alabileceğini düşünüyorum
Anladım hocam şimdi ne demek istediğinizi deneyeyim dediklerinizi neural network olayına başladım bakıyorum ufak ufak. Teşekkürler yardımın için tekrardan
MhmdAlmz tarafından 28/Şub/18 21:18 tarihinde düzenlenmiştir -
nedendir bilmem aklıma eşleştirme algoritmaları geldi
bunu buraya bırakayım :)
https://www.youtube.com/watch?v=dLP8A3tlmQU&t=59s -
Lstm ve gan algoritmalarini incele hocam. Veri uretimine dair en saglam algoritma gan . Cok acayip bir bak bu arada sonucunu merakla izliyorum.
Edit : https://arxiv.org/abs/1802.08773 belki buda isini gorebilir.
samato tarafından 01/Mar/18 01:43 tarihinde düzenlenmiştir
Kısayol
Şikayet
Özel Mesaj
Alıntı yap
Cevapla