folder Tahribat.com Forumları
linefolder Programlama Genel
linefolder İşleri Queue Lara Kullanıcı Bazında Nasıl Adilce Dağıtabilirim?



İşleri Queue Lara Kullanıcı Bazında Nasıl Adilce Dağıtabilirim?

  1. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo

    hola

    şimdi şöyle bir sorunum var, (henüz yok ama ileride olacak). 

    bir uygulamam var, uygulama saas olarak çalışıyor ve bir sürü kullanıcı olacak. bu kullanıcıların yapacağı çok zaman alacak işleri hep queue ile yapıyorum. lakin şimdi diyelim bir tane queuemuz var, bu qeueya her kullanıcı için işleri atıyoruz, 5 tane de worker process imiz var buraya gelen işleri yapıyor. 

    bir tane kullanıcı gelip üst üste 5 tane iş atarsa diğerleri onu beklemek zorunda kalacak. bunun önüne nasıl geçebilirim ? nasıl dağıtmalıyım bunu ? aynı kullanıcının şu anki aktif iş sayısına bakıp bekletmeyi düşündüm ama bunun için de yine queue dan işleri çekip bakmam gerek, bu doğru bir çözüm gibi gelmedi bu yüzden

    her kullanıcı için bir worker spawn edip sonra öldüreyim dedim ama o da çok karmaşıklaştırıyorum ve saçmalıyorum gibi geldi. ne diye aratacağımı da bulamadım. 

    napmak lazım gelir burda ?


    Erkek olursa Esat Oktay, kız olursa Sabiha Gökçen
  2. KısayolKısayol reportŞikayet pmÖzel Mesaj
    All hail to Tux
    sandman
    sandman's avatar
    Kayıt Tarihi: 01/Eylül/2005
    Erkek

    her kullanıcı için instance(worker) yaratıp yok etmek kabul edilen bir yöntemdir. Aws gibi yerlerde spot instancelar ile ucuzada çözebilirsin veya eventin tipine göre serverless'da kullanıp sonsuz büyüme elde edebilirsin. 

    başka bir pattern ise process monitor yazarsın workerlarda bir kullanıcının belli sayıda işi almasını kontrol eder üstüne çıkartmaz altına kaldıkça yeni işi çeker


    Mühendis kahveyi projeye dönüştüren bir insan evladıdır.
  3. KısayolKısayol reportŞikayet pmÖzel Mesaj
    JPriest
    JPriest's avatar
    Kayıt Tarihi: 09/Mart/2007
    Erkek

    Queue için hangi tool'u kullanıyorsun?


    Sen hiç kaval çaldın mı?
  4. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    JPriest bunu yazdı

    Queue için hangi tool'u kullanıyorsun?

    Redis + laravel 


    Erkek olursa Esat Oktay, kız olursa Sabiha Gökçen
  5. KısayolKısayol reportŞikayet pmÖzel Mesaj
    coder2
    coder2's avatar
    Kayıt Tarihi: 15/Mart/2007
    Erkek

    Queue eklemeden önce o kişiye ait kuyrukta bekleyen işleri ve kuyruktaki toplam işler saydırarak delay vermek veya queue priority ile düşük öncelikli olarak kaydetmek bir çözüm olabilir belki.


    Önceleri Kızlar Utanınca Kızarırdı Şimdilerde Kızarınca Utanıyorlar..
  6. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    coder2 bunu yazdı

    Queue eklemeden önce o kişiye ait kuyrukta bekleyen işleri ve kuyruktaki toplam işler saydırarak delay vermek veya queue priority ile düşük öncelikli olarak kaydetmek bir çözüm olabilir belki.

    ben de bunu düşündüm ama queue ya gidip işlere bakmam gerekiyor bunun için. queue ya bakmadan dağıtma kısmında halledebilsem güzel olur diye düşündm.

     


    Erkek olursa Esat Oktay, kız olursa Sabiha Gökçen
  7. KısayolKısayol reportŞikayet pmÖzel Mesaj
    All hail to Tux
    sandman
    sandman's avatar
    Kayıt Tarihi: 01/Eylül/2005
    Erkek

    Benim yazdıklarıma neden yorum yok ben saksı değilim :p

    < ="//www.youtube.com//x9fxjKzCpME" width="560" height="314" allowfullscreen="allowfullscreen">


    Mühendis kahveyi projeye dönüştüren bir insan evladıdır.
  8. KısayolKısayol reportŞikayet pmÖzel Mesaj
    JPriest
    JPriest's avatar
    Kayıt Tarihi: 09/Mart/2007
    Erkek
    sandman bunu yazdı

    her kullanıcı için instance(worker) yaratıp yok etmek kabul edilen bir yöntemdir. Aws gibi yerlerde spot instancelar ile ucuzada çözebilirsin veya eventin tipine göre serverless'da kullanıp sonsuz büyüme elde edebilirsin. 

    başka bir pattern ise process monitor yazarsın workerlarda bir kullanıcının belli sayıda işi almasını kontrol eder üstüne çıkartmaz altına kaldıkça yeni işi çeker

    Yine kaliteni konuşturmuşsun hocam :)


    Sen hiç kaval çaldın mı?
  9. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    sandman bunu yazdı

    Benim yazdıklarıma neden yorum yok ben saksı değilim :p

    < ="//www.youtube.com//x9fxjKzCpME" width="560" height="314" allowfullscreen="allowfullscreen">

    yazdığın şeyi biraz araştırıp öyle cevap vereyim dedim ondan :D 

    sandman bunu yazdı

    her kullanıcı için instance(worker) yaratıp yok etmek kabul edilen bir yöntemdir. Aws gibi yerlerde spot instancelar ile ucuzada çözebilirsin veya eventin tipine göre serverless'da kullanıp sonsuz büyüme elde edebilirsin. 

    başka bir pattern ise process monitor yazarsın workerlarda bir kullanıcının belli sayıda işi almasını kontrol eder üstüne çıkartmaz altına kaldıkça yeni işi çeker

    benim workerlar docker da çalışıyor, kullanıcılar çok olunca bir sürü container spawn etmek kötü olur gibi gelmişti ama, google cloud functionsa bakıyorum şimdi, (google cloud kullanmayı düşünüyorum, daha aşinayım) o gelmemişti aklıma, fiyatı mantıklı gelirse orda yaptırabilirim. hem http den işleri de verebilirim daha kolay olabilir 

    bu arada teşekkür ederim hocam


    Erkek olursa Esat Oktay, kız olursa Sabiha Gökçen
  10. KısayolKısayol reportŞikayet pmÖzel Mesaj
    All hail to Tux
    sandman
    sandman's avatar
    Kayıt Tarihi: 01/Eylül/2005
    Erkek
    yolbulucu bunu yazdı
    sandman bunu yazdı

    Benim yazdıklarıma neden yorum yok ben saksı değilim :p

    < ="//www.youtube.com//x9fxjKzCpME" width="560" height="314" allowfullscreen="allowfullscreen">

    yazdığın şeyi biraz araştırıp öyle cevap vereyim dedim ondan :D 

    sandman bunu yazdı

    her kullanıcı için instance(worker) yaratıp yok etmek kabul edilen bir yöntemdir. Aws gibi yerlerde spot instancelar ile ucuzada çözebilirsin veya eventin tipine göre serverless'da kullanıp sonsuz büyüme elde edebilirsin. 

    başka bir pattern ise process monitor yazarsın workerlarda bir kullanıcının belli sayıda işi almasını kontrol eder üstüne çıkartmaz altına kaldıkça yeni işi çeker

    benim workerlar docker da çalışıyor, kullanıcılar çok olunca bir sürü container spawn etmek kötü olur gibi gelmişti ama, google cloud functionsa bakıyorum şimdi, (google cloud kullanmayı düşünüyorum, daha aşinayım) o gelmemişti aklıma, fiyatı mantıklı gelirse orda yaptırabilirim. hem http den işleri de verebilirim daha kolay olabilir 

    bu arada teşekkür ederim hocam

    Her zaman aklında olsun bu tür k8, swarm veya klasik vm'lerde autoscale'de bir üst limit belirleyebilirsin yani sonsuza kadar sistem kurmaz bir yere kadar büyürler. Benim önerim process monitor kurman ve onun hem işlere hem de kuyruğa bakıp ona göre işi içeri alması yönünde. Sen yine auto-scale'i yap çok iş gelince müşteriyi bekletmemek adına ama dediğimi yaparsan yarın öbür gün adamı attığı iş ve çalıştığı süreye görede faturalandırırsın.

    Elimde SaaS mimarisi hakkında Amazon'nun iç teknik dokümanları olacak sokuşturduğum yeri bulursam vereyim.


    Mühendis kahveyi projeye dönüştüren bir insan evladıdır.
  11. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    sandman bunu yazdı
    yolbulucu bunu yazdı
    sandman bunu yazdı

    Benim yazdıklarıma neden yorum yok ben saksı değilim :p

    < ="//www.youtube.com//x9fxjKzCpME" width="560" height="314" allowfullscreen="allowfullscreen">

    yazdığın şeyi biraz araştırıp öyle cevap vereyim dedim ondan :D 

    sandman bunu yazdı

    her kullanıcı için instance(worker) yaratıp yok etmek kabul edilen bir yöntemdir. Aws gibi yerlerde spot instancelar ile ucuzada çözebilirsin veya eventin tipine göre serverless'da kullanıp sonsuz büyüme elde edebilirsin. 

    başka bir pattern ise process monitor yazarsın workerlarda bir kullanıcının belli sayıda işi almasını kontrol eder üstüne çıkartmaz altına kaldıkça yeni işi çeker

    benim workerlar docker da çalışıyor, kullanıcılar çok olunca bir sürü container spawn etmek kötü olur gibi gelmişti ama, google cloud functionsa bakıyorum şimdi, (google cloud kullanmayı düşünüyorum, daha aşinayım) o gelmemişti aklıma, fiyatı mantıklı gelirse orda yaptırabilirim. hem http den işleri de verebilirim daha kolay olabilir 

    bu arada teşekkür ederim hocam

    Her zaman aklında olsun bu tür k8, swarm veya klasik vm'lerde autoscale'de bir üst limit belirleyebilirsin yani sonsuza kadar sistem kurmaz bir yere kadar büyürler. Benim önerim process monitor kurman ve onun hem işlere hem de kuyruğa bakıp ona göre işi içeri alması yönünde. Sen yine auto-scale'i yap çok iş gelince müşteriyi bekletmemek adına ama dediğimi yaparsan yarın öbür gün adamı attığı iş ve çalıştığı süreye görede faturalandırırsın.

    Elimde SaaS mimarisi hakkında Amazon'nun iç teknik dokümanları olacak sokuşturduğum yeri bulursam vereyim.

    autoscale e üst limit belirlesem de yine de bir kullanıcının üstüste işler girip queu yu meşgul etmesi sorununu çözmüyor sanırım, dediğin gibi bir process monitöre ihtiyacım var, ona bakınacağım biraz. 


    Erkek olursa Esat Oktay, kız olursa Sabiha Gökçen
Toplam Hit: 478 Toplam Mesaj: 13
rabbitmq queue redis