folder Tahribat.com Forumları
linefolder Programlama Genel
linefolder Bu Sistemi Nasıl Tasarlamalıyım ?



Bu Sistemi Nasıl Tasarlamalıyım ?

  1. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo

    merhabalar

    bir projem için mimari konusunda fikre ihtiyacım var,

    basitçe front endde kullanıcıdan aldığımız verileri arkada  belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, böylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz , maliyet sıfır olur :P

    taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm.yanlış mı düşünüyorum ?

    fargate dışında daha mantıklı önerisi olan var mıdır? ya da bu workflowu yönetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı ? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin öbürünü js de yazsın vs vs


    29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.
  2. KısayolKısayol reportŞikayet pmÖzel Mesaj
    2021 Talihlisi
    Deleted001
    Deleted001's avatar
    Kayıt Tarihi: 22/Kasım/2020
    Erkek
    yolbulucu bunu yazdı

    merhabalar

    bir projem için mimari konusunda fikre ihtiyacım var,

    basitçe front endde kullanıcıdan aldığımız verileri arkada  belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, böylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz , maliyet sıfır olur :P

    taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm.yanlış mı düşünüyorum ?

    fargate dışında daha mantıklı önerisi olan var mıdır? ya da bu workflowu yönetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı ? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin öbürünü js de yazsın vs vs

    hocam detaylar çok kısıtılı, hangi sitelerden alınan videolar hangi kalitede hangi limitlerle alınacak(google svlerinden r2. sublarından mı mesela)

    kullanıcılar arası hiyerarşi olacak mı, özel üyelikler olacak mı ve ne ölçekte bir proje olacak?

  3. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    yalinyalniz bunu yazdı
    yolbulucu bunu yazdı

    merhabalar

    bir projem için mimari konusunda fikre ihtiyacım var,

    basitçe front endde kullanıcıdan aldığımız verileri arkada  belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, böylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz , maliyet sıfır olur :P

    taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm.yanlış mı düşünüyorum ?

    fargate dışında daha mantıklı önerisi olan var mıdır? ya da bu workflowu yönetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı ? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin öbürünü js de yazsın vs vs

    hocam detaylar çok kısıtılı, hangi sitelerden alınan videolar hangi kalitede hangi limitlerle alınacak(google svlerinden r2. sublarından mı mesela)

    kullanıcılar arası hiyerarşi olacak mı, özel üyelikler olacak mı ve ne ölçekte bir proje olacak?

    hocam bu detayların sorduğum soruyla ne ilgisi var anlamadım ? video işlemeyi örnek olarak verdim, herhangi bir uzun sürecek task düşünebilirsin. bir sürü kullanıcıdan gelmiş bir sürü uzun sürecek taskı ölçekleme konusunda düşünmeden, paralel olarak çalıştırmak istiyorum ben.


    29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.
  4. KısayolKısayol reportŞikayet pmÖzel Mesaj
    2021 Talihlisi
    Deleted001
    Deleted001's avatar
    Kayıt Tarihi: 22/Kasım/2020
    Erkek
    yolbulucu bunu yazdı
    yalinyalniz bunu yazdı
    yolbulucu bunu yazdı

    merhabalar

    bir projem için mimari konusunda fikre ihtiyacım var,

    basitçe front endde kullanıcıdan aldığımız verileri arkada  belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, böylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz , maliyet sıfır olur :P

    taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm.yanlış mı düşünüyorum ?

    fargate dışında daha mantıklı önerisi olan var mıdır? ya da bu workflowu yönetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı ? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin öbürünü js de yazsın vs vs

    hocam detaylar çok kısıtılı, hangi sitelerden alınan videolar hangi kalitede hangi limitlerle alınacak(google svlerinden r2. sublarından mı mesela)

    kullanıcılar arası hiyerarşi olacak mı, özel üyelikler olacak mı ve ne ölçekte bir proje olacak?

    hocam bu detayların sorduğum soruyla ne ilgisi var anlamadım ? video işlemeyi örnek olarak verdim, herhangi bir uzun sürecek task düşünebilirsin. bir sürü kullanıcıdan gelmiş bir sürü uzun sürecek taskı ölçekleme konusunda düşünmeden, paralel olarak çalıştırmak istiyorum ben.

    Taskin sistemi yorma oranına göre tek makinede de çalıştırabilirsin mesela veya her makineye instance de açabilirsin ama en verimli yolu bulmak için tüm yapıyı bilmek gerek.

    Saydığın servisler bu iş için uygundur hocam ama verimli midir onu söyleyemeyeceğim maalesef.

  5. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    yalinyalniz bunu yazdı
    yolbulucu bunu yazdı
    yalinyalniz bunu yazdı
    yolbulucu bunu yazdı

    merhabalar

    bir projem için mimari konusunda fikre ihtiyacım var,

    basitçe front endde kullanıcıdan aldığımız verileri arkada  belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, böylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz , maliyet sıfır olur :P

    taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm.yanlış mı düşünüyorum ?

    fargate dışında daha mantıklı önerisi olan var mıdır? ya da bu workflowu yönetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı ? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin öbürünü js de yazsın vs vs

    hocam detaylar çok kısıtılı, hangi sitelerden alınan videolar hangi kalitede hangi limitlerle alınacak(google svlerinden r2. sublarından mı mesela)

    kullanıcılar arası hiyerarşi olacak mı, özel üyelikler olacak mı ve ne ölçekte bir proje olacak?

    hocam bu detayların sorduğum soruyla ne ilgisi var anlamadım ? video işlemeyi örnek olarak verdim, herhangi bir uzun sürecek task düşünebilirsin. bir sürü kullanıcıdan gelmiş bir sürü uzun sürecek taskı ölçekleme konusunda düşünmeden, paralel olarak çalıştırmak istiyorum ben.

    Taskin sistemi yorma oranına göre tek makinede de çalıştırabilirsin mesela veya her makineye instance de açabilirsin ama en verimli yolu bulmak için tüm yapıyı bilmek gerek.

    Saydığın servisler bu iş için uygundur hocam ama verimli midir onu söyleyemeyeceğim maalesef.

    tek makina yetmez hocam, anlık bin tane task ta gelebilir, onu kaldıracak makinayı bulamam.


    29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.
  6. KısayolKısayol reportŞikayet pmÖzel Mesaj
    All hail to Tux
    sandman
    sandman's avatar
    Kayıt Tarihi: 01/Eylül/2005
    Erkek

    Sadece link alıp aldığın linklerden birşey crawl mı edeceksin? 

    eğer öyleyse herşeyden önce her işlemi bir kuyruğa atmanı öneririm. Fargate veya benzeri herhangi bir kontayner orchestratoru scale işini görür. Önüne mq koy dememin sebebi orchestratorunda scale up süresi var ve dar boğaz oluşturabilir.

    eğer obje işleyeceksen işleme ve yazma işlemlerini direk s3 ver ve kullanıcı oradan indirsin.

    farklı dillerde worker yazdırma ihtiyacın eğer farklı işler içinse, her iş tipine göre ayrı bir container yazarsın ve fargate iş tipine göre container başlatır.

    eğer streaming data bekliyorsanız durum farklı onu konuşalım


    Mühendis kahveyi projeye dönüştüren bir insan evladıdır.
  7. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    sandman bunu yazdı

    Sadece link alıp aldığın linklerden birşey crawl mı edeceksin? 

    eğer öyleyse herşeyden önce her işlemi bir kuyruğa atmanı öneririm. Fargate veya benzeri herhangi bir kontayner orchestratoru scale işini görür. Önüne mq koy dememin sebebi orchestratorunda scale up süresi var ve dar boğaz oluşturabilir.

    eğer obje işleyeceksen işleme ve yazma işlemlerini direk s3 ver ve kullanıcı oradan indirsin.

    farklı dillerde worker yazdırma ihtiyacın eğer farklı işler içinse, her iş tipine göre ayrı bir container yazarsın ve fargate iş tipine göre container başlatır.

    eğer streaming data bekliyorsanız durum farklı onu konuşalım

    Linkten xml, csv tarzı dosyalar indirip bunları mongodb ye import edip ekstra apilardan biseyleride üstüne yazicam. Queue kullanıyorum zaten su an, celery redis le çalışıyor. 


    29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.
  8. KısayolKısayol reportŞikayet pmÖzel Mesaj
    All hail to Tux
    sandman
    sandman's avatar
    Kayıt Tarihi: 01/Eylül/2005
    Erkek

    Güzel,

    şimdi benim önerim dosyaları direk s3'e yaz, daha sonra farklı dosya tiplerini eğer ortak bir formata almak istersen hemen aws data pipeline etl işlemlerine sok. Sonra ortak formatta lambda ile yap manipülasyonunu sonra yine pipeline ile istedipin veri tabanına yaz

    ön tarafta kurguladığın fargate'li yapının arka tarafı gibi düşün.


    Mühendis kahveyi projeye dönüştüren bir insan evladıdır.
  9. KısayolKısayol reportŞikayet pmÖzel Mesaj
    TeRRoR
    TeRRoR's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Erkek

    konuşulan şeyleri çok beğendim. konuşulmayan bir not düşüp uzuyorum. "Bu kadar çok, farklı ve tecrübenin az olduğu teknoloji, ortam, çözüme ihtiyacın varmı?" bunu da karar verirken kendine sor lütfen :*


    herkes programcı olmak zorunda değildir, lütfen bir zorunluluk gibi programlama dilleri öğrenmeye çalışmayın. yabancı dil filan öğrenin amq.// s.kimin etini yerim, kasaba minnet etmem.// ince düşünene kalın girer.//
  10. KısayolKısayol reportŞikayet pmÖzel Mesaj
    All hail to Tux
    sandman
    sandman's avatar
    Kayıt Tarihi: 01/Eylül/2005
    Erkek
    TeRRoR bunu yazdı

    konuşulan şeyleri çok beğendim. konuşulmayan bir not düşüp uzuyorum. "Bu kadar çok, farklı ve tecrübenin az olduğu teknoloji, ortam, çözüme ihtiyacın varmı?" bunu da karar verirken kendine sor lütfen :*

    Bu servislerin çoğu managed services olduğundna ciddi bir sıkıntı yaşayacağını sanmıyorum


    Mühendis kahveyi projeye dönüştüren bir insan evladıdır.
  11. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    sandman bunu yazdı

    Güzel,

    şimdi benim önerim dosyaları direk s3'e yaz, daha sonra farklı dosya tiplerini eğer ortak bir formata almak istersen hemen aws data pipeline etl işlemlerine sok. Sonra ortak formatta lambda ile yap manipülasyonunu sonra yine pipeline ile istedipin veri tabanına yaz

    ön tarafta kurguladığın fargate'li yapının arka tarafı gibi düşün.

    "data pipeline" ı bilmiyodum hocam baya işime yarayacak bişey gibi duruyo , çok sağol. 

    data pipeline ingestion işlemini çözüyor ama yine de verinin üstünde yapmam gereken işlemler var. kullanıcıdan aldığım parametrelere mongodb üstünde mapreduce javascriptleriyle yapıyorum şu an. bunlar için yine workerlar kullanmam gerekecek sanırım. 

    edit: bunların dışında , veriyi apilardan çekip ya da download edip s3 e atmak içinde workerlar gerekecek

    bir de datapipeline da iki farklı kaynaktan gelen veriyi belirli bir fielda göre birleştirebilirmiyim ona bakacağım (99% yapabiliyorumdur ) 

    @terror hocam işin karmaşıklığını azaltmak için olabildiğince manager servis kullanmaya çalışıyorum.

     

    yolbulucu tarafından 11/Ara/20 14:59 tarihinde düzenlenmiştir

    29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.
Toplam Hit: 1994 Toplam Mesaj: 16
mimari django börek celery kek