· 2012
Dirençli Dağıtık Veri Kümeleri: Bellek İçi Küme Hesaplamaları İçin Hata Toleranslı Bir Soyutlama
Resilient distributed datasets: a fault-tolerant abstraction for in-memory cluster computing
- 3.577atıf
- 2012yıl
Kısa özet
Büyük ölçekli küme hesaplamaları için tasarlanmış, hata toleranslı, yüksek performanslı hesaplamalara olanak tanıyan yeni bir bellek içi veri soyutlaması olan Dirençli Dağıtık Veri Kümeleri'ni (RDDs) sunuyoruz.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Hata toleranslı bir bellek içi soyutlama olarak Dirençli Dağıtık Veri Kümeleri'ni (RDDs) tanıtır.
- Yinelemeli algoritmalar ve etkileşimli veri madenciliğindeki performans darboğazlarını ele alır.
- İnce taneli güncellemeler yerine kaba taneli dönüşümlerle hata toleransı sağlar.
- Spark sistemine entegre edilmiş ve kullanıcı uygulamaları ile kıyaslamalarla değerlendirilmiştir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
We present Resilient Distributed Datasets (RDDs), a distributed memory abstraction that lets programmers perform in-memory computations on large clusters in a fault-tolerant manner. RDDs are motivated by two types of applications that current computing frameworks handle inefficiently: iterative algorithms and interactive data mining tools. In both cases, keeping data in memory can improve performance by an order of magnitude. To achieve fault tolerance efficiently, RDDs provide a restricted form of shared memory, based on coarsegrained transformations rather than fine-grained updates to shared state. However, we show that RDDs are expressive enough to capture a wide class of computations, including recent specialized programming models for iterative jobs, such as Pregel, and new applications that these models do not capture. We have implemented RDDs in a system called Spark, which we evaluate through a variety of user applications and benchmarks. 1
Yazarların özeti; kaynağından alınmıştır., 2012 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Bilişim Sistemleri
Information SystemsComputer Science