ACM Computing Surveys· 2026Q1· Derleme
Federated Distillation: Bir Anket
Federated Distillation: A Survey
- 4atıf
- Q1SCImago
- 2026yıl
Kısa özet
Federated Distillation (FD), model parametreleri yerine bilgi aktararak, Heterojen modelleri destekleyen ve iletişim maliyetlerini azaltan, Federated Learning (FL) için iletişim açısından verimli bir alternatif sunar.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Federated Distillation (FD), geleneksel Federated Learning'in (FL) parametre alışverişinin aksine, federasyonel bir ortamda modeller arasında bilgi aktarımını sağlar.
- FD, Heterojen model mimarilerini destekler ve iletişim maliyetlerini azaltabilir.
- FD'nin etkinliği, aktarılan bilginin türüne, referans verilere, iletişim programına ve tehdit modeline bağlıdır.
- Mevcut FD yöntemleri, veri, sistem ve model Heterojenliği, istemci kayması, katastrofik unutma, iletişim maliyeti ve gizlilik riski gibi FL zorluklarına göre organize edilmiştir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Federated learning (FL) enables collaborative model training without centralizing clients’ raw data, but parameter exchange can impose substantial communication costs and usually requires compatible model architectures. Federated distillation (FD) instead transfers predictive or intermediate knowledge through knowledge distillation (KD), which can support heterogeneous models and reduce communication in suitable settings. These benefits are not automatic: their magnitude depends on the transmitted knowledge, reference data, communication schedule, and threat model. This survey provides a challenge-centered synthesis of FD. We first formalize a representative public-data, response-based FD protocol and then organize existing methods by the FL challenges they address, including data, system, and model heterogeneity, client drift, catastrophic forgetting, communication cost, and privacy risk. We further review applications in industrial engineering, computer vision, natural language processing, and healthcare, including recent federated adaptation of large language models. Finally, we identify five research priorities: richer transferred knowledge, joint treatment of interacting forms of heterogeneity, communication-aware distillation, threat-model-driven privacy protection, and standardized theory, benchmarks, and evaluation.
Yazarların özeti; kaynağından alınmıştır. ACM Computing Surveys, 2026 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Yapay Zeka
Artificial IntelligenceComputer Science