arXiv (Cornell University)· 2015· Ön baskı
Sinir Ağlarını Tensörize Etmek
Tensorizing Neural Networks
- 499atıf
- 2015yıl
Kısa özet
Araştırmacılar, sinir ağlarındaki yoğun ağırlık matrislerini Tensör Tren formatına dönüştüren bir yöntem geliştirdi; bu, ağın ifade gücünü korurken parametre sayısını önemli ölçüde azaltıyor.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Sinir ağlarındaki tam bağlı katmanlar, bellek ve hesaplama açısından önemli bir darboğazdır.
- Yoğun ağırlık matrislerini Tensör Tren formatına dönüştürmek, parametre sayısını büyük ölçüde azaltır.
- Çok Derin VGG ağları için bu yöntem, tek bir tam bağlı katman için 200.000'e kadar sıkıştırma faktörü sağladı.
- Genel ağ sıkıştırması, ifade gücünden ödün vermeden 7 kata kadar ulaştı.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Deep neural networks currently demonstrate state-of-the-art performance in\nseveral domains. At the same time, models of this class are very demanding in\nterms of computational resources. In particular, a large amount of memory is\nrequired by commonly used fully-connected layers, making it hard to use the\nmodels on low-end devices and stopping the further increase of the model size.\nIn this paper we convert the dense weight matrices of the fully-connected\nlayers to the Tensor Train format such that the number of parameters is reduced\nby a huge factor and at the same time the expressive power of the layer is\npreserved. In particular, for the Very Deep VGG networks we report the\ncompression factor of the dense weight matrix of a fully-connected layer up to\n200000 times leading to the compression factor of the whole network up to 7\ntimes.\n
Yazarların özeti; kaynağından alınmıştır. arXiv (Cornell University), 2015 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Hesaplamalı Matematik
Computational MathematicsMathematics