arXiv (Cornell University)· 2023· Ön baskı
Code Llama: Kod İçin Açık Temel Modeller
Code Llama: Open Foundation Models for Code
- 411atıf
- 2023yıl
Kısa özet
Meta AI, kod üretimi ve anlama için açık kaynaklı büyük dil modelleri ailesi olan Code Llama'yı piyasaya sürdü; bu modeller, HumanEval (%67) ve MBPP (%65) gibi kıyaslamalarda açık modeller arasında en gelişmiş performansı sergiliyor.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Code Llama modelleri, kod kıyaslamalarında açık modeller arasında en gelişmiş performansı elde ediyor; HumanEval'da %67'ye, MBPP'de ise %65'e ulaşıyor.
- Modeller kod doldurmayı destekliyor ve 100k jetona kadar iyileştirmeler göstererek büyük girdi bağlamlarını işliyor.
- Özelleşmiş sürümler arasında 7B, 13B, 34B ve 70B parametre boyutlarında sunulan Code Llama - Python ve Code Llama - Instruct bulunuyor.
- Code Llama - Python 7B, HumanEval ve MBPP'de daha büyük olan Llama 2 70B'yi geride bırakıyor.
- Tüm modeller, hem araştırma hem de ticari kullanım için izin veren esnek bir lisans altında yayınlanıyor.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
We release Code Llama, a family of large language models for code based on Llama 2 providing state-of-the-art performance among open models, infilling capabilities, support for large input contexts, and zero-shot instruction following ability for programming tasks. We provide multiple flavors to cover a wide range of applications: foundation models (Code Llama), Python specializations (Code Llama - Python), and instruction-following models (Code Llama - Instruct) with 7B, 13B, 34B and 70B parameters each. All models are trained on sequences of 16k tokens and show improvements on inputs with up to 100k tokens. 7B, 13B and 70B Code Llama and Code Llama - Instruct variants support infilling based on surrounding content. Code Llama reaches state-of-the-art performance among open models on several code benchmarks, with scores of up to 67% and 65% on HumanEval and MBPP, respectively. Notably, Code Llama - Python 7B outperforms Llama 2 70B on HumanEval and MBPP, and all our models outperform every other publicly available model on MultiPL-E. We release Code Llama under a permissive license that allows for both research and commercial use.
Yazarların özeti; kaynağından alınmıştır. arXiv (Cornell University), 2023 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Yazılım
SoftwareComputer Science