· 2023
Neden Johnny İstem Yazamıyor: Yapay Zeka Uzmanı Olmayanlar LLM İstemlerini Nasıl Tasarlamaya Çalışıyor (ve Başarısız Oluyor)
Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts
- 830atıf
- 2023yıl
Kısa özet
Yapay zeka uzmanı olmayanlar, büyük dil modelleri (LLM'ler) için etkili istemler tasarlamakta zorlanıyor, istem tasarımlarını sistematik yerine fırsatçı bir şekilde keşfediyor ve aşırı genelleme ile insan-insan talimatlarından kaynaklanan beklentiler gibi engellerle karşılaşıyor.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Yapay zeka uzmanı olmayanlar, LLM istem tasarımlarını sistematik değil, fırsatçı bir şekilde keşfettiler.
- Katılımcılar, son kullanıcı programlama sistemlerine benzer şekillerde istem tasarımıyla mücadele ettiler.
- Etkili istem tasarımının önündeki engeller arasında insan-insan talimatlarından kaynaklanan beklentiler ve aşırı genelleme yer aldı.
- Çalışma, katılımcıları gözlemlemek için bir prototip LLM tabanlı sohbet botu tasarım aracı olan bir tasarım probu kullandı.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Pre-trained large language models (“LLMs”) like GPT-3 can engage in fluent, multi-turn instruction-taking out-of-the-box, making them attractive materials for designing natural language interactions. Using natural language to steer LLM outputs (“prompting”) has emerged as an important design technique potentially accessible to non-AI-experts. Crafting effective prompts can be challenging, however, and prompt-based interactions are brittle. Here, we explore whether non-AI-experts can successfully engage in “end-user prompt engineering” using a design probe—a prototype LLM-based chatbot design tool supporting development and systematic evaluation of prompting strategies. Ultimately, our probe participants explored prompt designs opportunistically, not systematically, and struggled in ways echoing end-user programming systems and interactive machine learning systems. Expectations stemming from human-to-human instructional experiences, and a tendency to overgeneralize, were barriers to effective prompt design. These findings have implications for non-AI-expert-facing LLM-based tool design and for improving LLM-and-prompt literacy among programmers and the public, and present opportunities for further research.
Yazarların özeti; kaynağından alınmıştır., 2023 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Güvenlik Araştırmaları
Safety ResearchSocial Sciences