Wikipedista:Čtuto/Prompt engineering

Prompt inženýrství je koncept umělé inteligence, zejména zpracování přirozeného jazyka (zkr. NLP). V prompt engineeringu (prompt inženýrství) je popis úkolu, který má umělá inteligence (AI) provést, vložen do vstupu, např. jako otázka, místo toho, aby byl explicitně zadán. Prompt engineering obvykle funguje tak, že se jeden nebo více úkolů převede na datovou sadu založenou na promptech a jazykový model se natrénuje pomocí toho, co se nazývá „učení založené na promptu“.

Prompt inženýrství, anglicky prompt engineering (zkr. PE), je proces efektivní komunikace s umělou inteligencí za účelem dosažení požadovaných výsledků.

Prompt je specifická instrukce (také výzva či příkaz), která vede k požadované odpovědi modelu. Cílem promptu je poskytnout jazykovému modelu kontext a směr, kterým ho bude vést k vytváření přesnějších a relevantnějších odpovědí.

Historie

Jazykové modely GPT-2 a GPT-3 byly důležitými kroky v prompt inženýrství. V roce 2021 multitask prompt inženýrství pomocí více datových sad NLP prokázalo dobrý výkon u nových úloh. V metodě zvané chain-of-thought (CoT) byly jazykovému modelu poskytnuty tzv. few-shot příklady (technika ukázání modelu několik příkladů, tzv. shotů, toho, co uživatel, aby LLM udělal), což zlepšilo jeho schopnost uvažovat. Široká dostupnost těchto nástrojů byla podpořena zveřejněním několika zápisniků s otevřeným zdrojovým kódem a komunitně vedených projektů pro syntézu obrazků.

Popis zpracování promptů uvedl, že v únoru 2022 bylo k dispozici více než 2 000 veřejných promptů pro přibližně 170 datových sad.

Techniky

Ladění prefixů

Prompt engineering může fungovat z velkého jazykového modelu (LLM), který je „zmrazen“ (v tom smyslu, že je předtrénovaný), kde se učí pouze reprezentace promptu (jinými slovy se LLM optimalizuje), pomocí metod jako „prefix-tuning“ nebo „prompt tuning“.

Chain-of-thought

Chain-of-thought prompting neboli prompting pomocí myšlenkového řetězce (Chain-of-thought prompting, zkr. CoT) zlepšuje schopnost uvažování LLM tím, že je podněcuje k vytvoření řady mezikroků, které vedou ke konečné odpovědi na vícekrokový problém. Tato technika byla poprvé navržena výzkumníky Google v roce 2022.

Hlavní myšlenka CoT spočívá v tom, že ukázáním několika málo záběrů tzv. exemplářů (příkladů), kde se argumentace vysvětluje v exemplářích, LLM také ukáže proces uvažování při odpovídání na prompt. Toto vysvětlení uvažování často vede k přesnějším výsledkům.

Metoda

Existují dva hlavní způsoby, jak vyvolat CoT: few-shot prompting a zero-shot prompting. Zero-shot prompting je nejzákladnější formou promptingu. Uživatel modelu jednoduše ukáže prompt bez příkladů a požádá ho, aby vytvořil odpověď. Příkladem zero-shot promptu je:

Sečti 2+2

Jedná se o zero-shot, protože modelu nebyly neukázány žádné kompletní příklady.

Few-shot prompting je když se modelu ukážou 2 nebo více příkladů. Analogií few-shot promptu výše uvedeného zero-shot promptu je:

Sečti 3+3: 6

Sečti 5+5: 10

Je to tak, protože se modelu ukázaly alespoň 2 úplné příklady (Sečti 3+3: 6 a Sečti 5+5: 10). Obvykle platí, že čím více příkladů modelu ukážete, tím lepší bude výstup, proto se ve většině případů dává přednost few-shot promptingu před 0-shot a 1-shot promptingem (neboli prompt s žádným a jedním příkladem).

Výzvy

Zatímco uvažování CoT může zlepšit výkon úloh zpracování přirozeného jazyka, existují určité nevýhody. Modely LLM jsou často zkreslené směrem ke generování stereotypních odpovědí. Dokonce i při zavedení bezpečných ochranných prvků někdy generují toxické výstupy. Obzvlášť předpojaté jsou výsledky zero-shot promptingu. [[Kategorie:Lingvistika]] [[Kategorie:Zpracování přirozeného jazyka]] [[Kategorie:Strojové učení]] [[Kategorie:Umělá inteligence]]