12 Teknik Rekayasa Cepat

12 Teknik Rekayasa Cepat

Rekayasa Prompt dapat digambarkan sebagai suatu bentuk seni, menciptakan permintaan masukan untuk Model Bahasa Besar (LLM) yang akan menghasilkan keluaran yang diinginkan. Berikut adalah dua belas teknik berbeda dalam menyusun satu atau serangkaian prompt.

Paling Sedikit Hingga Paling Banyak Dorongan

Proses inferensi adalah mencapai kesimpulan berdasarkan bukti dan penalaran. Penalaran dapat dikembangkan melalui LLM dengan memberikan beberapa contoh kepada LLM tentang cara bernalar dan menggunakan bukti.

Oleh karena itu, dikembangkanlah sebuah strategi dorongan baru, yang disebut dorongan paling sedikit ke paling banyak. Metode ini didukung oleh strategi berikut:

1. Menguraikan masalah yang rumit menjadi serangkaian sub-masalah yang lebih sederhana.
2. Dan selanjutnya menyelesaikan masing-masing sub-pertanyaan ini.

Pemecahan tiap submasalah dipermudah dengan jawaban-jawaban pada submasalah yang telah dipecahkan sebelumnya.

Oleh karena itu, dorongan paling sedikit ke paling banyak adalah teknik menggunakan serangkaian dorongan progresif untuk mencapai kesimpulan akhir.

Baca selengkapnyaDi Sini.

Dorongan Tanya Diri Sendiri

Mengingatgambardi bawah ini, terlihat jelas bahwa Self-Ask Prompting merupakan perkembangan dariLangsungDanRantai Pikirandorongan.

Hal yang menarik tentang dorongan bertanya pada diri sendiri adalah bahwa alasan LLM ditunjukkan secara eksplisit dan LLM juga menguraikan pertanyaan menjadi pertanyaan lanjutan yang lebih kecil.

LLM mengetahui kapan jawaban akhir dicapai dan dapat beralih dari jawaban lanjutan antara ke jawaban akhir.

Sumber

Baca selengkapnyaDi Sini.

Meta-Prompting

Prinsip utama yang mendasari Meta-Prompting adalah membuat agen merefleksikan kinerjanya sendiri dan mengubah instruksinya sendiri sebagaimana mestinya.

Sementara secara bersamaan menggunakan satu meta-prompt menyeluruh.

Lebih lanjut tentang meta-promptingDi Sini.

Dorongan Berantai Pikiran

Secara intuitif, kita sebagai manusia memecah tugas atau masalah yang lebih besar menjadi sub-tugas, lalu menghubungkan sub-tugas ini. Menggunakan keluaran dari satu sub-tugas sebagai masukan untuk sub-tugas berikutnya.

Dengan menggunakan cpikiran kosongdorongan dalam OpenAI Playground, sebuah metode yang menyediakan contoh spesifik rangkaian pemikiran sebagai panduan, memungkinkan untuk menunjukkan bagaimana model bahasa besar dapat mengembangkan kemampuan penalaran yang canggih.

Risettelah menunjukkan bahwa model bahasa yang cukup besar dapat memungkinkan munculnya kemampuan penalaran ketika diminta dengan cara ini.

Bereaksi

Pada manusia, sinergi yang erat antara penalaran dan tindakan memungkinkan manusia mempelajari tugas-tugas baru dengan cepat dan melakukan penalaran serta pengambilan keputusan yang andal. Kita dapat melakukan ini bahkan ketika menghadapi keadaan, informasi, atau ketidakpastian yang tak terduga.

LLM telah menunjukkan hasil yang mengesankan dalampenalaran berantai(CoT) dan dorongan, dan tindakan (pembuatan rencana aksi).

Ide ReAct adalah menggabungkan penalaran dan pengambilan tindakan.

Penalaran memungkinkan model untuk mendorong, melacak, dan memperbarui rencana tindakan, sementara tindakan memungkinkan pengumpulan informasi tambahan dari sumber eksternal.

Menggabungkan ide-ide ini dinamakanBereaksi, dan diterapkan pada serangkaian tugas bahasa dan pengambilan keputusan yang beragam guna menunjukkan efektivitasnya pada basis data terkini selain peningkatan kemampuan interpretasi manusia dan kepercayaan.

Lebih lanjut tentangBereaksi.

Penalaran Simbolik & PAL

LLM seharusnya tidak hanya mampu melakukan penalaran matematika, tetapi juga penalaran simbolik yang melibatkan penalaran yang berkaitan dengan warna dan jenis objek.

Pertimbangkan pertanyaan berikut:

LLM harus mengubah masukan menjadi kamus dengan entitas dan nilai sesuai jumlahnya, sambil menyaring entitas non-sayuran.

Terakhir, jawabannya adalah jumlah nilai kamus, di bawah keluaran PAL dari LLM:

Bahasa Inggris

Bahasa Inggris

Lebih lanjut tentangpenalaran simbolis.

Dorongan Iteratif

Akhir-akhir ini, fokus telah bergeser dari penyempurnaan LLM ke rekayasa prompt yang disempurnakan. Memastikan prompt bersifat kontekstual, berisi contoh pelatihan singkat, dan riwayat percakapan.

Pastikan perintah tersebut memuat informasi kontekstual melalui proses berulang.

Dorongan berulang harus membangun rantai pemikiran kontekstual, yang meniadakan pembentukan fakta yang tidak relevan dan halusinasi. Dorongan kontekstual dan interaktif yang peka terhadap konteks.

Sumber

Melihat gambar di atas, pada C1 dan C2pengetahuanpenting untuk menjawab pertanyaan secara akurat. Pendekatan iteratif mendorong mengandung elemen-elemen kuat dari dorongan berantai dan alur kerja.

Dorongan Berurutan

Pemintalan berurutan mempertimbangkan kemungkinan membangun pemberi rekomendasi yang mumpuni dengan LLM. Biasanya, sistem pemberi rekomendasi dikembangkan dalam arsitektur pipeline, yang terdiri dari prosedur pembuatan kandidat multi-tahap ( mengambil item yang lebih relevan ) dan pemeringkatan ( memberi peringkat item yang relevan pada posisi yang lebih tinggi ).

Sequential Prompting berfokus pada tahap pemeringkatan sistem rekomendasi, karena LLM lebih mahal untuk dijalankan pada kumpulan kandidat berskala besar.

Kinerja pemeringkatan sensitif terhadap item kandidat peringkat teratas yang diambil, yang lebih cocok untuk memeriksa perbedaan halus dalam kemampuan rekomendasi LLM.

Sumber

Konsistensi Diri

Dengan penalaran Rantai Pikiran, sebuah alur pemikiran dihasilkan yang kemudian diikuti. Dan sebaliknya,konsistensi dirimemanfaatkan intuisi bahwa masalah penalaran yang kompleks biasanya mengakui banyak cara berpikir yang berbeda yang mengarah pada jawaban unik yang benar.

Sumber

Metode konsistensi diri dibentuk oleh tiga langkah:

1. meminta LLM untuk membuatpenalaran rantai pemikiran (CoT)bagian.
2. Hasilkan serangkaian alur penalaran yang beragam.
3. Pilih keluaran yang paling konsisten untuk jawaban akhir.

Pendekatan yang diikuti oleh metode konsistensi diri dapat menimbulkan peningkatan overhead; terutama jika setiap langkah dalam CoT melibatkan pemanggilan alat dan API eksternal. Overhead ini akan terwujud dalam bentuk biaya dan waktu tambahan untuk menyelesaikan perjalanan bolak-balik.

Penalaran Otomatis & Penggunaan Alat (ART)

Telah diilustrasikan bahwaRantai PikiranDorongan memunculkan penalaran yang kompleks dan berurutan dari LLM. Telah terbukti juga bahwa untuk setiap langkahalat eksternaldapat digunakan untuk meningkatkan output yang dihasilkan node tertentu.

Premis pengembangan metodologi ini adalah memanfaatkan model bahasa besar (LLM) yang telah dibekukan , sehingga memperkaya model yang telah dilatih sebelumnya dan diberi stempel waktu.

Penalaran Otomatis dan Penggunaan Alat (SENI) adalah kerangka kerja yang juga memanfaatkan model beku untuk menghasilkan langkah-langkah penalaran menengah sebagai suatu program.

Pendekatan ART sangat mengingatkan pada prinsipAgen, yaitu menguraikan suatu masalah, dan memanfaatkan alat untuk setiap langkah penguraiannya.

Dengan ART, LLM yang dibekukan menguraikan contoh tugas baru menjadi beberapa langkah menggunakan alat eksternal bilamana diperlukan.

ART adalah pendekatan bebas penyempurnaan untuk mengotomatiskan penalaran multi-langkah serta pemilihan dan penggunaan alat secara otomatis.

Pengetahuan yang Dihasilkan

Prinsip daripengetahuan yang dihasilkanadalah bahwa pengetahuan dapat diintegrasikan pada waktu inferensi. Menunjukkan bahwa pengetahuan referensi dapat digunakan sebagai pengganti penyempurnaan model.

Pengujian dilakukan pada beberapa set data, penalaran akal sehat, dll.

Prinsip pengetahuan yang dihasilkan didukung oleh perkembangan sepertiLAP,jaringan pipa, dan banyak lagi.