Fine-Tuning Transformers dan LLM: Dari BERT ke LLaMA

Pemprosesan bahasa semula jadi moden didorong oleh model Transformer, tetapi memahami cara menyesuaikan model besar ini kepada data tersuai anda sendiri boleh kelihatan amat membebankan. Kursus berasaskan teks ini merungkai seni bina dan aplikasi praktikal Large Language Models (LLM) tanpa memerlukan latar belakang dalam pembelajaran mesin lanjutan. Anda akan beralih daripada memahami konsep asas Transformer kepada penalaan halus dan pengoptimuman model seperti BERT, Phi-2, dan LLaMA dengan yakin. Melalui penerangan bertulis yang jelas dan panduan kod yang menyeluruh, anda akan belajar cara menyediakan set data tersuai, menjalankan talian paip latihan, and memampatkan model untuk pelancaran dunia sebenar. Apa yang anda akan pelajari: - Memahami seni bina asas Transformers, termasuk perhatian kendiri (self-attention), pengekod, and penyahkod. - Mengkonfigurasi dan memuatkan model serta set data praterlatih menggunakan pustaka Hugging Face. - Melakukan penalaan halus pada varian BERT untuk tugasan pengelasan teks tersuai menggunakan panduan kod berstruktur. - Mengaplikasikan teknik penalaan halus cekap parameter (PEFT) seperti LoRA untuk menyesuaikan model besar dengan kuasa pengkomputeran yang minimum. - Melaksanakan penyulingan pengetahuan (knowledge distillation) untuk memampatkan model yang lebih besar kepada alternatif yang ringan dan pantas seperti DistilBERT. - Menilai prestasi model dan kualiti penjanaan teks menggunakan metrik NLP moden yang standard. Kursus ini bermula dengan istilah penting, asas seni bina, dan asas Hugging Face. Anda kemudiannya akan maju melalui pelajaran teks berstruktur yang membimbing anda melalui alur kerja penalaan halus praktikal, strategi pengoptimuman, dan teknik pemampatan model. Kursus ini direka untuk pembangun NLP yang bercita-cita tinggi, jurutera perisian, and peminat teknologi yang mahukan pengenalan yang kukuh dan mesra pemula kepada penyesuaian LLM. Tiada pengalaman deep learning terdahulu diperlukan, walaupun kefasihan asas Python adalah amat membantu. Mula membaca hari ini untuk membuka potensi model bahasa tersuai untuk projek anda.