Menyesuaikan Transformator dan LLM: Dari BERT ke LLaMA

Pemrosesan bahasa alami modern didorong oleh model Transformer, tetapi memahami cara mengatur model-model besar ini untuk data khusus Anda sendiri bisa terasa membingungkan. Kursus berbasis teks ini mendemistifikasi arsitektur dan aplikasi praktis Model Bahasa Besar (LLM) tanpa memerlukan latar belakang dalam pembelajaran mesin tingkat lanjut. Anda akan berpindah dari memahami konsep dasar Transformer ke pengaturan dan optimasi model seperti BERT, Phi-2, dan LLaMA. Melalui penjelasan tertulis yang jelas dan walkthrough kode komprehensif, Anda akan belajar bagaimana mempersiapkan dataset khusus, menjalankan pipa pelatihan, dan kompresi model untuk penerapan dunia nyata. Apa yang akan kau pelajari: - Mengerti arsitektur dasar Transformers, termasuk perhatian diri, encoder, dan decoder. - Konfigurasi dan memuat model pra-dilatih dan dataset menggunakan pustaka Hugging Face. - Menyesuaikan BERT varian untuk tugas klasifikasi teks sesuai pesanan menggunakan struktur kode walkthroughs. - Terapkan teknik parameter-efisien fine-tuning (PEFT) seperti LoRA untuk menyesuaikan model besar dengan komputasi minimal. - Implementasi distilasi pengetahuan untuk mengecilkan model besar menjadi alternatif ringan dan cepat seperti DistilBERT. - Evaluasi kinerja model dan kualitas generasi teks menggunakan standar modern NLP metrik. Kursus ini dimulai dengan terminologi penting, dasar arsitektur, dan dasar-dasar Hugging Face. Anda kemudian akan maju melalui pelajaran teks terstruktur yang memandu Anda melalui aliran kerja penyesuaian praktis, strategi optimalisasi, dan teknik kompresi model. Kursus ini dirancang untuk pengembang NLP bercita-cita, insinyur perangkat lunak, dan penggemar teknologi yang ingin pengenalan yang solid dan ramah pemula untuk penyesuaian LLM. Tidak diperlukan pengalaman pembelajaran mendalam sebelumnya, meskipun keakraban Python dasar berguna. Mulai membaca hari ini untuk membuka potensi model bahasa cetak untuk proyek Anda.