(Inggris) The Foundations of Large Language Models: Building from Scratch with PyTorch

Large Language Models adalah mesin yang menggerakkan revolusi AI saat ini, namun fungsi internalnya seringkali terlihat seperti kotak hitam. Kursus ini mendemistifikasi teknologi dengan memandu Anda melalui blok bangunan dasar dari model generatif, dengan fokus pada prinsip-prinsip yang membuat mereka berfungsi. Anda akan berubah dari seorang siswa yang penasaran menjadi seseorang yang memahami arsitektur, logika pelatihan, dan rincian implementasi model seperti GPT-2. Dengan membaca penjelasan teknis rinci dan contoh berbasis kode, Anda akan mendapatkan perspektif yang jelas tentang bagaimana data mentah ditransformasikan menjadi generasi teks cerdas. Apa yang akan kau pelajari: - Mengerti konsep dasar dari arsitektur berbasis transformator dan mekanisme perhatian diri - Implementasi komponen model inti menggunakan PyTorch, berfokus pada operasi tensor dan lapisan jaringan saraf - Lakukan membangun arsitektur model gaya GPT dari awal melalui penjelasan kode tertulis - Terapkan teknik pengolahan data modern, termasuk strategi tokenisasi dan embedding - Belajar tentang pola optimalisasi saat ini dan konsep dasar penyesuaian halus untuk AI generatif - Mengeksplorasi transisi dari data teks mentah ke pipa masukan siap model Kursus ini dimulai dengan terminologi dan definisi dasar sebelum beralih ke logika langkah demi langkah dari konstruksi model dan siklus pelatihan. Anda akan mengikuti jalur terstruktur dari konsep matematika dasar ke pemahaman arsitektur model bahasa fungsional. Kursus ini dirancang untuk pemula dengan pemahaman dasar Python yang ingin memahami realitas teknis model AI tanpa mengandalkan abstraksi tingkat tinggi. Tidak diperlukan pengalaman sebelumnya dengan pembelajaran mendalam. Mulai perjalanan Anda ke arsitektur model bahasa modern hari ini.