Mengerti LLM dan Arsitektur Transformasi dengan PyTorch

AI modern didominasi oleh Large Language Models, namun arsitektur yang mendasarinya bisa terlihat rumit. Mulailah perjalanan Anda dengan menguasai konsep dasar yang memungkinkan sistem generatif yang kuat ini. Pada akhir kursus ini, Anda akan memiliki pemahaman teoretis yang kuat dari arsitektur Transformer dan keterampilan praktis untuk mengimplementasikan komponen inti menggunakan PyTorch. Anda akan dapat membaca dan memodifikasi kode dasar LLM, menetapkan panggung untuk pekerjaan tingkat lanjut dalam NLP dan AI generatif. Apa yang akan kau pelajari: * Belajar sejarah dan konsep dasar dari urutan-ke-urutan modeling dan mekanisme perhatian. * Mengerti struktur lengkap dari arsitektur Transformer, termasuk encoder, decoder dan encoding posisi. * Implementasi komponen kunci dari model Transformer dari awal menggunakan perpustakaan PyTorch. * Praktik tokenisasi, persiapan data, dan konfigurasi loop pelatihan untuk tugas modeling bahasa. * Terapkan teknik rekayasa prompt dasar untuk berinteraksi secara efektif dengan model generatif. * Mengeksplorasi konsep dasar Retrieval-Augmented Generation (RAG) untuk meningkatkan model pencarian pengetahuan. Kursus ini dimulai dengan terminologi dan dasar matematika yang penting sebelum beralih ke deskripsi rinci dan implementasi komponen Transformer. Kami berkembang melalui latihan pemrograman berbasis teks yang berfokus pada membangun prototipe model bahasa kerja. Kursus ini dirancang untuk pemula mutlak dalam AI dan machine learning yang ingin memahami teknologi inti di balik Large Language Models. Tidak ada pengalaman sebelumnya dengan PyTorch atau NLP canggih yang diperlukan. Mulai membangun keahlian dasar Anda dalam AI generatif hari ini.