Pemprosesan Bahasa Semula Jadi dengan Attention dan Transformers

Pemprosesan bahasa semula jadi moden sangat bergantung pada mekanisme perhatian untuk memahami konteks bahasa manusia. Jika anda ingin melangkaui pemprosesan teks asas dan membina sistem yang benar-benar memahami hubungan urutan-ke-urutan, menguasai Transformers adalah langkah seterusnya yang penting. Dalam kursus ini, anda akan beralih daripada model urutan asas kepada seni bina berasaskan perhatian lanjutan. Dengan membaca penjelasan yang jelas dan berlatih dengan potongan kod langkah demi langkah, anda akan belajar cara mereka bentuk, mengkonfigurasi dan menggunakan model berkuasa seperti BERT dan T5 untuk menyelesaikan tugasan bahasa dunia sebenar yang kompleks. Apa yang anda akan pelajari: - Fahami matematik asas dan mekanik di sebalik mekanisme perhatian dan seni bina pengekod-penyahkod. - Bina model berasaskan Transformer untuk melaksanakan tugasan ringkasan teks. - Guna model pra-latih seperti BERT dan T5 untuk menangani senario jawapan soalan yang kompleks. - Konfigurasi model urutan-ke-urutan untuk menterjemah teks antara bahasa yang berbeza. - Terokai corak penjanaan yang dipertingkatkan dengan pengambilan (RAG) moden dan cara perhatian berskala kepada model bahasa besar. Anda akan bermula dengan definisi asas perhatian sebelum meneroka perhatian kendiri, perhatian berbilang kepala, dan seni bina Transformer. Dari situ, bahan akan membimbing anda melalui pelaksanaan praktikal terjemahan bahasa, ringkasan teks, dan pembelajaran pemindahan dengan model terkini. Kursus ini direka untuk calon saintis data, peminat AI dan pembangun perisian yang baru dalam model perhatian dan mahukan pengenalan yang jelas dan berpandu kepada NLP moden tanpa prasyarat yang kompleks. Mula membaca hari ini untuk membuka potensi model bahasa berasaskan Transformer.