การตรวจจับการฉ้อโกงแบบเรียลไทม์ด้วย Spark, Kafka และ Cassandra

สถาบันการเงินสูญเสียเงินหลายพันล้านดอลลาร์ต่อปีจากการทำธุรกรรมที่เป็นการฉ้อโกง ทำให้การตรวจจับแบบเรียลไทม์เป็นความสามารถที่สำคัญสำหรับวิศวกรข้อมูลยุคใหม่ การสร้างระบบเหล่านี้ต้องอาศัยการผสมผสานที่ลงตัวของการนำเข้าข้อมูลแบบสตรีมมิ่ง, machine learning และการจัดเก็บฐานข้อมูลที่แข็งแกร่ง ในหลักสูตรนี้ คุณจะได้เรียนรู้วิธีการออกแบบและนำไปใช้ไปป์ไลน์การตรวจจับการฉ้อโกงบัตรเครดิตแบบเรียลไทม์ที่ทำงานได้อย่างสมบูรณ์ คุณจะเปลี่ยนจากการทำความเข้าใจแนวคิดหลักของการสตรีมมิ่ง ไปสู่การกำหนดค่าและเชื่อมต่อระบบแบบกระจายเพื่อจัดการข้อมูลที่มีความเร็วสูง สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจสถาปัตยกรรมพื้นฐานของระบบตรวจจับการฉ้อโกงแบบเรียลไทม์และการไหลของข้อมูลแบบสตรีมมิ่ง - นำเข้าและประมวลผลสตรีมธุรกรรมที่มีปริมาณงานสูงโดยใช้ Spark Structured Streaming และ Kafka - สร้างและฝึกฝนโมเดล machine learning สำหรับการจัดประเภทโดยใช้ Spark ML pipelines และอัลกอริทึม Random Forest - จัดเก็บและสอบถามข้อมูลธุรกรรมที่ประมวลผลแล้วอย่างมีประสิทธิภาพโดยใช้การผสานรวมฐานข้อมูล Cassandra - จัดการและทำให้เวิร์กโฟลว์ข้อมูลของคุณเป็นอัตโนมัติโดยใช้ Airflow เพื่อให้แน่ใจว่าการดำเนินการตามกำหนดเวลาเชื่อถือได้ - ประยุกต์ใช้เทคนิคการจัดการ offset ที่ทันสมัยเพื่อให้ได้ความหมายของการประมวลผลแบบ exactly-once การเดินทางเริ่มต้นด้วยแนวคิดพื้นฐานของสถาปัตยกรรมสตรีมมิ่ง, Kafka topics และสภาพแวดล้อม Spark จากนั้นคุณจะก้าวหน้าผ่านคำอธิบายที่เป็นลายลักษณ์อักษรทีละขั้นตอนเพื่อนำไปใช้การประมวลผลข้อมูลล่วงหน้า, การฝึกอบรมโมเดล, การจัดเก็บฐานข้อมูล และการจัดการเวิร์กโฟลว์ หลักสูตรนี้ออกแบบมาสำหรับวิศวกรข้อมูล, นักพัฒนาซอฟต์แวร์ และผู้เชี่ยวชาญด้านฐานข้อมูลที่ต้องการเรียนรู้การประมวลผลข้อมูลแบบเรียลไทม์ ไม่จำเป็นต้องมีประสบการณ์กับ Spark หรือ Kafka มาก่อน เนื่องจากเราจะเริ่มต้นจากพื้นฐานที่สุด เริ่มต้นอ่านวันนี้เพื่อสร้างไปป์ไลน์สตรีมมิ่งที่พร้อมใช้งานจริงเป็นครั้งแรกของคุณ