DataTechnology

Apache Airflow คืออะไร แล้วทำไมองค์กรชั้นนำส่วนใหญ่ถึงเลือกใช้

Apache Airflow คือ 1 ใน Workflow Management ที่ได้รับความนิยม และองค์กรชั้นนำระดับโลกหลายๆ องค์กรเลือกใช้ โดยเฉพาะอย่างยิ่งในการสร้าง Data Pipelines เพื่อจัดการกับข้อมูลจำนวนมหาศาล

what-is-apache-airflow

ส่วนหนึ่งเพราะองค์กรต่าง ๆ ในปัจจุบัน ต่างพยายามเปลี่ยนแปลงให้องค์กรขับเคลื่อนด้วยข้อมูลจำนวนมหาศาล (Data-Driven) แต่กว่า 73% ของข้อมูลในองค์กรไม่ได้ถูกวิเคราะห์เลย ซึ่งเหตุผลหลักๆ ก็คือข้อมูลไม่ได้ถูกจัดการให้เป็นระเบียบนั่นเอง นอกจากนั้นองค์กรเป็นจำนวนมากก็ยังเก็บข้อมูลที่ไร้ประโยชน์ ไม่ว่าจะเป็น Web Log, อีเมลเก่า ๆ, หรือข้อมูลลูกค้าที่ Out of date และเก็บมาแล้วไม่ได้ใช้ไว้จำนวนมาก ในขณะที่ข้อมูลเพิ่มขึ้นเรื่อย ๆ หลาย ๆ อย่างก็เริ่มเข้ามาเป็นข้อจำกัด เช่น กฎหมาย PDPA เป็นต้น ทำให้การจัดการข้อมูลเข้ามามีบทบาทสำคัญมากในองค์กรยุคปัจจุบัน

Apache Airflow คืออะไร?

Airflow คือ เครื่องมือหนึ่งในการสร้าง Data Pipeline โดยเป็น Open Source Platform ตัวหนึ่งที่ผู้ใช้สามารถเขียนโปรแกรมที่จะมาควบคุมการไหลของ Workflow และสามารถคอนเฝ้าดูการไหลได้ ซึ่งถูกพัฒนาโดย Airbnb และเริ่มใช้งานมาตั้งแต่ปี 2015 ซึ่งนอกจากสร้าง Data Pipelines ได้แล้วมันยังสามารถนำไปสร้าง หรือพัฒนา ETL (Extract-Transform-Load), Machine Learning และ Predictive ได้อีกด้วย

โดย Airflow เข้ามาช่วยจัดการ Task ต่างๆ อีกทั้งยังรองรับแบบ Hybrid & Multi-Cloud โดยเกิดขึ้นมาจาก Data Pipeline ที่มีจำนวนมากซึ่งทำให้ควบคุมได้ยาก โดย Airflow มีการเขียน Workflow เป็น DAG (Directed Acyclic Graph) กราฟที่มีหัวลูกศรทิศทางเดียว โดยไม่สามารถวนกลับมาที่จุดเดิมได้ ซึ่ง DAG ประกอบไปด้วยหลายๆ Task ที่เชื่อมต่อกันและในแต่ละ Task นั้นก็มีความสามารถที่แตกต่างกัน

airflow-user-interface

และด้วยความที่เป็น Open Source Platform ทำให้มีหลายบริษัททั่วโลกเลือกใช้ในการจัดการ Data Pipelines ของพวกเขาไม่ว่าจะเป็น HBO, Spotify, Lyft, Google หรือแม้แต่ Stripe

หลักการของ Apache Airflow (Airflow Principles)

airflow-principles

  1. Scalable
    สามารถสเกล Airflow ให้สามารถรับมือกับข้อมูลจำนวนมหาศาลได้
  2. Dynamic
    เราสามารถเขียนโค้ดเพื่อ Generate Pipeline หรือ Workflow ขึ้นมาได้
  3. Extensible
    อนุญาติให้เราเขียน Operators ใหม่ๆ ขึ้นมาได้จาก Core Operators เดิมเพื่อให้ตอบโจทย์กับการทำงานในแต่ละองค์กรได้
  4. Elegant
    เราสามารถส่งค่า หรือข้อมูลอะไรบางอย่างเข้าไปใน Pipeline ได้แม้ว่าตัว Data Pipelines ของเรากำลังทำงานอยู่

ทำไมต้องใช้ Apache Airflow

Apache Airflow is highly extensible and its plugin interface can be used to meet a variety of use cases. It supports variety of deployment models and has a very active community to scale innovation.

– Adobe –

  1. User Interface
    โดยตัวระบบมีหน้าตาการใช้งานที่ค่อนข้างทันสมัย และมีความเป็น User Friendly สูงทำให้เข้าใจส่วนต่างๆ ได้ง่าย
  2. Python
    เราสามารถเขียนด้วยภาษาด้วยภาษา Python เพื่อกำหนดงานต่างๆ ใน Data Pipelines ได้ ทำให้ง่ายต่อการเริ่มต้นเรียนรู้ และใช้งาน
  3. General purpose
    เราสามารถใช้สร้าง Data Pipelines แบบไหนก็ได้ หรือเอาไปใช้เพื่อทำ Automate อื่นๆ ได้โดยไม่ต้องทำเพียงแค่ Data Pipeline อย่างเดียว
  4. Easy to add new functionality
    ง่ายต่อการเพิ่มฟังก์ชั่นใหม่ๆ เนื่องจากถูกพัฒนามาเพื่อให้ผู้ใช้สามารถพัฒนาต่อยอดได้ง่ายจากความสามารถเดิม
  5. Easy to monitor
    สามารถติดตามผลการทำงานของ Workflow ใน State ต่างๆ ได้ง่ายผ่านหน้าตาของ UI ที่มีได้เลย
  6. Scale
    ระบบถูกออกแบบมาให้ขยายขอบเขตการทำงานได้ง่ายเพื่อการ Scale ในอนาคต

และอีกสิ่งหนึ่งที่ทำให้ Airflow ได้เปรียบกว่า Workflow Management อื่นๆ นั่นก็คือการที่มี Community ของผู้ใช้งานที่ใหญ่เป็นอย่างมาก โดยใน Github มีการมีส่วนร่วมเป็นอย่างมาก และต่อเนื่อง ซึ่งการมี Community ขนาดใหญ่แบบนี้จะช่วยให้เวลาที่ผู้ใช้ติดปัญหาการใช้งาน จะมีผู้ช่วยสนับสนุนมากกว่าเจ้าอื่นๆ นั่นเอง

ใครบ้างที่ใช้ Apache Airflow

Airbnb

Airbnb ได้มีการพัฒนา Experimentation Platform เพื่อทำการทดสอบฟีเจอร์ต่างๆ รวมไปถึงสำรวจดูความรู้สึก และประสบการณ์ในการใช้งานของผู้ใช้ เพื่อพัฒนาทั้งหน้าตาของเว็บไซต์ รวมไปถึงแอปพลิเคชัน และการพัฒนาระบบอัลกอริทึ่มต่างๆ เพื่อให้ผู้ใช้สามารถพบกับที่พักที่ต้องการมากที่สุด ผ่านการทำ A/B Testing ต่างๆ

โดยมี Airflow เป็นตัวที่รันอยู่เบื้องหลัง เช่นเวลาการทำ A/B Testing นั้นจะมีการเก็บ Metric ก็จะมีการใช้ Airflow เพื่อช่วยในการปั่นข้อมูลออกมาเป็นรายงานต่างๆ ให้ผู้ใช้งานนำไปวิเคราะห์ต่อ และด้วยความสามารถ Scalable ของ Airflow ทำให้การทดลองต่างๆ จากจำนวนหลักสิบ เพิ่มขึ้นมาเป็นหลายพันได้ในเวลาไม่นาน พร้อมกับสามารถรับมือกับ Metric ต่างๆ ที่ใช้ในการทดลองได้กว่า 50,000 ค่ารวมกัน

Adobe

Adobe Experience Platform เป็นรากฐานของผลิตภัณฑ์ Experience Cloud ซึ่งเป็นระบบเปิดที่แปลงข้อมูลทั้งหมดของคุณ (ทั้งที่อยู่ใน Adobe และไม่ได้อยู่ใน Adobe) ไปเป็นโปรไฟล์ลูกค้าที่แข็งแกร่งที่อัปเดตแบบเรียลไทม์ และใช้ข้อมูลเชิงลึกที่ขับเคลื่อนด้วย AI เพื่อช่วยคุณส่งมอบประสบการณ์ที่ใช่ไปยังทุกช่องทาง

แผนผังภาพรวม AEP

Image form Adobe

แน่นอนว่า Airflow มีส่วนในการช่วยรวมรวมข้อมูลจากแหล่งต่างๆ โดยข้อมูลจะถูกนำเข้าตามแพลตฟอร์ม ปรับให้เป็นมาตรฐานสำหรับระบบอัจฉริยะและการสร้างโปรไฟล์ จากนั้นเปิดใช้งานเข้าไปในระบบใดๆ รวมถึง Experience Cloud ในแบบเรียลไทม์ ทำให้ทีมข้อมูลสามารถใช้ภาษา SQL ง่ายๆ ในการดึงข้อมูลออกมาวิเคราะห์ข้อมูลเชิงลึก หรือสร้าง Dataset ที่จำเป็นในการสร้างโมเดล Machine Learning เพื่อวิเคราะห์ข้อมูล CRM ในอนาคต

Google

ทำไมจะต้องสร้าง Workflow Management อันใหม่ ในเมื่ออันเดิมมีดีอยู่แล้ว กลยุทธ์เดียวกันนี้ถูกใช้มาก่อนกับโครงการต่างๆ ของ Google ไม่ว่าจะเป็น Apache Beam และ Dataflow หรือ Kuberbnetes และ GKE ตัว Airflow ก็เช่นกัน โดย Google เลือกที่จะเอามาใช้ใน Google Clound Composer โดยเพิ่มข้อดีบางอย่างเข้ามาเพิ่มไม่ว่าจะเป็น

  1. ความเรียบง่าย เพียงคลิกเดียวก็สามารถสร้าง Airflow Environment ขึ้นมาได้ และยังสามารถใช้ร่วมกับ Google Clound Service อื่นๆ
  2. ความปลอดภัย ด้วยระบบ Identity access management (IAM) ในการตั้งค่าสิทธิ์ นโยบาย และการเก็บข้อมูลประจำตัว
  3. ความสามารถในการปรับขนาด ปรับขนาดได้อย่างง่ายดายบนโครงสร้างพื้นฐานของ Google Cloud
  4. การตรวจสอบ ระบบมีการบันทึกที่สามารถตรวจสอบได้ผสานรวมกับ Stackdriver

และด้วยความสามารถทั้งหมดของ Airflow จึงทำให้การจัดการข้อมูลจำนวนมหาศาล (Big Data) นั้นง่ายขึ้นมากกว่าที่เคย ทำให้การทำงานของ Data Analyst และ Data Scientist ในการดึงข้อมูลไปใช้วิเคราะห์นั้นสะดวก และรวดเร็วมากยิ่งขึ้น เพราะช่วยลดขั้นตอนในการรวมข้อมูล และทำความสะอาดข้อมูลเข้าด้วยกัน ผ่านการใช้ Automation ของ Airflow แทน

ถ้าคุณคือคนที่สนใจในการสร้าง Data Pipelines พบกับคอร์สออนไลน์แรกของประเทศไทยที่สอนให้คุณสร้าง End-to-end Data Pipelines ด้วย Apache Airflow ได้แล้ววันนี้ แบบ Step by Step พร้อมรวมทุกเรื่องสำคัญ และทักษะที่จำเป็นเพื่อนำความรู้ไปต่อยอดกับงานของคุณได้เอง สอนโดย ดร.กานต์ อุ่ยวิรัช Data Craftsman และ Technical Consultant ที่ ODDS

data-pipelines-with-airflow

(ดูรายละเอียดคอร์สออนไลน์ หรือสมัครเรียนได้ที่นี่)

    You may also like

    Web Scraping คืออะไร?
    Data

    Web Scraping คืออะไร? ไม่เก่งเขียน Code สามารถทำได้ไหม?

    ในปัจจุบันที่โลกก้าวสู่ยุค Digital และมีความเติบโตของจำนวนผู้ใช้อินเตอร์เน็ตจำนวนมาก ไม่ว่าจะเป็น การค้นหาข้อมูลข่าวสาร, ซื้อขายสินค้า หรือเป็นแหล่งชุมชน Community และอื่นๆ อีกมากมายอยู่บนเว็บไซต์ กลายเป็นแหล่งข้อมูล (Data Source) ชั้นดี สำหรับธุรกิจต่างๆ ...
    แนะนำเครื่องมือดึงข้อมูลฟรี Webscraper.io
    Data

    แนะนำเครื่องมือดึงข้อมูลจากเว็บไซต์ฟรี !! WebScraper.io

    ปัจจุบัน ‘เว็บไซต์’ ถือว่าเป็นแหล่งข้อมูลชั้นดี (Data source) และมีบทบาทความสำคัญในการขับเคลื่อนธุรกิจทุกระดับไม่ว่าจะเป็นธุรกิจขนาดเล็กหรือขนาดใหญ่ แต่การดึงข้อมูลบนเว็บไซต์ (Web Scraping) อาจจะฟังดูเป็นเรื่องไกลตัวสำหรับผู้ที่ไม่ใช่โปรแกรมเมอร์ที่สามารถเขียนโค้ดโปรแกรมดึงข้อมูลออกมาใช้งานได้ 😎 จะดีกว่ามั้ย!? ถ้าคุณสามารถใช้เครื่องมือดึงข้อมูลที่สนใจบนเว็บไซต์ได้ด้วยตัวเอง ถึงแม้ว่าคุณอาจจะเขียนโปรแกรมไม่เก่งก็สามารถทำได้ ฟรี ...

    More in:Data

    Performance Marketing คืออะไร Business

    Performance Marketing คืออะไร? รู้จักวิธีการทำการตลาดแบบวัดผลได้

    ถ้าให้คุณจ่ายเงินเกินสิ่งที่ได้รับ หรือจ่ายไปโดยไม่รู้ด้วยซ้ำว่าได้ผลหรือเปล่า คุณจะยอมไหม? แน่นอนว่าคุณคงไม่แฮปปี้ แต่นี่แหละคือ ‘วิธีทำการตลาด’ ที่หลาย ๆ บริษัทกำลังทำอยู่ แล้วจะดีแค่ไหน หากเราสามารถเลือกใช้เงินเฉพาะกับผลลัพธ์ที่เราได้รับเท่านั้น ซึ่งทั้งหมดนี้คืองาน Performance Marketing การทำธุรกิจเปลี่ยนไปอย่างรวดเร็วตั้งแต่อินเตอร์เน็ตเข้ามามีบทบาทกับพฤติกรรมของมนุษย์ ...
    data-driven-with-moneyball-theory Data

    MoneyBall Theory ถอดบทเรียนชัยชนะแห่งศตวรรษด้วย Data

    สำหรับใครหลายๆ คนมักจะคิดว่าการใช้ Data นั้นจะถูกจำกัดไว้อยู่เพียงแค่กับการทำธุรกิจ หรือการทำวิจัยเท่านั้น แต่ความเป็นจริงแล้วข้อมูลสามารถใช้ในการวิเคราะห์ได้หลากหลายสิ่งมากๆ และอยู่ได้ในแทบทุกวงการ แม้กระทั่งกับวงการกีฬาเองที่การวิเคราะห์ข้อมูล และใช้ Data ก็สามารถทำให้ทีมได้ชัยชนะได้ไม่ยาก ย้อนกลับไปในช่วงก่อนปี 2002 วงการเบสบอลในสหรัฐอเมริกาจะมีแมวมองไปดูตามโรงเรียนมัธยมต่าง ๆ ...
    Data

    สร้าง Profile สาย Data ยังไงดี เมื่อบริษัทไม่ได้มองหาแค่คนมีสกิล?

    อยากทำงานสายงาน Data Analyst แต่ไม่มีประสบการณ์ จะเก็บโปรไฟล์ยังไงดี? หลายคนที่กำลังเรียน หรือกำลังสนใจจะเรียน Data Analytics อาจมีความกังวล เพราะแม้เราจะมีสกิลครบตามตำแหน่งงาน (SQL, Spreadsheets, Business Intelligence ...

    Comments are closed.