สวัสดีครับ หลายๆท่านที่ไม่ได้อยู่ในวงการ IT อาจจะไม่ทราบว่า มีอาชีพนี้อยู่ด้วยเหรอ แม้บางคนอาจะรู้จัก Data Scientist แต่กลับไม่รู้จักอาชีพที่ชื่อว่า Data Engineer

      ในสาย Big Data นั้นมีหลายอาชีพในสายนี้ที่เกิดขึ้นมาพร้อมๆกัน ไม่ใช้แค่ Data Scientist เท่านั้นยังมีอีกหลายอาชีพที่น่าสนใจมากมาย จะขอพูดถึงเรื่อง Big Data ก่อนนิดหน่อยนะครับ

     Big Data นั้นเป็นชื่อเรียกของข้อมูลขนาดใหญ่มหาศาลที่เก็บรวบรวมมาโดยหลากหลายวิธี แต่ยังสงสัยไหมว่าข้อมูลมหาศาลอันนี้มันเอาไปทำอะไรได้บ้าง Big Data ถ้าไม่มีใครไปยุ่งกับ ข้อมูลตรงนี้บ้างมันอาจจะหมดอายุของข้อมูลไปเองเนื้องจากข้อมูลเก่าเกินไปจนเอามาทำอะไรไม่ได้เพราะฉะนั้นแล้ว Big Data ไม่ได้มีประโยชน์อะไรถ้าไม่มีใครมาจัดการกับข้อมูล ถึงได้เกิดอาชีพสายข้อมูล หรือ Data 

      มาถึงความหมายของ Data Engineer ก่อนว่า คือ อะไรในสาย Data ถ้าแปลแบบตรงๆเลยก็จะแปลว่า วิศวกรข้อมูลซึ่งหน้าที่ก็คล้ายๆกับวิศวกร แต่จะเป็นวิศวกรในโลกของข้อมูล ฟังแล้วดูเท่เลย แล้วมีหน้าที่ในการทำอะไรบ้างละ ก็จะมีการดึงข้อมูลจาก Data, Database หรือ จะเรียกว่า Data Source พอดึงข้อมูลออกมาแล้วก็ต้องทำการทำความสะอาดข้อมูล ว่าดูแปลกหน่อยนะครับ แต่จะอธิบายว่ามันคือ Data ที่เอาขึ้นมานั้นอาจะมีข้อมูลที่ซ้ำซ้อนกันอยู่ อาจจะงงคำว่าข้อมูลซ้ำซ้อนถ้าจะให้เข้าใจง่ายๆก็คือการที่รับข้อมูลที่มีความหมายเดียวกันแต่เขียนคนละแบบ ตัวอย่าง การใช้ พ.ศ. กับ ค.ศ. 2563/2020 นี้คือ การทำความสะอาดข้อมูล แต่ไม่มีแค่ข้อมูลที่ซ้ำซ้อนกันนะครับ และ ถ้าจะพูดถึงวิธีการทำของ Data Engineer จะประกอบไปด้วย 3 อย่าง Extract การดึงข้อมูลออกาจากแหล่งข้อมูล Transform การจัดข้อมูล เช่น การแยกข้อมูล การทำความสะอาดข้อมูล Load การนำข้อมูลที่ผ่านจากการ Transform แล้วมาจัดเก็บ หรือ นำมาประมวลผล การประมวลผล คือการส่งงานให้ Data Scientist ทำ Model ในการวิเคราะห์ต่อไป

     ภาษาที่ต้องใช้ในการเริ่มต้น บ้างคนอาจจะรู้แล้วว่าการที่ทำอะไรที่เกี่ยวข้องกับข้อมูล หรือ Database ภาษาที่ปฏิเสธเลยไม่ได้ คือ SQL เป็นภาษาที่ใช้ในการทำฐานข้อมูล หรือ Database จริงๆภาษานี้ไม่ค่อยยากเท่าไหร่แต่จะมางงเรื่องคำสั่งมากกว่าถ้าคนที่เริ่มต้องอาจจะงงหน่อยๆ แต่ว่าถ้าใครมีพื้นฐานการเขียนเว็บด้วย PHP ก็จะเข้าได้ไม่ยากมาก ภาษาต่อมาก คือ ภาษา Python หน้าจะเป็นภาษาที่นิยมกับผู้ที่เริ่ม Coding เหมือนกันถึงคนที่ไม่ได้จะมาทำสาย Data ก็เอามาเรียนรู้ด้วยตัวเองโดยไม่ยาก ถ้าเข้าใจหลักการคิดของการเขียนโปรแกรม ส่วนอีกภาษาหนึ่ง คือ Spark จริงๆมือใหม่ยังไม่ต้องรีบใช้ก็ได้เพราะว่าเป็นภาษาที่ไม่ค่อยเหมาะสมกับมือใหม่เท่าไหร่ ไว้ให้ความสนใจตอนที่หลังจากทำความเข้าใจใน SQL กับ Python .ให้ได้ก่อน

     อย่าวที่บอกไว้ก่อนหน้านี้ไว้ว่า Data Engineer เป็นอาชีพที่ต้องอาศัยการ Coding ที่หนักมากกว่าสายอื่นใน Data แล้วเป็นเหมือน วิศวกรในสายงานปกติเหมือนกันต้องใช้การคำนวณ ให้การทำงานเหมือนกันไม่ว่าอย่างไงถ้าคิดจะมาสายนี้ต้องเจออยู่ดี กับ คณิตศาสตร์ 

     สรุป เลยนะครับว่า Data Engineer ก็เป็นหนึ่งในอาชีพที่ในอนาคตที่ดีหนึ่งอาชีพ เพราะว่าปัจจุบัน Data เริ่มมีผลในการตัดสินใจมากขึ้นใน ประเทศไทย ส่วนในต่างประเทศจะเริ่มมีการใช้มากมานแล้วที่เอา Data มาประกอบในการติดสินใจ การที่เอา Data มาใช้นั้นเหมือนกันการที่มีหลักฐานที่มากจากข้อมูลที่มหาศาล และทำการวิเคราะห์มาเพื่อที่จะประกอบการตัดสินใจ หรือ ใช้ในการแก้ไข้ปัญหา ได้ดีมาก เพราะแบบนี้การที่นำเอา Data ข้อมูลที่ถ้าเก็บไว้เฉยๆ ก็ไม่ได้เกิดประโยชน์อะไรอย่างที่พูดไว้ขั้นต้น แต่ว่าเมื่อเอามาวิเคราะห์แล้วจะทำให้เกิดประโยชน์

     จริงๆแล้วสาย IT ทุกสายไม่ว่าจะเป็นสายไหน ทั้ง อาชีพสาย Programmer อาชีพสาย Network อาชีพสาย Data และสายอื่นๆที่ไม่ได้พูดถึง สายการทำงานทั้งหมดนี้ ความเก่งก็สำคัญนะครับ แต่สิ่งที่สำคัญกว่าความเก่ง คือ การที่ไม่หยุดพัฒนาตัวเองปรับตัวให้ทัน กับ ยุคที่เปลี่ยนแปลงไปเรื่อง และสิ่งนี้จะทำให้คุณประสบความสำเร็จในสายอาชีพ IT ได้ครับ

โดย พัสดี แก้วอินทร์

Source:
https://m.facebook.com/ThaiProgrammerSociety/videos/969198990264247/?refsrc=http%3A%2F%2Fwww.google.com%2Furl&ref=watch_permalink&_rdr
https://medium.com/@thanyavuth/data-engineer-%E0%B8%84%E0%B8%B7%E0%B8%AD%E0%B9%83%E0%B8%84%E0%B8%A3-%E0%B8%AD%E0%B8%A2%E0%B8%B2%E0%B8%81%E0%B9%80%E0%B8%9B%E0%B9%87%E0%B8%99%E0%B8%95%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B8%A3%E0%B8%B9%E0%B9%89%E0%B8%AD%E0%B8%B0%E0%B9%84%E0%B8%A3-67e302842162