BigQuery คืออะไร ใช้วิเคราะห์ข้อมูลแบบไหน

BigQuery คือแพลตฟอร์มวิเคราะห์ข้อมูลบน Google Cloud ที่ช่วยจัดเก็บและประมวลผลข้อมูลปริมาณมาก โดยไม่ต้องติดตั้งหรือดูแลเซิร์ฟเวอร์ฐานข้อมูลเอง ผู้ใช้สามารถใช้ SQL วิเคราะห์ข้อมูล สร้างรายงาน และเชื่อมต่อกับเครื่องมือด้านข้อมูลอื่น ๆ ได้

BigQuery เหมาะกับงานวิเคราะห์ข้อมูล เช่น ยอดขาย พฤติกรรมผู้ใช้ บันทึกการใช้งานระบบ และข้อมูลจากหลายแหล่งที่ต้องนำมารวมกัน บทความนี้จะอธิบายว่าเหมาะกับงานแบบใดและเริ่มต้นใช้งานอย่างไร โดย ComSiam แนะนำให้วางแผนต้นทุนของการประมวลผลและพื้นที่จัดเก็บตั้งแต่เริ่มออกแบบงาน

① BigQuery คืออะไร

BigQuery เป็นคลังข้อมูลและแพลตฟอร์มวิเคราะห์ข้อมูลแบบจัดการให้บน Google Cloud ใช้จัดเก็บชุดข้อมูลและเรียกดูด้วย SQL โครงสร้างแบบ Serverless ช่วยให้ผู้ใช้ไม่ต้องตั้งค่าเครื่องเซิร์ฟเวอร์สำหรับรันคำสั่งวิเคราะห์เอง

ข้อมูลที่วิเคราะห์อาจอยู่ใน BigQuery หรือเชื่อมจากแหล่งข้อมูลที่รองรับได้ การเลือกวิธีนำเข้าหรือเชื่อมข้อมูลขึ้นอยู่กับขนาดข้อมูล ความถี่ในการอัปเดต และระบบต้นทาง

▫ BigQuery เหมาะกับงานแบบใด

  • วิเคราะห์ยอดขายและผลการดำเนินงานของธุรกิจ
  • รวมข้อมูลจากเว็บไซต์ แอป หรือระบบภายใน
  • วิเคราะห์บันทึกการใช้งานและเหตุการณ์ต่าง ๆ
  • สร้างชุดข้อมูลสำหรับรายงานและแดชบอร์ด
  • ทำงานวิเคราะห์เชิงคาดการณ์หรือ Machine Learning บางประเภท

BigQuery เน้นการวิเคราะห์ข้อมูลจำนวนมาก ไม่ได้มีจุดประสงค์หลักเหมือนฐานข้อมูลธุรกรรมที่แอปใช้บันทึกข้อมูลทีละรายการตลอดเวลา หากระบบต้องรับคำสั่งอ่านเขียนข้อมูลของแอปโดยตรง ควรเลือกบริการฐานข้อมูลที่เหมาะกับรูปแบบงานนั้น

② BigQuery จัดเก็บข้อมูลอย่างไร

ข้อมูลใน BigQuery จัดเป็น Dataset และ Table ภายในโปรเจกต์ Dataset ใช้จัดกลุ่มตารางและกำหนดตำแหน่งข้อมูล ส่วน Table เก็บข้อมูลที่นำไปค้นหาและวิเคราะห์ด้วยคำสั่ง SQL

▫ องค์ประกอบพื้นฐาน

  • Project: ขอบเขตของทรัพยากรและการเรียกเก็บเงิน
  • Dataset: กลุ่มสำหรับจัดเก็บตารางใน Location ที่กำหนด
  • Table: ตารางข้อมูลที่มีแถวและคอลัมน์
  • Query: คำสั่ง SQL สำหรับค้นหาและประมวลผลข้อมูล

ก่อนสร้าง Dataset ควรเลือก Location ให้สอดคล้องกับแหล่งข้อมูลและข้อกำหนดขององค์กร เพราะการตั้งค่าตำแหน่งมีผลต่อการทำงานร่วมกับข้อมูลและบริการอื่น

③ วิธีเริ่มวิเคราะห์ข้อมูลบน BigQuery

  1. เปิด Google Cloud Console และเลือกโปรเจกต์ที่ต้องการ
  2. เปิด BigQuery ใน Console และตรวจสอบว่าเปิดบริการและ Billing ตามที่งานต้องใช้แล้ว
  3. สร้าง Dataset พร้อมเลือก Location
  4. นำเข้าข้อมูลจากไฟล์หรือแหล่งข้อมูลที่รองรับ
  5. ตรวจสอบชื่อคอลัมน์ ชนิดข้อมูล และจำนวนแถว
  6. เปิดตารางแล้วใช้ Query editor เขียนคำสั่ง SQL
  7. ตรวจสอบผลลัพธ์และบันทึก Query หรือส่งผลไปใช้กับรายงาน

ก่อนนำข้อมูลจริงเข้าระบบ ควรตรวจสอบสิทธิ์การเข้าถึงและข้อมูลที่มีความอ่อนไหว กำหนดผู้ใช้ให้เห็นเฉพาะ Dataset หรือตารางที่จำเป็น และหลีกเลี่ยงการใส่ข้อมูลส่วนบุคคลเกินกว่าที่ต้องใช้ในการวิเคราะห์

④ ตัวอย่างแนวคิดการวิเคราะห์ด้วย SQL

สมมติว่ามีตารางรายการสั่งซื้อซึ่งมีคอลัมน์วันที่สั่งซื้อและยอดรวม สามารถเขียน Query เพื่อรวมยอดขายตามช่วงเวลาได้ โดยต้องปรับชื่อ Dataset, Table และคอลัมน์ให้ตรงกับข้อมูลจริง

SELECT
  DATE(order_date) AS order_day,
  SUM(total_amount) AS total_sales
FROM
  `project_id.dataset_id.orders`
GROUP BY
  order_day
ORDER BY
  order_day;

ผลลัพธ์ช่วยให้เห็นยอดรวมรายวัน และสามารถนำไปต่อยอดทำรายงานหรือแดชบอร์ดได้ ควรตรวจสอบชนิดข้อมูลและรูปแบบวันที่ก่อนรัน Query เพื่อให้ผลลัพธ์ถูกต้อง

⑤ ค่าใช้จ่ายและวิธีควบคุมต้นทุน

ค่าใช้จ่ายหลักของ BigQuery โดยทั่วไปเกี่ยวข้องกับการประมวลผล Query และการจัดเก็บข้อมูล นอกจากนี้อาจมีค่าใช้จ่ายจากบริการหรือการดำเนินการอื่น ขึ้นอยู่กับวิธีใช้งานและรูปแบบราคาในบัญชี

▫ วิธีลดโอกาสเกิดค่าใช้จ่ายเกินคาด

  • เลือกเฉพาะคอลัมน์ที่ต้องใช้ แทนการดึงทุกคอลัมน์
  • ตรวจสอบปริมาณข้อมูลที่จะประมวลผลก่อนรัน Query
  • ใช้การประเมิน Query หรือกำหนดขีดจำกัดข้อมูลที่ประมวลผลเมื่อเหมาะสม
  • ลบหรือจัดการข้อมูลที่ไม่จำเป็นตามนโยบายขององค์กร
  • ตรวจสอบ Billing Reports และตั้งงบประมาณพร้อมการแจ้งเตือน
  • จำกัดสิทธิ์ผู้ใช้ที่สร้าง Query หรือจัดการข้อมูล

BigQuery เหมาะกับองค์กรและทีมที่ต้องการรวมข้อมูลจำนวนมากเพื่อวิเคราะห์ด้วย SQL โดยไม่ต้องดูแลเซิร์ฟเวอร์เอง การออกแบบ Dataset, การกำหนดสิทธิ์ และการควบคุม Query ช่วยให้ทำงานเป็นระบบและติดตามต้นทุนได้ ComSiam แนะนำให้เริ่มจากชุดข้อมูลขนาดเล็ก ทดลอง Query และตรวจสอบค่าใช้จ่ายก่อนขยายไปยังข้อมูลจริงทั้งหมด