ข้อกำหนดเบื้องต้น

ข้อควรระวัง¶

ข้อมูลต้องถูกปกปิดก่อนการส่งเพื่อให้แน่ใจว่าไม่มีข้อมูลส่วนบุคคลรวมอยู่ด้วย
ข้อมูลในตารางที่สำรองไว้จะถูกเก็บในรูปแบบเดิม
- ในขณะที่สตรีม Fluentd และการส่งบันทึกของลูกค้า จะทำการวิเคราะห์ข้อมูลพื้นฐาน (เช่น IP) แต่โหมดการส่งบันทึกแบบแบตช์จะไม่ทำการวิเคราะห์ข้อมูล
ข้อมูลบันทึกต้องมีคอลัมน์ dateTime และ category
การส่งบันทึกแบบแบตช์ใช้สำหรับการอัปโหลดข้อมูลจำนวนมากในครั้งเดียว ดังนั้นไฟล์หลายไฟล์ที่แบ่งตามแถวควรถูกรวมเป็นไฟล์เดียวสำหรับการอัปโหลด และข้อมูลเรียลไทม์ควรส่งโดยใช้การส่งบันทึกของลูกค้าหรือการสตรีม Fluentd.

สคีมาบันทึกควรกำหนดไว้ล่วงหน้าผ่านการกำหนดบันทึก.
สำหรับข้อมูลรายละเอียดเกี่ยวกับการกำหนดบันทึก โปรดดูที่ กำหนดบันทึก.
- ชื่อโต๊ะที่ตั้งไว้ในกำหนดบันทึกต้องตรงกับค่า category.
- หากคุณไม่กำหนดบันทึกและดำเนินการส่งบันทึกแบบกลุ่ม ข้อมูลจะไม่ถูกเก็บไว้.
การส่งบันทึกแบบกลุ่มใช้ dateTime และ category เป็นคอลัมน์ที่จำเป็น หากไม่ถูกส่ง ข้อมูลจะไม่ถูกเก็บไว้.
ในระหว่างการกำหนดบันทึก อาจมีฟิลด์ที่สงวนไว้ซึ่งใช้ในวิเคราะห์รวมอยู่ด้วย.

ไฟล์บันทึกของแบตช์มีสองคอลัมน์ที่สำคัญ

ชื่อคอลัมน์	ประเภทข้อมูล	คำอธิบาย	ตัวอย่าง
dateTime	TIMESTAMP	เวลาของการดึงข้อมูลหรือการอัปโหลดของแบตช์บันทึก - ไม่รวมเขตเวลา (KST)	"YYYY-MM-DD hh:mm:ss"
category	STRING	รหัสหมวดหมู่ที่ตั้งค่าในสำนักงานรวบรวมบันทึก	"account_table_snapshot"

หากคุณได้ใช้ "dateTime" เป็นชื่อคอลัมน์ในชุดบันทึก แนะนำให้เปลี่ยนเป็นชื่อคอลัมน์ที่แตกต่างก่อนการส่งข้อมูล
dateTime ถูกใช้เป็นข้อมูลสำหรับการแบ่งพาร์ติชัน ดังนั้นต้องเขียนเป็นเวลาของการส่งบันทึกไฟล์ชุดหรือเวลาของการอัปโหลด

สิทธิ์ในการเชื่อมต่อกับ BigQuery และสิทธิ์ในการ query ข้อมูลเพื่อดูข้อมูล
เมื่อสมัครขอสิทธิ์สำหรับ BigQuery สิทธิ์ในการอัปโหลด GCS จะได้รับการอนุญาตด้วย
คุณสามารถสมัครขอเข้าถึง BigQuery ผ่านเมนู Hive Console > Analytics > Log Definitions > Access BigQuery
สำหรับรายละเอียดเพิ่มเติม โปรดดูที่คู่มือการสมัครขอสิทธิ์ ตรวจสอบคู่มือการสมัครขอสิทธิ์