Analytics bigQuery

ใช้การวิเคราะห์ BigQuery¶

BigQuery คืออะไร?¶

Google BigQuery เป็นคลังข้อมูลระดับองค์กรที่จัดการอย่างเต็มที่ ซึ่งช่วยให้คุณจัดการและวิเคราะห์ข้อมูลที่ให้โดย Google มันเป็นบริการที่สามารถประมวลผลข้อมูลหลายเพตาไบต์ได้อย่างรวดเร็วโดยใช้คำสั่ง SQL

บันทึกที่ส่งไปยัง Hive Analytics ผ่าน Hive Analytics สามารถประมวลผลได้โดยใช้ Google BigQuery.

คุณสามารถใช้ BigQuery ใน Hive Analytics ผ่านขั้นตอนต่อไปนี้

• สร้างบัญชี Google
• ขออนุญาตใช้ BigQuery
• เข้าถึงและใช้ BigQuery

สร้างบัญชี Google¶

ต้องมีบัญชี Google Gmail เพื่อเข้าถึง Hive Analytics BigQuery คุณสามารถเข้าถึง Google เพื่อสร้างบัญชีหนึ่ง

ขออนุญาตใช้ BigQuery¶

การเข้าถึง BigQuery ใน Hive Analytics ต้องการกระบวนการสมัครที่ง่าย

ผู้ดูแลระบบคอนโซล Hive สามารถสมัครได้โดยการสร้างบัญชี Google Gmail และใช้ฟังก์ชันการเข้าถึง BigQuery ในคอนโซล Hive > Hive Analytics > การกำหนดล็อก.

คลิกที่ปุ่มเข้าถึง BigQuery ป้อนข้อมูลบัญชี Gmail ของคุณ แล้วคลิกที่ปุ่มใช้เพื่อให้การเข้าถึงทันที

ไม่สามารถอนุญาตสิทธิ์ในที่อยู่อีเมล gmail ที่ไม่ถูกต้องได้

ใช้ BigQuery¶

สิ่งที่ต้องตรวจสอบสำหรับการเข้าถึง BigQuery เบื้องต้น¶

ในการใช้ Analytics BigQuery ต้องมี Google Cloud อย่างน้อยหนึ่งรายการที่สร้างขึ้น

ผู้ใช้ครั้งแรกสามารถสร้างโปรเจกต์ Google และเข้าถึงสภาพแวดล้อม sandbox โดยใช้ คู่มือการใช้งาน BigQuery Sandbox ของ Google。

สามารถค้นหาข้อมูล BigQuery ได้สูงสุดตามขีดจำกัดการใช้งานฟรีด้วยสภาพแวดล้อม BigQuery Sandbox

การอัปเกรด BigQuery เป็นสิ่งจำเป็นหากคุณเกินโควตาหรือข้อจำกัดของฟีเจอร์

เข้าถึง BigQuery¶

คุณสามารถเข้าถึง Analytics BigQuery โดยใช้ฟังก์ชันการเข้าถึง BigQuery ใน Hive Console > Hive Analytics > Log Definition หากมีโครงการ BigQuery อยู่และได้รับอนุญาตให้เข้าถึง Analytics BigQuery

จากนั้น หลังจากเข้าถึง Hive Analytics BigQuery และทำการตั้งค่าพื้นฐานโดยการดำเนินการตามขั้นตอนต่อไปนี้ คุณจะสามารถสอบถามบันทึกได้โดยการดำเนินการ SQL

เพิ่ม BigQuery ไปยังรายการโปรด¶

ฟีเจอร์ Favorites ใน BigQuery ซึ่งเก็บข้อมูลการวิเคราะห์ ทำให้การเข้าถึงชุดข้อมูลเป็นเรื่องง่าย

คลิก "Star Project by Name" หลังจากคลิกปุ่ม "Add" ที่มุมซ้ายบน

หลังจากนั้น ให้พิมพ์ fluted-airline-109810 ในหน้าต่างป๊อปอัปและคลิกที่ปุ่ม "ดาว"

โครงการ fluted-airline-109810 ได้ถูกเพิ่มลงในส่วนสำรวจด้านซ้ายของคอนโซล BigQuery ปุ่มลูกศรจะแสดงชุดข้อมูลที่เข้าถึงได้ ทำให้คุณสามารถดูตารางและข้อมูลได้

Lacunch BigQuery SQL¶

สิทธิ์ผู้ใช้งาน BigQuery จะต้องได้รับการกำหนดแยกในโครงการเพื่อให้สามารถดำเนินการ SQL ของ Bigquery ได้ อย่างไรก็ตาม หากคุณใช้โครงการที่พัฒนาขึ้นในสภาพแวดล้อม BigQuery Sandbox คุณสามารถค้นหาจนถึงขีดจำกัดการใช้งานฟรีโดยไม่ต้องตั้งค่าการอนุญาตเพิ่มเติม

หากคุณต้องการการประมวลผล SQL เกินกว่าขีดจำกัดการใช้งานฟรี คุณสามารถใช้ การอัปเกรดของ BigQuery

หากมีการสร้างโครงการ Google มากกว่าหนึ่งโครงการ โครงการที่สามารถเรียกใช้งานได้จะถูกตั้งค่าโดยอัตโนมัติเมื่อคุณเข้าถึง BigQuery; คุณสามารถตรวจสอบได้ดังนี้

คุณสามารถตั้งค่าโครงการในวิธีการต่อไปนี้หากคุณไม่เห็นมันตามที่แสดงในภาพด้านบน

ก่อนอื่น ให้คลิกที่สี่เหลี่ยมสีแดงที่โครงการถูกเปิดเผยเพื่อเริ่มต้น จากนั้นให้ป้อนชื่อโครงการ Google ที่คุณเพิ่งสร้าง ผู้ใช้จะป้อนชื่อโครงการ Google และป้อนโครงการ Google ที่ได้รับสิทธิ์ BigQuery Job user

คลิกที่ปุ่ม “+” เพื่อสร้างหน้าต่าง SQL Editor หนึ่งหน้าต่างและสร้างคำสั่งสอบถาม คลิกที่ปุ่มสามเหลี่ยมทางซ้ายของ fluted-airline-109810 เพื่อดูรายการที่เข้าถึงได้

คุณสามารถดูบันทึกได้โดยการป้อนคำค้นตัวอย่างด้านล่างในหน้าต่างข้อมูล SQL และกดปุ่ม Run

บันทึก SQL

• ย่อหน้าจากควรอยู่ในรูปแบบ fluted-airline-109810.analytics_Number_live.Table Name. ตัวอย่างการสอบถามบันทึกการเข้าสู่ระบบ

ตัวอย่างการสอบถามบันทึกการเข้าสู่ระบบ

SELECT datetime, appid, guid
FROM fluted-airline-109810.analytics_77777_live.t_hive_login_log
WHERE DATE(dateTime) = date(datetime_add(current_datetime('Asia/Seoul'),interval -9 hour))
LIMIT 1

อัปโหลดข้อมูลไปยัง Google BigQuery และ JOIN กับข้อมูลการวิเคราะห์ Hive ใน BigQuery¶

คุณสามารถรัน SQL โดย JOIN กับตารางบันทึกการวิเคราะห์ได้หากคุณสร้างโปรเจกต์ Google BigQuery และอัปโหลดข้อมูล อย่างไรก็ตาม ตำแหน่งข้อมูลสำหรับการสร้างชุดข้อมูล BigQuery จะต้องตั้งค่าเป็น สหรัฐอเมริกา (หลายภูมิภาคในสหรัฐอเมริกา).

คำสั่ง

• สร้างโปรเจกต์ Google BigQuery
• สร้างชุดข้อมูล BigQuery ในภูมิภาคสหรัฐอเมริกา
• อัปโหลดข้อมูล
• JOIN กับข้อมูล BigQuery ของ Analytics

สร้างโปรเจกต์ Google BigQuery¶

• เข้าถึง Google Cloud Console, ลงทะเบียนและสร้างโปรเจกต์.

สร้างชุดข้อมูล BigQuery ไปยังภูมิภาคสหรัฐอเมริกา¶

• เข้าถึง BigQuery Console เลือก US (หลายภูมิภาคในสหรัฐอเมริกา) เป็นตำแหน่งข้อมูลในส่วนการสร้างชุดข้อมูล และคลิก “สร้างชุดข้อมูล”

สร้างตารางและอัปโหลดข้อมูล¶

• สร้างตาราง โดยอ้างอิงจากคู่มือการสร้างตารางในชุดข้อมูลที่สร้างขึ้น
• อัปโหลดข้อมูลไปยังตารางที่สร้างขึ้นโดยอ้างอิงจาก การจัดการข้อมูลตาราง โดยทั่วไปจะมีกรณีการอัปโหลดไฟล์ CSV หรือบันทึกผลลัพธ์ของการค้นหาเป็นตาราง

ตั้งค่าโครงการเปิดตัว SQL¶

• เลือกองค์กร COM2US.COM ในป๊อปอัปที่ปรากฏเมื่อคุณคลิกที่ C2S-DW ที่มุมซ้ายบน
• เลือกและคลิกที่โครงการหนึ่งที่เริ่มต้นด้วย “habq-”。

ร่วมกับข้อมูล BigQuery การวิเคราะห์¶

• ป้อนคำค้นในหน้าต่าง SQL editor และคลิกที่ปุ่ม Execute เพื่อดำเนินการ SQL

ตัวอย่างคำถาม บันทึกการเข้าสู่ระบบการวิเคราะห์และการเข้าร่วมตารางการค้นหาที่อัปโหลดไปยังโครงการ BigQuery

SELECT a.vid, b.vid
FROM `fluted-airline-109810.analytics_7777_live.t_hive_login_log`a
inner join`tribal-booth-366804.test.upload_test` b on b.vid = a.vid
WHERE DATE(dateTime) = date(datetime_add(current_datetime('Asia/Seoul'),interval -9 hour))

สมัครการกู้คืนสิทธิ์ BigQuery¶

คุณสามารถขอถอนเงินได้หากคุณได้รับมอบหมายให้ใช้ Hive Analytics BigQuery หลังจากที่ได้สมัครขออนุญาต

คุณสามารถดูสิทธิ์การเข้าถึงที่ร้องขอก่อนหน้านี้ได้โดยใช้ฟีเจอร์การเข้าถึง bigquery ใน Hive Console > Hive Analytics > เมนูการกำหนดล็อก โดยการเลือกบัญชีที่ต้องการเพิกถอนสิทธิ์และคลิกที่ปุ่มเพิกถอนสิทธิ์ คุณสามารถส่งใบสมัครของคุณได้

การประมวลผลอาจใช้เวลาถึง 2 วันทำการ และผลลัพธ์จะถูกส่งไปยังที่อยู่อีเมลของบัญชีที่ทำการร้องขอเมื่อการเพิกถอนสำเร็จ