Analytics bigQuery

使用分析 BigQuery¶

什麼是 BigQuery?¶

Google BigQuery 是一個完全管理的企業數據倉庫，允許您管理和分析由 Google 提供的數據。這是一項可以使用 SQL 查詢非常有效地處理 PB 級數據的服務。

透過Hive Analytics發送到Hive Analytics的日誌可以使用Google BigQuery進行處理。

您可以通过以下程序在 Hive Analytics 中使用 BigQuery。

創建一個 Google 帳戶
申請 BigQuery 的許可
訪問和使用 BigQuery

創建 Google 帳戶¶

需要一個 Google Gmail 帳戶才能訪問 Hive Analytics BigQuery。您可以訪問 Google 來創建一個。

申請 BigQuery 的權限¶

在 Hive Analytics 中訪問 BigQuery 需要一個簡單的申請流程。

Hive 控制台管理员可以通过创建 Google Gmail 账户并在 Hive 控制台 > Hive 分析 > 日志定义中使用 BigQuery 访问功能来申请。

點擊 BigQuery 訪問按鈕，輸入您的 Gmail 帳戶信息，然後點擊應用按鈕以立即授予訪問權限。

無法對無效的 Gmail 地址授予權限。

使用 BigQuery¶

初始 BigQuery 存取需檢查的事項¶

要使用 Analytics BigQuery，必須創建至少一個 Google Cloud。

首次使用者可以創建一個 Google 項目並使用 Google 的 BigQuery 沙盒使用指南訪問沙盒環境。

可以在 BigQuery Sandbox 環境中搜索 BigQuery 數據，直到免費使用限制。

如果您超出配額或功能限制，則需要進行A BigQuery 升級。

存取 BigQuery¶

您可以通过 Hive 控制台 > Hive 分析 > 日志定义中的 BigQuery 访问功能访问 Analytics BigQuery，前提是存在 BigQuery 项目并且已授予 Analytics BigQuery 访问权限。

然後，在訪問 Hive Analytics BigQuery 並通過執行以下操作完成基本設置後，您將能夠通過執行 SQL 查詢日誌。

將 BigQuery 添加到最愛¶

在BigQuery中的收藏功能，分析數據被保留在那裡，使得訪問數據集變得簡單。

在左上角点击“添加”按钮后，点击“按名称标星项目”。

之後，在彈出窗口中輸入fluted-airline-109810，然後點擊“星形”按鈕。

fluted-airline-109810 項目已添加到 BigQuery 控制台的左側資源管理器。箭頭按鈕顯示可訪問的數據集，允許您查看表格和信息。

Lacunch BigQuery SQL¶

BigQuery 工作使用者權限在專案中是必須單獨設定的，以便執行 Bigquery 的 SQL。然而，如果您使用在 BigQuery Sandbox 環境中開發的專案，您可以在不設定額外權限的情況下，搜尋到免費使用限制的上限。

如果您需要超過免費使用限制的 SQL 處理，您可以使用 BigQuery 的升級。

如果創建了多個 Google 項目，則在訪問 BigQuery 時會自動設置可執行項目；您可以按如下方式進行驗證。

如果您未如上圖所示看到該專案，您可以使用以下方法設置專案。

首先，点击暴露项目的红色方块以开始。接下来，输入您刚刚创建的 Google 项目名称。用户输入 Google 项目名称，并输入已授予 BigQuery Job user 权限的 Google 项目。

點擊“+”按鈕以創建一個 SQL 編輯器窗口並創建查詢。點擊 fluted-airline-109810 左側的三角形按鈕以查看可訪問的列表。

您可以通过在 SQL 数据窗口中输入下面的示例查询并按下运行按钮来查看日志。

SQL 注意

FROM 段落應該以 fluted-airline-109810.analytics_Number_live.Table Name 的形式出現。登入日誌查詢範例查詢

登入日誌查詢範例查詢

SELECT datetime, appid, guid
FROM fluted-airline-109810.analytics_77777_live.t_hive_login_log
WHERE DATE(dateTime) = date(datetime_add(current_datetime('Asia/Seoul'),interval -9 hour))
LIMIT 1

將數據上傳到 Google BigQuery 並與 Hive 分析 BigQuery 數據進行 JOIN¶

如果您创建一个 Google BigQuery 项目并上传数据，则可以通过与分析日志表连接来运行 SQL。但是，BigQuery 数据集创建的数据位置必须设置为 美国（美国的多区域）。

訂單

創建 Google BigQuery 專案
創建美國區域的 BigQuery 數據集
上傳數據
與 Analytics BigQuery 數據 JOIN

創建 Google BigQuery 專案¶

訪問 Google Cloud 控制台，註冊並創建一個項目。

創建 BigQuery 數據集到美國區域¶

訪問 BigQuery 控制台，在資料集創建部分選擇美國 (美國的多區域) 作為數據位置，然後點擊“創建資料集”。

創建表格並上傳數據¶

建立一個表格參考在創建的資料集中表格創建指南。
通過參考表格數據管理將數據上傳到創建的表格。通常，有上傳 CSV 文件或將查詢結果保存為表格的情況。

設置 SQL 啟動專案¶

在您点击左上角的 C2S-DW 时，选择弹出窗口中的 COM2US.COM 组织。
选择并点击一个以“habq-”开头的项目。

與分析 BigQuery 數據 JOIN¶

在 SQL 編輯器窗口中輸入查詢，然後單擊執行按鈕以執行 SQL。

範例查詢。分析登入日誌和表格JOIN查詢已上傳至BigQuery專案

SELECT a.vid, b.vid
FROM `fluted-airline-109810.analytics_7777_live.t_hive_login_log`a
inner join`tribal-booth-366804.test.upload_test` b on b.vid = a.vid
WHERE DATE(dateTime) = date(datetime_add(current_datetime('Asia/Seoul'),interval -9 hour))

申請 BigQuery 權限恢復¶

如果您在申请权限后被分配到 Hive Analytics BigQuery，您可以申请提款。

您可以通过在 Hive 控制台 > Hive 分析 > 日志定义菜单中使用 bigquery 访问功能查看之前请求的访问权限。通过选择需要撤销权限的帐户并单击撤销权限按钮，您可以提交您的申请。

處理可能需要最多 2 個工作天，結果將在成功撤銷後發送到請求帳戶的電子郵件地址。