コンテンツにスキップ

アナリティクスBigQuery

アナリティクス BigQuery を使用する

BigQueryとは？

Google BigQuery は、Google が提供するデータを管理および分析できる完全に管理されたエンタープライズデータウェアハウスです。これは、SQL クエリを使用してペタバイトのデータを非常に効率的に処理できるサービスです。

Hive Analyticsを通じてHive Analyticsに送信されたログは、Google BigQueryを使用して処理できます。

以下の手順でHive AnalyticsでBigQueryを使用できます。

  • Googleアカウントを作成する
  • BigQueryの権限を申請する
  • BigQueryにアクセスして使用する

Googleアカウントを作成する

Hive Analytics BigQueryにアクセスするにはGoogle Gmailアカウントが必要です。Googleにアクセスして作成できます。

BigQueryの権限を申請する

Hive AnalyticsでBigQueryにアクセスするには、簡単な申請プロセスが必要です。

Hiveコンソールの管理者は、Google Gmailアカウントを作成し、Hiveコンソール > Hive Analytics > ログ定義でBigQueryアクセス機能を使用することで申請できます。

BigQueryアクセスボタンをクリックし、Gmailアカウント情報を入力してから、アクセスを即座に付与するために適用ボタンをクリックしてください。

無効なGmailアドレスに対して権限を付与できません。

BigQueryを使用する

初期のBigQueryアクセスのために確認すべき事項

Analytics BigQueryを利用するには、少なくとも1つのGoogle Cloudを作成する必要があります。

初めてのユーザーは、Googleプロジェクトを作成し、GoogleのBigQueryサンドボックス使用ガイドを使用してサンドボックス環境にアクセスできます。

BigQueryサンドボックス環境を使用すると、無料利用限度までBigQueryデータを検索することができます。

BigQueryのアップグレードは、クォータや機能の制限を超えた場合に必要です。

BigQueryにアクセスする

Hive Console > Hive Analytics > Log DefinitionでBigQueryプロジェクトが存在し、Analytics BigQueryアクセス権が付与されている場合、BigQueryアクセス機能を使用してAnalytics BigQueryにアクセスできます。

次に、Hive Analytics BigQueryにアクセスし、以下の手順で基本設定を完了させると、SQLを実行することでログをクエリできるようになります。

BigQueryをお気に入りに追加

BigQueryの分析データが保持されているお気に入り機能は、データセットに簡単にアクセスできるようにします。

左上隅の「追加」ボタンをクリックした後、「名前でプロジェクトをスターする」をクリックしてください。

その後、ポップアップウィンドウにfluted-airline-109810と入力し、「スター」ボタンをクリックします。

fluted-airline-109810プロジェクトがBigQueryコンソールの左側のエクスプローラーに追加されました。矢印ボタンを押すと、アクセス可能なデータセットが表示され、テーブルや情報を見ることができます。

Lacunch BigQuery SQL

BigQueryジョブユーザー権限は、BigqueryのSQLを実行するためにプロジェクト内で別途必要です。ただし、BigQuery Sandbox環境で開発されたプロジェクトを使用する場合、追加の権限を設定せずに無料使用制限まで検索できます。

無料使用制限を超えるSQL処理が必要な場合は、BigQueryのアップグレードを使用できます。

複数のGoogleプロジェクトが作成されている場合、BigQueryにアクセスすると自動的に実行可能なプロジェクトが設定されます。以下のように確認できます。

上の画像のように表示されない場合は、次の方法でプロジェクトを設定できます。

まず、プロジェクトが公開されている赤い四角をクリックして開始します。次に、あなたが作成したGoogleプロジェクトの名前を入力します。ユーザーはGoogleプロジェクトの名前を入力し、BigQuery Job user権限が付与されたGoogleプロジェクトを入力します。

「+」ボタンをクリックして、1つのSQLエディタウィンドウを作成し、クエリを作成します。fluted-airline-109810の左にある三角ボタンをクリックして、アクセス可能なリストを表示します。

サンプルクエリをSQLデータウィンドウに入力し、実行ボタンを押すことでログを表示できます。

SQLノート

  • FROMの段落は、fluted-airline-109810.analytics_Number_live.Table Nameの形式である必要があります。ログインログ照会サンプルクエリ

ログインログ照会サンプルクエリ

SELECT datetime, appid, guid
FROM fluted-airline-109810.analytics_77777_live.t_hive_login_log
WHERE DATE(dateTime) = date(datetime_add(current_datetime('Asia/Seoul'),interval -9 hour))
LIMIT 1

Google BigQueryにデータをアップロードし、Hive分析のBigQueryデータとJOINする

Google BigQueryプロジェクトを作成し、データをアップロードすれば、AnalyticsログテーブルとJOINしてSQLを実行できます。ただし、BigQueryデータセットの作成に対するデータの場所は、**米国（米国の複数地域）**に設定する必要があります。

注文

  • Google BigQueryプロジェクトを作成する
  • USリージョンにBigQueryデータセットを作成する
  • データをアップロードする
  • Analytics BigQueryデータとJOINする

Google BigQueryプロジェクトを作成する

  • Google Cloud Consoleにアクセスし、サインアップしてプロジェクトを作成します。

USリージョンにBigQueryデータセットを作成する

  • BigQueryコンソールにアクセスし、データセット作成セクションでデータの場所としてUS（米国のマルチリージョン）を選択し、「データセットを作成」をクリックします。

テーブルを作成し、データをアップロードする

  • テーブルを作成するには、作成したデータセット内のテーブル作成ガイドを参照してください。
  • 作成したテーブルにデータをアップロードするには、テーブルデータ管理を参照してください。通常、CSVファイルをアップロードするか、クエリ結果をテーブルとして保存するケースがあります。

SQL起動プロジェクトの設定

  • 左上隅のC2S-DWをクリックしたときに表示されるポップアップでCOM2US.COM組織を選択します。
  • “habq-”で始まるプロジェクトを1つ選択してクリックします。

アナリティクスのBigQueryデータとJOINする

  • SQLエディタウィンドウにクエリを入力し、実行ボタンをクリックしてSQLを実行します。

サンプルクエリ。分析ログインログとテーブルJOINルックアップがBigQueryプロジェクトにアップロードされました

SELECT a.vid, b.vid
FROM `fluted-airline-109810.analytics_7777_live.t_hive_login_log`a
inner join`tribal-booth-366804.test.upload_test` b on b.vid = a.vid
WHERE DATE(dateTime) = date(datetime_add(current_datetime('Asia/Seoul'),interval -9 hour))

BigQueryの権限回復を申請する

許可を申請した後にHive Analytics BigQueryに割り当てられた場合、引き出しを要求することができます。

Hiveコンソール > Hive Analytics > ログ定義メニューのbigqueryアクセス機能を使用することで、以前にリクエストされたアクセス権限を表示できます。権限を取り消す必要があるアカウントを選択し、[権限を取り消す]ボタンをクリックすることで、申請を提出できます。

処理には最大で2営業日かかる場合があり、結果は成功裏に取り消された場合、リクエストアカウントのメールアドレスに送信されます。