コンテンツにスキップ

データのエクスポート

概要

データエクスポートは、Hiveアナリティクスでロードされているイベントデータを毎時間抽出してクラウドストレージにアップロードする機能です。

データエクスポートで提供されるデータは、イベントロー(raw) データで直接データベースを構築したり、目的の形に加工して目的に応じて分析に使用できるように提供します。

データのファイル変換と転送はHive アナリティクスで提供していますが、クラウドストレージはお使いのクラウドのサービスとして登録する必要があります。

Note

イベント固有のデータ提供によるプロジェクト固有の分割転送はサポートされていません。

何ができますか？

データアナリスト

  • Hive アナリティクスから収集したデータを直接そのDBに積載して、所望の形態に加工し、深く分析することができます。
  • ローデータを独自のBIツールまたは分析環境に関連付けてカスタムダッシュボードを設定できます。

開発者

  • 独自のデータパイプラインにHiveイベントデータを自動的にロードできます。
  • AWS S3 または GCP Cloud Storage と連動して、毎時最新のイベントデータをクラウドストレージで直接活用できます。

クイックスタート

初めてデータのエクスポートを設定する場合は、次の手順に従ってクラウドストレージの連携を完了してください。

  1. 使用するクラウドストレージ (AWS S3 または GCP Cloud Storage) にデータエクスポート専用バケットを作成し、認証キーを準備します。
  2. アナリティクスコンソール > データ > **データのエクスポート**設定ページにアクセスします。
  3. 抽出するイベント（ログ）を選択します。 （最大30個）
  4. リポジトリ (AWS S3 / GCP Cloud Storage) を選択し、バケット名を入力します。
  5. データタイプ (CSV / JSON) を選択します。
  6. 認証キーを登録します。

Note

クラウドストレージ固有のバケットの作成と認証キーの発行方法については、全機能」を参照してください。

フル機能

データのエクスポートロジック

data_export_01.png

ビッグクエリに保存されているイベントデータを毎時間データのエクスポート周期に合わせてファイルに変換し、登録したクラウドストレージにアップロードされます。

データ基準

  • 選択したイベントデータを照会し、クラウドストレージにファイル転送をします。
  • データはUTCに基づいて毎時間の転送周期に従って抽出されます。
    • 例）2023年9月1日01:00(UTC)に2023年9月1日00:00:00〜00:59:59(UTC)のデータを基に抽出して転送
    • パーティショニング基準はdateTime属性に対して照会日-1 dayに設定されます。
    • 例）2023年9月1日 00:00:00 ～ 00:59:59(UTC)のデータに基づいて抽出時 2023年8月30日 00:00:00
    • datetime の値が照会時間 -1 day より小さい場合、エクスポートデータには含まれません。
  • データはビッグクエリにデータが入力された時間で照会をします。
    • bigqueryRegistTimestamp 属性基準
    • データ抽出sample Query
SELECT *
FROM bigquery_table
WHERE bigqueryRegistTimestamp BETWEEN '2023-09-01 00:00:00' and '2023-09-01 00:59:59'
and dateTime >= '2023-08-31 00:00:00'

データのエクスポート設定

data_export_02.png

イベントの選択

抽出するイベント（ログ）を選択します。

  • イベント名の一部を記載して検索および選択が可能です。
  • イベントは最大30個まで選択可能です。

リポジトリの選択

データを保存するためのストレージとしてクラウドストレージを使用する必要があります。

サポートクラウド：

  • AWS S3
  • GCP Google Cloud Storage

位置(バケット名)

リポジトリのバケット (bucket) 名を記載します。

  • AWS S3 バケット名がs3://s3_bucket_nameの場合 → s3_bucket_nameのみ記載
  • Google Cloud Storage バケット名がgs://google_bucket_nameの場合 → google_bucket_nameのみ記載

データ型

2つのデータ型を提供します。

  • CSV
  • JSON
  • すべてのファイルはUTF-8でエンコードされます。

ファイルのアップロードサイクル

毎時間1時間の範囲のデータを抽出してアップロードを進めます。

  • 時間はbigqueryRegistTimestamp属性値に基づいて抽出されます。 (UTC 基準)
    • 例）15時にデータの抽出とアップロードの開始（UTC基準）：bigqueryRegistTimestamp属性から05:00:00～05:59:59のデータが抽出されます。
  • ファイル数とアップロード容量によって完了時間は異なる場合があります。

認証キーの登録

クラウドストレージにデータをアップロードするには権限が必要です。データ保存権限を持つ認証キーまたは認証キーファイルを登録する必要があります。クラウドサービスによって認証キー登録方式が異なります。

  • S3 — ACCESS_KEY、ACCESS_SECRET_KEY 値登録 data_export_03.png
  • GCS — 認証キーファイルの登録 data_export_04.png

クラウドストレージの設定

GCP - Google Cloud Storage

Googleクラウドにデータをエクスポートするには、次の設定が必要です。

  1. Google Cloud Console ページで Cloud Storage] に移動します。

    data_export_05.png

  2. データのエクスポート専用に使用する バケット (bucket) を作成します。

    • バケット名は一度設定すると変更できず、必要に応じて既存のバケットを削除して新しく作成する必要があります。
    • データエクスポート専用のバケットで作成することをお勧めします

3.データのエクスポートに提供するサービスキーを生成して、バケットに書き込み権限を付与する必要があります。 1. コンソールページで、IAM および管理者 → サービスアカウントメニューに移動します。 2. サービスアカウントの作成をクリックして新しいアカウントを作成します。 - アカウントに使用するIDは、お好みの名前で作成してください。 (例: hive_data_transfer_account@projectId.iam.gserviceaccount.com) data_export_06.png - アカウント作成後、[キー]タブに移動してサービス用のキーを生成します。 - キーを追加→新しいキーを作成してJSON形式のキーファイルを生成します。 - 生成したキーファイルはダウンロードされた後に保存します。 3. 作成した バケット(bucket) の権限タブに移動するため、もう一度 Cloud Storage に移動します。 data_export_07.png - [権限]タブで、[アクセス許可]→[メインメンバーの追加]に、新しく作成したサービスアカウントIDを入力します。 - 役割の割り当てで、Cloud Storage → ストレージオブジェクトコンストラクタ、ストレージオブジェクトビューア 2つの権限を追加し、[OK]をクリックします。

  1. すべての設定が完了したら、Hive アナリティクスのデータエクスポート設定ページにサービス用キーファイルを登録します。

AWS - S3

AWSにデータをエクスポートするには、次の設定が必要です。

  1. AWSコンソールページで、ストレージ→S3に移動します。 data_export_08.png
  2. データのエクスポート専用バケット(bucket) を作成します。
    • バケット名は一度設定すると変更できず、必要に応じて既存のバケットを削除して新しく作成する必要があります。
    • データエクスポート専用のバケットとしてのみ使用することをお勧めします。
  3. データをエクスポートするためのアカウントを作成する必要があります。
    • このユーザーは、データをエクスポートするための専用アカウントとしてのみ使用する必要があります。 IAM user を新しく作成します。
  4. 作成したアカウントのアクセスキーを生成します。関連情報は IAM ユーザーのアクセスキー管理 - アクセスキーの生成 で確認できます。
    • アクセスキーは安全な場所に保管してください。
  5. 作成したアカウントに inline policy を追加します。
    • ユーザーグループのインラインポリシーを含めるには（コンソール）エントリを参照してポリシーを作成します。
    • JSONタブを選択してpolicyを作成し、次のJSONコードを貼り付けます。
    • YOUR-BUCKET-NAME-HERE 項目は、生成したバケット名を記載します。
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetBucketLocation", "s3:ListBucket"],
      "Resource": ["arn:aws:s3:::YOUR-BUCKET-NAME-HERE"]
    },
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject"],
      "Resource": ["arn:aws:s3:::YOUR-BUCKET-NAME-HERE/*"]
    }
  ]
}
  1. すべての操作が完了したら、アーカイブしたアクセスキーを [Analytics Console] > [データ] > [データのエクスポート] 設定に追加します。

ファイル保存形式

データ格納ディレクトリ構造

一般的なファイルパス形式：

withhive/data_export/ビルドタイプ/YYYY/MM/DD/イベント名/イベント名_YYYY_MM_DD_UUID.ファイル拡張子
  • ビルドタイプ：sandboxとliveの2つの値があります。 sandboxで設定するとsandboxとして保存されます。
  • YYYY/MM/DD: データが抽出される基準年/月/日です。 (UTC 基準)
  • UUID: ファイル名の重複による上書き防止のためのランダム値です。
  • ファイル拡張子：選択したファイルタイプによって異なります。
ファイルタイプ 圧縮するかどうか 最終ファイル名
json V withhive/data_export/buildType/YYYY/MM/DD/eventName/eventName_YYYY_MM_DD_UUID.json.gzip
csv V withhive/data_export/buildType/YYYY/MM/DD/eventName/eventName_YYYY_MM_DD_UUID.csv.gzip

ファイル拡張子

  • csv.gzip: フィールドをカンマ ( , ) で区切ったデータで構成されるファイルです。ファイル圧縮時に暗号化設定はできません（未サポート）。
  • json.gzip: Javascript オブジェクト文法で構造化されたデータ文字で構成されるファイルです。行単位で区切られており、json ファイルを gzip で圧縮したファイルです。ファイル圧縮時に暗号化設定はできません（未サポート）。

注意事項 & Tips

  • 過去データ遡及不可: データエクスポートは登録時点から動作します。登録前に収集された過去のデータは遡及的に送信されません。
  • 最大イベント数制限：選択可能な最大イベント数は30個です。
  • イベントごとの抽出データ総容量制限：データ抽出時に500Mbytesを超える場合、転送から除外されます。実際に送信されるデータは約15％程度に圧縮されたファイルです。

関連メニュー

  • イベント — エクスポートするイベントと属性の定義
  • MMP連動 — 外部ツール連動とデータ収集の現状を確認