前提条件
注意事項¶
- 在傳輸之前必須對數據進行掩碼，以確保其不包含個人信息。
- 備份的表格數據以其原始形式存儲。
- 在流式傳輸Fluentd和客戶端日誌傳輸時，對數據執行基本解析（例如IP），而日誌批處理模式不執行數據解析。
- 日誌數據必須包含dateTime和category列。
- 日誌批量傳輸是為了同時上傳大量數據。因此，應將按行劃分的多個文件合併為一個文件進行上傳，並且實時數據應使用客戶端日誌傳輸或流式傳輸Fluentd進行傳輸。
如何定義日誌¶
使用定義日誌頁面¶
- 日誌架構應該在日誌定義中提前指定。
- 有關日誌定義的詳細信息，請參考定義日誌。
- 在日誌定義中設置的表名必須與category值相同。
- 如果您不定義日誌並繼續進行日誌批量傳輸，數據將不會被存儲。
- 日誌批量使用dateTime和category作為必填欄位。如果未傳輸，數據將不會被存儲。
- 在日誌定義過程中，可以包含用於分析的保留字段。
必填欄位¶
批次檔日誌有兩個基本欄位。
| 欄位名稱 | 資料類型 | 描述 | 範例 |
|---|---|---|---|
| dateTime | TIMESTAMP | 日誌批次的提取或上傳時間 - 不包括時區 (KST) | "YYYY-MM-DD hh:mm:ss" |
| category | STRING | 在日誌收集後台設置的類別 ID | "account_table_snapshot" |
- 如果您在日志批处理中使用了"dateTime"作为列名，建议在传输之前将其更改为不同的列名。
- dateTime 用作分区的数据，因此必须写为批处理文件日志传输的时间或上传的时间。
申請許可¶
申請 BigQuery 權限¶
- 連接到 BigQuery 的權限以及查看數據的數據查詢權限。
- 申請 BigQuery 權限時，也會授予 GCS 上傳的權限。
- 您可以通過 Hive 控制台 > 分析 > 日誌定義 > 訪問 BigQuery 菜單申請 BigQuery 訪問權限。
- 有關詳細信息，請參閱權限申請指南。 檢查權限申請指南