DataStreamによるリアルタイムログの取得

リアルタイムなログ収集および分析の重要性とAkamaiで実現するロギングソリューションとしてDataStreamを前回の記事でご紹介しました。今回はDataStreamの構成および具体的な設定方法について紹介します。

1.DataStreamとは

リアルタイムのログ配信ソリューションであり、
ブラックボックスという印象のあるCDNの挙動を可視化することに役立ちます。
CDNを運用時の

CDNの稼働状況を知るためにリアルタイムなデータアクセスしたい
ログのみではなく要約データにもアクセスしたい
常時データを受け付けるのではなく、データをオンデマンドに取得したい
フィールドを絞ったログを取得したい
複数の宛先にデータを送信したい

といった課題を解決します。

2.DataStreamのログ/データ形式の提供について

ログ/データ形式の提供方法として以下を選ぶことができます。

ログ取得方法
- Push型
- Pull型（DataStream APIを使用）
データの形式
- 生ログ
- 統計データ

3.DataStreamの概要図及び動作

エッジサーバーがリクエスト要求を受け付けレスポンスを返します。
エッジーサーバーがログをData Processorに送信します。
Data Processorがログ情報を集約します。
　※10秒以内にイベントログを収集します。
生ログもしくは統計データがエンドポイントに対して送信（Push）、もしくはDataStream API経由で取得（Pull）されます。
※APIで取得できるデータは24時間保持されます。

4.DataStreamの設定

ここでは生ログデータをS3に配信する設定手順を説明します。S3のバケットは既に準備済みの前提です。

管理ポータルであるAkamai Control Centerにアクセスし「Real-time logs」を選択します。
「Add new stream」を選択します。
Stream nameに任意の名前を入力し、「Raw logs」を選択します。
ログを取得したいプロパティ（配信設定）を選択します。
プロパティ（配信設定）は複数選択することが可能です。

　※グループを作成している場合、該当するプロパティ（配信設定）が出てこないケースがあります。
　　その際はプロパティ（配信設定）が存在するグループを選択してください。
「Add destination」を選択し、ログのPush先として「S3」を選択します。
ログのPush先として「Splunk」,「S3」,「Sumo Logic」を選ぶことができます。
「S3」送信に必要な情報を記入し「Save」を押します。
「Continue to Data sets」を選択します。
Data set informationからログに含めたい情報を選択します。
ここではすべてを選択します。

※Raw Logs形式のログに含めることができる情報として
- Message Exchange Data（プロトコルの形式やバージョンなど）
- Request Header（リクエストヘッダー）
- Response Header（レスポンスヘッダー）
- Network Perfomance Data（AS番号、Edge IPなど）
- Geo（国や地域など）
- Netowrk Data（帯域やスループットなど）
があります。
サンプルレートを選択します。
「Review」を選択するとレビュー画面になります。
今まで設定した内容が適切か確認します。
内容に問題がなければ「Publish」を選択します。
確認画面が表示されるので「Yes」を選択します。
作成されたStreamのStautsが「Activating...」になっていることを確認します。
反映には30分ほど時間がかかります。

Statusが「On」になっていると反映完了となります。
手順4.で指定したプロパティ（配信設定）の対象であるFQDNにアクセスします。
手順6.で指定したS3にログがgzip形式で配信されていることを確認します。