詳細クラスタサブタスクのログファイルの表示
詳細クラスタで実行されるサブタスクを監視する際は、実行プラン、セッションログ、エージェントジョブログ、Sparkドライバログ、およびSparkエグゼキュータログを表示できます。クラスタで初期化スクリプトが実行されている場合は、初期化スクリプトログとcloud-initログを表示することもできます。
ジョブの特定のログファイルにアクセスするには、データ統合またはクラウドプラットフォームからログのダウンロードが必要になることがあります。
次の表に、各ログをデータ統合、クラウドプラットフォームまたはその両方からダウンロードできるかどうかを示します。
ログ | ダウンロードの場所 |
|---|
実行プラン | データ統合 |
セッションログ | データ統合 |
エージェントジョブログ | データ統合、クラウドプラットフォーム¹ |
Sparkドライバログ | データ統合、クラウドプラットフォーム¹ |
Sparkエグゼキュータログ | データ統合²、クラウドプラットフォーム¹ |
初期化スクリプトログ | クラウドプラットフォーム |
Cloud-initログ | クラウドプラットフォーム |
Sparkイベントログ | クラウドプラットフォーム |
1 サーバーレスランタイム環境を使用している場合、クラウドプラットフォームからのダウンロードは利用できません。 2 サーバーレスランタイム環境を使用していない場合、データ統合からのダウンロードは利用できません。表示されたログの場所を使用して、クラウドプラットフォームからログをダウンロードします。 |
実行計画とセッションログのダウンロード
データ統合で、ジョブの結果から実行プランおよびセッションログをダウンロードできます。
詳細ログのダウンロード
データ統合のSparkタスクの詳細で、エージェントジョブログとSparkドライバログをダウンロードできます。詳細ログの場所をコピーして、クラウドプラットフォーム上の場所に移動することもできます。Sparkエグゼキュータログをダウンロードするには、詳細ログの場所に移動する必要があります。
サーバーレスランタイム環境を使用している場合は、データ統合から詳細ログをダウンロードできます。［ダウンロード］オプションは、ジョブが完了すると使用できるようになります。
初期化スクリプトとcloud-initログのダウンロード
初期化スクリプトログまたはcloud-initログをダウンロードするには、クラウドプラットフォームの次の場所に移動します。
<Log location>/ClusterLogs/<cluster ID>/<timestamp>/<cluster node instance ID>/
ログの場所は、詳細設定で指定されたログファイルの場所です。
注: cloud-initログは、AWS環境でのみダウンロードできます。
Sparkイベントログのダウンロード
Sparkイベントログをダウンロードするには、次の場所へ移動します。
<Log location>/eventLogs/atscaleagent
ログの場所は、詳細設定で指定されたログファイルの場所です。
ジョブが開始できない場合は、イベントログファイルに次のようなテキストが表示されます。
{"Event":"SparkListenerLogStart","Spark Version":"3.0.0"}
ジョブの失敗の詳細については、Sparkドライバログを参照してください。
ルールおよびガイドライン
ログファイルを表示するときは、次のルールとガイドラインを参照してください。