ストリーミング取り込みとレプリケーションの動作に関するよくある質問
以下のよくある質問を確認して、製品の動作を理解してください。
- チェックポイントは、Secure Agent、クラウドリポジトリ、ソース、またはターゲットに保存されていますか。
- チェックポイントはソースとターゲットに応じて、Secure Agent、クラウドリポジトリ、ソース、またはターゲットに保存されます。チェックポイントの保存先は、ソースとターゲットによって異なります。
例えば、Amazon Kinesis Streamsソースの場合、ストリーミング取り込みとレプリケーションによってAmazon S3などのデータウェアハウスにDynamoDBチェックポイントテーブルが作成されます。
- タスクをデプロイまたはデプロイ解除した後にチェックポイントを設定できますか。
- いいえ、タスクをデプロイまたはデプロイ解除した後にチェックポイントを設定することはできません。
- KafkaソースとKafkaターゲットを使用するストリーミング取り込みとレプリケーションタスクでは、Kafkaに保存されているオフセットを再起動チェックポイントとして使用できますか。
- はい、Kafkaに保存されているオフセットを再起動チェックポイントとして扱うことができます。
- KafkaソースとKafkaターゲットを使用したストリーミング取り込みとレプリケーションタスクでは、group.idプロパティは、タスクがデプロイ解除されてデプロイされた後にチェックポイントを再起動するのに役立ちますか。
- group.idは、チェックポイントのリカバリ役立つKafkaの共有プロパティです。グループ内のKafkaソースがメッセージを正常に処理すると、トピックパーティション内のオフセットが更新されます。このオフセットは、group.idとともに保存されます。Kafkaデータフローがデプロイ解除からデプロイ済みステータスに移行し、稼働状態になると、同じgroup.idと保存されたオフセットを使用して、データフローが停止した場所から処理を再開します。
- タスクの失敗後にターゲットで重複している可能性を許容する[少なくとも1回は配信]を保証できますか。
- はい、[少なくとも1回は配信]は保証されています。
- ソースコネクタとターゲットコネクタによって配信に違いはありますか。
- 各コネクタには固有の実装がありますが、配信ではすべて[少なくとも1回は配信]を保証するように設計されています。
- 障害後のリカバリはどのように行われますか。
- Secure Agentが障害から復旧すると、ランタイムエンジンが再起動し、調整プロセスが実行されます。
- ストリーミング取り込みとレプリケーションは、複数のSecure Agentが含まれるSecure Agentグループをサポートしますか。
- ストリーミング取り込みとレプリケーションは、1つのエージェントグループで複数のSecure Agentをサポートします。ただし、データフローを複数のSecure Agentで同時に実行することはできません。
- ストリーミング取り込みとレプリケーションは共有Secure Agentグループをサポートしていますか。
- ストリーミング取り込みとレプリケーションは、共有Secure Agentグループをサポートしていません。
- 次の警告メッセージが表示されるのはなぜですか。
- "Secure Agentはオフラインになっているか、到達できません。"
- この警告メッセージは、次の理由で表示される場合があります。
- - Secure Agentでネットワークエラーが発生している。
- - エージェントのチャネルサービスが正しく動作していないため、通信するためにトンネルを開くことができない。
- - Java ヒープメモリに問題がある。
- - 一部の古いデータフローが他のデータフローをブロックしており、エージェントに到達できない。
- - 異なるユーザーでエージェントを作成および開始する際に、権限の問題が発生している。
PODのアップグレードに関する質問
- ストリーミング取り込み(SI)エージェントのアップグレードとパッチはどのように適用されますか?
- SIエージェントの新しいバージョンがダウンロードされると、REPLACEモードを使用してアップグレードされます。次のアクションが実行されます。
- 1古いパッケージが停止し、将来のデバッグのためにすべてのログと設定のアーカイブが作成されます。
- 2新しいパッケージがデプロイされます。
- 3新しいパッケージが起動されます。
SIエージェントは、後続のSIエージェントバージョン間で状態と設定を共有するように設計されています。新しいバージョンは、以前のバージョンの状態と設定を使用して、同じ状態で再開されます。アップグレード後、システムで新しいバージョンディレクトリが作成され、古いバージョンから新しいバージョンにシームレスに切り替わります。古いバージョンは、パージされるまでエージェントで1週間保持されます。
- SIエージェントを利用できない場合はどうなりますか?
- SIエージェントは、データフローの更新を定期的にチェックし、デプロイします。データフローの更新中にSIエージェントが使用できない場合は、再起動後に変更がプルされます。SIエージェントは、そのステータスに基づいて再起動します。SIエージェントが停止すると、対応するインスタンスも停止します。
- SIエージェントの再起動はどのように処理されますか?
- SIエージェントは、そのステータスに基づいて再起動します。SIエージェントが停止すると、対応するインスタンスも停止します。
- エージェントホストが使用できない場合はどうなりますか?
- エージェントホストがサービスから使用できない場合、データフローは引き続き実行されますが、データフローの更新がエージェントにデプロイされない可能性があります。エージェントがオンラインに戻ると、SIエージェントは更新のチェックを再開し、最新バージョンのデータフローをプルします。
- エージェントコアが使用できない場合はどうなりますか?
- システムは、エージェントコアを自動的に監視し、再起動します。その結果、SIエージェントは中断することなく継続的に動作します。
- エージェントコアにパッチを適用するとどうなりますか?
- エージェントコアにパッチを適用しても、SIエージェントは引き続き実行されます。パッチが成功すると、SIエージェントはデータフローに影響を与えずに操作を再開します。