ストリーミング取り込みとレプリケーションタスクのトラブルシューティング

ストリーミング取り込みとレプリケーションタスクをAmazon Kinesisソースでデプロイしているときに、タスクのステータスが［稼働中］に変わった直後にデータを送信すると、データが失われます。

回避策: タスクをデプロイしてジョブとして実行した後、しばらく待ってからデータを送信してください。

Amazon DynamoDBからのストリームをコンシュームするKinesis Streamsソースを使用したストリーミング取り込みとレプリケーションジョブは、Kinesis Streamsから取り込んだデータの読み取りに失敗します。ストリーミング取り込みとレプリケーションジョブは［稼働中］ステータスで実行されますが、エラーは返されません。

Amazon DynamoDBユーザーに次の必要な権限を付与します。

dynamodb:CreateTable
- dynamodb:DescribeTable
- dynamodb:Scan
- dynamodb:PutItem
- dynamodb:GetItem
- dynamodb:UpdateItem
- dynamodb:DeleteItem
Resource:
- !Join ["", ["arn:aws:dynamodb:*:", !Ref 'AWS::AccountId', ":table/*"]]

Amazon CloudWatchに次の権限を付与します。

"Action": "cloudwatch:DescribeAlarms"
"Action": "cloudwatch:PutMetricData"

Kafka接続の作成中に、SSLモードが無効に設定されている場合、宣言されている他の追加の接続プロパティ値は考慮されません。

この問題をオーバーライドするには、［追加セキュリティプロパティ］フィールドで追加の接続プロパティを宣言します。

Kafkaターゲットに大量のデータを取り込もうとすると、ストリーミング取り込みとレプリケーションジョブの実行時に次のエラーが発生します。

A message in the stream exceeds the maximum allowed message size of 1048576 byte.

このエラーメッセージは、受信したメッセージサイズがKafkaサーバーが受信できる最大メッセージサイズである1 MBを超える場合に表示されます。

Amazon Kinesis FirehoseまたはAmazon Kinesis Streamsのターゲットに大量のデータを取り込もうとすると、ストリーミング取り込みとレプリケーションジョブの実行時に次のエラーが発生します。

INFO - Mon Feb 04 07:01:44 UTC 2019PutKinesisStream[id=0421419e-b24f-4e3f-ad19-9a1fbc7b0f3c] Failed to publish to kinesis records StandardFlowFileRecord[uuid=36926fcd-dfed-46f9-ae41-a6d32c3d5633,claim=StandardContentClaim [resourceClaim=StandardResourceClaim[id=1549263211727-1, container=default, section=1], offset=2758, length=1067926],offset=0,name=testKinesis.2758-1070684.txt,size=1067926] because the size was greater than 1024000 bytes

このエラーメッセージは、受信したメッセージサイズがAmazon Kinesisの最大メッセージバッファサイズである1 MBを超える場合に表示されます。サイズが1 MBを超えるメッセージはターゲットに到達せず、転送中に失われます。

Amazon Kinesisソースを持つストリーミング取り込みとレプリケーションタスクのデプロイ中に、データ損失が発生します。

回避策: この問題を解決するには、ジョブとして実行するためにタスクをデプロイした後、データフローが［停止］、［デプロイ中］、［編集］、または［再デプロイ］の状態のときにデータを送信しないでください。