コネクタと接続 > データ取り込みおよびレプリケーション接続プロパティ > Kafka接続のプロパティ
  

Kafka接続のプロパティ

Kafka接続のセットアップ時に、接続プロパティを設定します。
次の表に、Kafka接続のプロパティを示します。
プロパティ
説明
接続名
接続の名前。
名前では大文字小文字を区別しません。ドメイン内で一意である必要があります。このプロパティは、接続を作成した後に変更できます。名前は128文字以内で指定し、空白および以下の特殊文字は使用できません。
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
説明
オプション。接続を識別するために使用する説明。
説明は、4,000文字を超えることはできません。
タイプ
Kafka接続タイプ。
接続タイプが見つからない場合は、管理者[アドオンコネクタ]ページに移動し、コネクタをインストールしてください。
ランタイム環境
タスクを実行するランタイム環境の名前。
Kafka Brokerリスト
Kafka Brokerのカンマ区切りリスト。
Kafka Brokerを一覧表示するには、次の形式を使用します。
<HostName>:<PortNumber>
注: SSLを介してKafka Brokerに接続する場合は、ホスト名に完全修飾ドメイン名を指定する必要があります。それ以外の場合、テスト接続はSSLハンドシェイクエラーで失敗します。
再試行タイムアウト
オプション。Secure Agentがデータの読み取りまたは書き込みのためにKafka Brokerへの再接続を試行した後の秒数。
デフォルトは180秒です。
このプロパティは、データベース取り込みとレプリケーションでは使用されません。[追加接続プロパティ]で同等のKafkaプロパティを指定できます。
Kafka Brokerのバージョン
Kafkaメッセージブローカーのバージョン。有効な値はApache 0.10.1.1以上のみです。
ストリーミング取り込みとレプリケーションタスクではオプションです。
追加接続プロパティ
オプション。Kafkaプロデューサまたはコンシューマの追加設定プロパティのカンマ区切りリスト。
ストリーミング取り込みとレプリケーションタスクで<Security Protocol>SASL_PLAINTEXTまたはSASL_SSLに設定する場合は、<kerberos name>プロパティを設定してください。
データベース取り込みとレプリケーションタスクでセキュリティプロトコルとプロパティを指定する場合は、[追加セキュリティプロパティ]プロパティではなく、ここで指定します。例: security.protocol=SSL,ssl.truststore.location=/opt/kafka/config/kafka.truststore.jks,ssl.truststore.password=<trustore_password>
ConfluentスキーマレジストリのURL
KafkaのAvroソースとターゲットにアクセスするためのConfluentスキーマレジストリサービスの場所とポート。
スキーマレジストリのURLを一覧表示するには、次の形式を使用します。
<https>://<HostName or IP>:<PortNumber>
または
<http>://<HostName or IP>:<PortNumber>
スキーマレジストリのURLの例:
https://kafkarnd.informatica.com:8082
または
http://10.65.146.181:8084
メタデータを格納するためにConfluentスキーマレジストリを使用するAvro形式でKafkaトピックをインポートする場合にのみ適用されます。
このプロパティは、データベース取り込みとレプリケーションでは使用されません。[追加接続プロパティ]で同等のKafkaプロパティを指定できます。
SSLモード
必須。接続に使用する暗号化タイプを決定します。
次のSSLモードからモードを選択できます。
  • - 利用不可状態。Kafkaブローカとの暗号化されていない接続を確立します。
  • - 一方向。トラストストアファイルおよびトラストストアパスワードを使用してKafkaブローカとの暗号化された接続を確立します。
  • - 双方向。トラストストアファイル、トラストストアパスワード、キーストアファイル、およびキーストアパスワードを使用して、Kafkaブローカへの暗号化された接続を確立します。
このプロパティは、データベース取り込みとレプリケーションでは使用されません。[追加接続プロパティ]で同等のKafkaプロパティを指定できます。
SSLトラストストアファイルパス
一方向または双方向SSLモードを使用するときは必須です。
Kafkaブローカに接続するためのSSL証明書を格納するSSLトラストストアファイルの絶対パスとファイル名。
SSLトラストストアパスワード
一方向または双方向SSLモードを使用するときは必須です。
SSLトラストストアのパスワード。
SSLキーストアファイルパス
双方向SSLモードを使用するときは必須です。
Kafkaブローカに接続するためのプライベートキーと証明書を格納するSSLキーストアファイルの絶対パスとファイル名。
SSLキーストアパスワード
双方向SSLモードを使用するときは必須です。
SSLキーストアのパスワード。
追加セキュリティプロパティ
オプション。安全な方法でKafkaブローカに接続するための、追加の設定プロパティのカンマ区切りリスト。
[追加接続プロパティ][追加セキュリティプロパティ]で同じプロパティに2つの異なる値を指定すると、[追加セキュリティプロパティ]の値が[追加接続プロパティ]の値をオーバーライドします。
このプロパティは、データベース取り込みとレプリケーションでは使用されません。セキュリティプロトコルとプロパティは、[追加接続プロパティ]で指定できます。

スキーマレジストリのセキュリティ設定プロパティ

[スキーマレジストリのURL]接続プロパティを設定する際は、スキーマレジストリのセキュリティ設定プロパティを設定できます。これらのプロパティは、詳細モードのマッピングにのみ適用されます。 一方向SSL、双方向SSL、および基本認証を設定して、安全な方法でConfluentスキーマレジストリに接続できます。
次の表に、Confluentスキーマレジストリを使用する場合の、Kafka接続のセキュリティプロパティを示します。
プロパティ
説明
SSLモードスキーマレジストリ¹
必須。接続に使用する暗号化タイプを決定します。
次のSSLモードからモードを選択できます。
  • - 利用不可状態。暗号化されていない、Confluentスキーマへの接続を確立します。
  • - 一方向。トラストストアファイルおよびトラストストアパスワードを使用して、Confluentスキーマレジストリへの暗号化された接続を確立します。
  • - 双方向。トラストストアファイル、トラストストアパスワード、キーストアファイル、およびキーストアパスワードを使用して、Confluentスキーマレジストリへの暗号化された接続を確立します。
このプロパティは、データベース取り込みとレプリケーションでは使用されません。[追加接続プロパティ]で同等のKafkaプロパティを指定できます。
SSL TrustStoreファイルパススキーマレジストリ¹
一方向または双方向SSLモードを使用するときは必須です。
Confluentスキーマレジストリに接続するためのSSL証明書を格納するSSLトラストストアファイルの絶対パスとファイル名。
SSL TrustStoreパスワードスキーマレジストリ¹
一方向または双方向SSLモードを使用するときは必須です。
SSLトラストストアのパスワード。
SSL KeyStoreファイルパススキーマレジストリ¹
双方向SSLモードを使用するときは必須です。
Confluentスキーマレジストリに接続するためのプライベートキーと証明書を格納するSSLキーストアファイルの絶対パスとファイル名。
SSL KeyStoreパスワードスキーマレジストリ¹
双方向SSLモードを使用するときは必須です。
SSLキーストアのパスワード。
追加のセキュリティプロパティスキーマレジストリ²
オプション。安全な方法でConfluentスキーマレジストリに接続するための、追加のセキュリティプロパティのカンマ区切りリスト。
例えば、Confluentスキーマレジストリとの安全な通信を確立するための基本認証を設定する場合は、次の値を指定します。
basic.auth.credentials.source=USER_INFO,basic.auth.user.info=<username>:<password>
[追加接続プロパティ][追加のセキュリティプロパティスキーマレジストリ]で同じプロパティに2つの異なる値を指定した場合は、[追加のセキュリティプロパティスキーマレジストリ]の値が[追加接続プロパティ]の値より優先されます。
このプロパティは、データベース取り込みとレプリケーションでは使用されません。
¹ 詳細モードのマッピングにのみ適用されます。
² マッピングおよび詳細モードのマッピングに適用されます。

Kerberised Kafkaクラスタからのデータの読み取りまたは書き込みのためのkrb5.confファイルの設定

Kerberised Kafkaクラスタに対する読み取りまたは書き込みを行うには、デフォルトのレルム、KDC、およびKafkaの詳細ソースプロパティまたは詳細ターゲットプロパティを設定します。
必要なKerberos構成ファイルをSecure Agentマシンに配置し、Kafka接続で必要なJAAS設定を指定することで、KafkaクライアントのKerberos認証を設定できます。JAAS設定により、KafkaブローカがKafkaクライアントを認証するために使用する必要があるキータブとプリンシパルの詳細を定義します。
Kerberised Kafkaクラスタからの読み取りまたはKerberised Kafkaクラスタへの書き込みを行う前に、次のタスクを実行します。
    1Kerberised Kafkaクラスタにkrb5.confファイルがあることをを確認してください。
    2デフォルトのレルムとKDCを設定します。デフォルトの/etc/krb5.confファイルが設定されていないか、設定を変更する場合は、/etc/krb5.confファイルに次の行を追加します。
    [libdefaults]
    default_realm = <REALM NAME>
    dns_lookup_realm = false
    dns_lookup_kdc = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true

    [realms]
    <REALM NAME> = {
    kdc = <Location where KDC is installed>
    admin_server = <Location where KDC is installed>
    }
    [domain_realm]
    .<domain name or hostname> = <KERBEROS DOMAIN NAME>
    <domain name or hostname> = <KERBEROS DOMAIN NAME>
    3実行時にjava.security.auth.login.configファイルを使用して静的JAAS設定ファイルをJVMに渡すには、次のタスクを実行します。
    1. aJAAS設定ファイルがあることを確認してください。
    2. JAAS設定の作成およびKafkaクライアントのキータブの設定については、https://kafka.apache.org/0101/documentation/#securityのApache Kafkaのドキュメントを参照してください。
      たとえば、JAAS設定ファイルには、次の設定行を含めることができます。
      //Kafka Client Authentication. Used for client to kafka broker connection
      KafkaClient {
      com.sun.security.auth.module.Krb5LoginModule required
      doNotPrompt=true
      useKeyTab=true
      storeKey=true
      keyTab="<path to Kafka keytab file>/<Kafka keytab file name>"
      principal="<principal name>"
      client=true
      };
    3. bJAAS設定ファイルとキータブファイルをすべてのSecure Agentの同じ場所に配置します。
    4. ランタイム環境のすべてのSecure Agentがアクセスできる場所にファイルを配置することをお勧めします。たとえば、/etcまたは/tempです。
    5. c以下のプロパティを設定します。
    6. Kafka接続
      追加接続プロパティをKafka接続で設定し、次の形式で値を指定します。
      security.protocol=SASL_PLAINTEXT,sasl.kerberos.service.name=kafka,sasl.mechanism=GSSAPI
      ソース
      詳細ソースプロパティの[コンシューマ設定プロパティ]を設定して、Kafka接続の[追加接続プロパティ]で指定した値をオーバーライドします。次の形式で値を指定します。
      security.protocol=SASL_PLAINTEXT,sasl.kerberos.service.name=kafka,sasl.mechanism=GSSAPI
      ターゲット
      詳細ターゲットプロパティの[プロデューサ設定プロパティ]を設定して、Kafka接続の[追加接続プロパティ]で指定した値をオーバーライドします。次の形式で値を指定します。
      security.protocol=SASL_PLAINTEXT,sasl.kerberos.service.name=kafka,sasl.mechanism=GSSAPI
    4JAAS設定をsasl.jaas.config設定プロパティに埋め込むには、次のプロパティを設定します。
    Kafka接続
    追加接続プロパティをKafka接続で設定し、次の形式で値を指定します。
    security.protocol=SASL_PLAINTEXT,sasl.kerberos.service.name=kafka,sasl.mechanism=GSSAPI,
    sasl.jaas.config=com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true
    storeKey=true doNotPrompt=true serviceName="<service_name>" keyTab="<location of keytab file>"
    client=true principal="<principal_name>";
    ソース
    詳細ソースプロパティの[コンシューマ設定プロパティ]を設定して、Kafka接続の[Kerberos接続プロパティ]で指定した値をオーバーライドします。次の形式で値を指定します。
    security.protocol=SASL_PLAINTEXT,sasl.kerberos.service.name=kafka,sasl.mechanism=GSSAPI,
    sasl.jaas.config=com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true
    storeKey=true doNotPrompt=true serviceName="<service_name>" keyTab="<location of keytab file>"
    client=true principal="<principal_name>";
    ターゲット
    詳細ターゲットプロパティの[プロデューサ設定プロパティ]を設定して、Kafka接続の[Kerberos接続プロパティ]で指定した値をオーバーライドします。次の形式で値を指定します。
    security.protocol=SASL_PLAINTEXT,sasl.kerberos.service.name=kafka,sasl.mechanism=GSSAPI,
    sasl.jaas.config=com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true
    storeKey=true doNotPrompt=true serviceName="<service_name>" keyTab="<location of keytab file>"
    client=true principal="<principal_name>";

KafkaクラスタのSASL PLAIN認証の設定

Kafka接続では、KafkaブローカーのPLAINセキュリティをKafkaブローカーに接続するように設定できます。SASL PLAIN認証を使用してKafkaブローカーからデータを読み取ったり、Kafkaブローカーにデータを書き込んだりするには、Kafka接続プロパティを設定します。Kafka接続で定義されたプロパティをオーバーライドするには、詳細ソースプロパティまたは詳細ターゲットプロパティを設定できます。
KafkaブローカーがKafkaプロデューサおよびKafkaコンシューマを認証できるように、SASL PLAIN認証を設定できます。Kafkaは、Java Authentication and Authorization Service(JAAS)をSASL PLAIN認証に使用します。SASL PLAIN認証を有効にするには、SASLメカニズムをPLAINとして指定する必要があります。また、Kafkaブローカーが認証に使用する必要がある書式設定済みのJAAS設定を指定する必要があります。JAAS設定により、KafkaブローカーがKafkaクライアントを認証するために使用する必要があるユーザー名とパスワードを定義します。
以下のプロパティを設定します。
Kafka接続
[追加接続プロパティ]プロパティをKafka接続で設定し、次の形式で値を指定します。
security.protocol=SASL_SSL,sasl.mechanism=PLAIN,sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<username>" password="<password>";
[セキュリティ設定セクション]で、[一方向]SSLモードとして指定し、SSLトラストストアファイルパスとSSLトラストストアパスワードを指定します。
ソース
詳細ソースプロパティの[コンシューマ設定プロパティ]プロパティを設定して、Kafka接続の[追加接続プロパティ]プロパティで指定した値をオーバーライドします。次の形式で値を指定します。
security.protocol=SASL_SSL,sasl.mechanism=PLAIN,sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<username>" password="<password>";
ターゲット
詳細ターゲットプロパティの[プロデューサ設定プロパティ]プロパティを設定して、Kafka接続の[追加接続プロパティ]プロパティで指定した値をオーバーライドします。次の形式で値を指定します。
security.protocol=SASL_SSL,sasl.mechanism=PLAIN,sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<username>" password="<password>";
注: アプリケーション取り込みとレプリケーション、およびデータベース取り込みとレプリケーションでは、[追加のセキュリティプロパティ]からのエントリは使用されず、[追加の接続プロパティ]からのエントリのみがコンシュームされます。

Azure Event Hub KafkaブローカーのSASL PLAIN認証の設定

Kafka接続では、KafkaブローカーのPLAINセキュリティをAzure Event Hub Kafkaブローカーに接続するように設定できます。Azure Event Hub Kakfaブローカーに接続する場合、パスワードは、Event Hub名前空間の完全修飾ドメイン名(FQDN)、共有アクセスキー名、およびAzure Event Hub Kakfaブローカーへの接続に必要な共有アクセスキーを含むエンドポイントURLを定義します。SSLモードを一方向として設定し、SSLトラストストアファイルパス用にファイルシステム上の信頼されたルート証明書へのパスを指定します。
Azure Event Hub Kafkaブローカーに接続するには、上記のプロパティのいずれかを設定し、次の形式で値を指定します。
security.protocol=SASL_SSL,sasl.mechanism=PLAIN,sasl.kerberos.service.name=Kafka,sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="Endpoint=sb://<FQDN>/;SharedAccessKeyName=<key name>;SharedAccessKey=<shared access key>=";

Cloud Confluent KafkaクラスタのSASL_SSL認証の設定

Kafka接続では、Kafkaブローカーへの接続時にSSLセキュリティを暗号化と認証のために設定できます。SASL_SSL認証を使用してConfluent Kafkaブローカーに対してデータを読み書きするには、Kafka接続プロパティを設定します。Kafka接続で定義されたプロパティをオーバーライドするには、詳細ソースプロパティまたは詳細ターゲットプロパティを設定できます。
以下のプロパティを設定します。
プロパティ
追加接続プロパティ
security.protocol=SASL_SSL,sasl.kerberos.service.name=kafka,ssl.endpoint.identification.algorithm=https,sasl.mechanism=PLAIN,sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username=<> password=<>
SSLモード
一方向
SSLトラストストアファイルパス
Secure Agentのインストールディレクトリ内の次のいずれかの場所にある信頼されたルート証明書へのパス。
  • - <AGENT_HOME>/jdk/jre/lib/security/cacerts
  • - <AGENT_HOME>/jdk/lib/security/cacerts
  • - <AGENT_HOME>/jdk8/jre/lib/security/cacerts
SSLトラストストアパスワード
SSLトラストストアのパスワード。

Amazon Managed Streaming for Apache Kafkaへの接続

Kafka接続では、Amazon Managed Streaming for Apache Kafkaブローカに接続するようにPLAINTEXTまたはTLS暗号化を設定できます。Amazon Managed Streaming for Apache Kafkaブローカに対してデータの読み取りと書き込みを行うには、Kafka接続プロパティを設定します。
Kafka接続の[Kafkaブローカリスト]プロパティを設定し、接続先のKafkaブローカのカンマ区切りリストを次の形式で指定します。
<HostName>:<PortNumber>
TLS暗号化を設定して、KafkaブローカをKafkaプロデューサとKafkaコンシューマに安全に接続できるようにします。Amazon Managed Streaming for Apache KafkaブローカのTLS暗号化を設定するには、以下のプロパティを設定します。
財産
追加接続プロパティ
security.protocol=SSL
SSLモード
一方向または双方向。
SSLトラストストアファイルパス
一方向または双方向SSLモードを使用するときは必須です。
SSLトラストストアファイルの絶対パスおよびファイル名。
SSLトラストストアパスワード
一方向または双方向SSLモードを使用するときは必須です。
SSLトラストストアのパスワード。
SSLキーストアファイルパス
双方向SSLモードを使用するときは必須です。
KafkaブローカーがKafkaクラスタ証明書に対して検証するプライベートキーと証明書を含むSSLキーストアファイルの絶対パスとファイル名。
SSLキーストアパスワード
双方向SSLモードを使用するときは必須です。
SSLキーストアのパスワード。
詳細クラスタで実行されるマッピングを実行し、Amazon Managed Streaming for Apache Kafkaブローカに接続する場合は、Salted Challenge Response Authentication Mechanism(SCRAM)によるSASL_SSL認証を使用してKafkaブローカを設定します。SASL_SSL認証を使用してAmazon Managed Streaming for Apache Kafkaブローカに対してデータの読み取りと書き込みを行うには、以下のプロパティを設定します。
財産
追加接続プロパティ
security.protocol=SASL_SSL,sasl.mechanism=SCRAM-SHA-512,sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<username>" password="<password>";
SSLモード
一方向または双方向。
SSLトラストストアファイルパス
一方向または双方向SSLモードを使用するときは必須です。
SSLトラストストアファイルの絶対パスおよびファイル名。
SSLトラストストアパスワード
一方向または双方向SSLモードを使用するときは必須です。
SSLトラストストアのパスワード。
SSLキーストアファイルパス
双方向SSLモードを使用するときは必須です。
KafkaブローカーがKafkaクラスタ証明書に対して検証するプライベートキーと証明書を含むSSLキーストアファイルの絶対パスとファイル名。
SSLキーストアパスワード
双方向SSLモードを使用するときは必須です。
SSLキーストアのパスワード。