В настоящее время я работаю с конфлюентной платформой 3.0.1. Я пытаюсь создать 2 соединителя для двух разных рабочих процессов, но при попытке создать новый соединитель создает для него новую группу.
Two connectors were created using below details:
1) POST http://devmetric.com:8083/connectors
{
"name": "connector1",
"config": {
"connector.class": "com.xxx.kafka.connect.sink.DeliverySinkConnector",
"tasks.max": "1",
"topics": "dev.ps_primary_delivery",
"elasticsearch.cluster.name": "ad_metrics_store",
"elasticsearch.hosts": "devkafka1.com:9300",
"elasticsearch.bulk.size": "100",
"tenants": "tenant1"
}
}
2) POST http://devkafka01.com:8083/connectors
{
"name": "connector2",
"config": {
"connector.class": "com.xxx.kafka.connect.sink.DeliverySinkConnector",
"tasks.max": "1",
"topics": "dev.ps_primary_delivery",
"elasticsearch.cluster.name": "ad_metrics_store",
"elasticsearch.hosts": "devkafka.com:9300",
"elasticsearch.bulk.size": "100",
"tenants": "tenant1"
}
}
Но оба они были созданы под разными идентификаторами группы. После этого я запросил существующие группы.
$ sh ./bin/kafka-consumer-groups --bootstrap-server devmetric.com:9091 --new-consumer --list
Result was:
connect-connector2
connect-connector1
Эти группы были созданы Kafka connect автоматически и не были предоставлены мной. Я дал другой group.id в worker.properties. Но я хотел, чтобы оба коннектора находились в одной группе, чтобы они работали параллельно для обмена сообщениями. На данный момент у меня есть 1 миллион данных по теме «dev.ps_primary_delivery», и я хочу, чтобы оба коннектора получили по 0,5 миллиона каждый.
Пожалуйста, дайте мне знать, как это сделать.
