Как я могу отправить метрики из моего задания потоковой передачи искры в открытую базу данных tsdb? Я пытаюсь использовать открытый tsdb в качестве источника данных в Grafana. Не могли бы вы помочь мне с некоторыми ссылками, с которых я могу начать.
Я вижу здесь open tsdb reporter, который выполняет аналогичную работу. Как я могу интегрировать метрики из задания потоковой передачи Spark, чтобы использовать это? Есть ли простые варианты сделать это.
Один из способов отправить метрики в opentsdb — использовать его REST API. Чтобы использовать его, просто преобразуйте метрики в строки JSON, а затем используйте клиентскую библиотеку Apache Http для отправки данных (она находится в java и поэтому может использоваться в scala). Пример кода можно найти в github.
Более элегантным решением будет использование библиотеки метрик Spark и добавление приемника в базу данных. Однако было проведено обсуждение добавления приемника OpenTSDB для библиотеки показателей Spark. , наконец, в сам Spark его не добавили. Код доступен на github, и его можно использовать. К сожалению, код совместим со Spark 1.4.1, однако в худшем случае все же можно будет получить некоторые указания на то, что необходимо добавить.
