Вопросы по теме 'spark-streaming'
Spark Streaming: как добавить дополнительные разделы в свой DStream?
У меня есть искровое потоковое приложение, которое выглядит так:
val message = KafkaUtils.createStream(...).map(_._2)
message.foreachRDD( rdd => {
if (!rdd.isEmpty){
val kafkaDF = sqlContext.read.json(rdd)...
17.03.2024
Spark Streaming Standalone: сохранение журналов
Я запускаю искровое потоковое приложение на автономной установке (версия 1.6.1). Когда я запускаю приложение с помощью spark-submit, журналы отображаются на терминале. Они пригодятся позже, например, чтобы понять, в чем причина сбоя приложения, если...
21.05.2024
как записать данные, преобразованные с помощью искры, обратно в брокер kafka с помощью pyspark?
В моем приложении pyspark я намерен использовать потоковую передачу Spark как метод преобразования сообщений Kafka «на лету». Каждое такое сообщение изначально получено из определенной темы Kafka. Такое сообщение нужно будет подвергнуть некоторым...
06.06.2024
Отправка метрик потоковой передачи Spark для открытия tsdb
Как я могу отправить метрики из моего задания потоковой передачи искры в открытую базу данных tsdb? Я пытаюсь использовать открытый tsdb в качестве источника данных в Grafana. Не могли бы вы помочь мне с некоторыми ссылками, с которых я могу начать....
21.03.2024
Как обрабатывать события Debezium от Kafka с помощью Pyspark?
Я следую этой инструкции https://debezium.io/docs/tutorial-for-0-2/ . Мой CDC хорошо работает для события mysql (создание, обновление, удаление).
Я пытаюсь получить это событие kafka из pyspark, используя python, мой код все еще не может получить...
11.03.2024
Новые материалы
Основы принципов S.O.L.I.D, Javascript, Git и NoSQL
каковы принципы S.O.L.I.D? Принципы SOLID призваны помочь разработчикам создавать надежные, удобные в сопровождении приложения. мы видим пять ключевых принципов. Принципы SOLID были разработаны..
Как настроить Selenium в проекте Angular
Угловой | Селен
Как настроить Selenium в проекте Angular
Держите свое приложение Angular и тесты Selenium в одной рабочей области и запускайте их с помощью Mocha.
В этой статье мы..
Аргументы прогрессивного улучшения почти всегда упускают суть
В наши дни в кругах веб-разработчиков много болтают о Progressive Enhancement — PE, но на самом деле почти все аргументы с обеих сторон упускают самую фундаментальную причину, по которой PE..
Введение в Джанго Фреймворк
Схема «работать умно, а не усердно»
В этой и последующих статьях я познакомлю вас с тем, что такое фреймворк Django и как создать свое первое приложение с помощью простых и понятных шагов, а..
Настольный ПК как «одно кольцо, чтобы править всеми» домашних компьютеров
Вид после 9 месяцев использования
С настольных компьютеров все началось, но в какой-то момент они стали «серверами», и мы все перешли на ноутбуки. В прошлом году я столкнулся с идеей настольных..
Расширенные методы безопасности для VueJS: реализация аутентификации без пароля
Руководство, которое поможет вам создавать безопасные приложения в долгосрочной перспективе
Безопасность приложений часто упускается из виду в процессе разработки, потому что основная..
стройный-i18следующий
Представляем стройную оболочку для i18next.
Эта библиотека, основанная на i18next, заключает экземпляр i18next в хранилище svelte и отслеживает события i18next, такие как languageChanged,..