В сегодняшних высококонкурентных условиях скорость корпоративных инноваций быстро растет. Организации должны быстро реагировать и реагировать на новые рыночные тенденции, поведение клиентов и модели среды, чтобы получить конкурентное преимущество и завоевать клиентов. Жизненно важно иметь возможность обрабатывать данные по мере их поступления и принимать решения за миллисекунды. Потоковая обработка (или потоковая аналитика) позволяет принимать решения в режиме реального времени и является важнейшим компонентом гибкой корпорации.
Финансовые транзакции, показания датчиков, биржевые торги, взаимодействие с мобильными устройствами, системные журналы, клики по веб-сайтам, управление толпой, данные мониторинга работоспособности, данные мониторинга API, данные управления уведомлениями, ETL в реальном времени и т. д. — все это создает значительные объемы данных о на регулярной основе. Чтобы добиться конкурентного преимущества в повседневной деятельности компаний, цифровые компании все больше полагаются на потоковую аналитику и обработку данных в режиме реального времени.
Студия потоковой обработки WSO
WSO2 — одна из самых распространенных платформ для потоковой обработки.
Системы потоковой обработки обычно потребляют потоки данных из нескольких источников, обрабатывают их и публикуют результаты в виде уведомлений. Развертывание распределенной потоковой обработки умножает такие процессы и обеспечивает связь между собой через транспорты обмена сообщениями. Архитектуру для обработки распределенных потоков можно визуализировать, как показано на рисунке ниже.
Использование WSO2 для потоковой передачи изображений или видео на производстве. Архитектура систем видеонаблюдения, потоковое видео в реальном времени.
Референтная архитектура для системы компьютерного зрения Stream Process.
Обработка распределенного потока с помощью WSO2 (на Hadoop)
CI/CD с использованием WSO2
Сиддхи:
Что такое приложение Сиддхи?
Siddhi — это масштабируемая, облачная, масштабируемая, микропотоковая система обработки событий с полностью открытым исходным кодом, способная создавать управляемые событиями приложения для таких сценариев использования, как аналитика в реальном времени, интеграция данных, уведомления. управление и адаптивное принятие решений.
Логика обработки событий может быть написана с использованием запросов Streaming SQL с помощью графического редактора и редактора исходного кода, чтобы захватывать события из различных источников данных, обрабатывать и анализировать их, интегрировать с несколькими службами и хранилищами данных и публиковать выходные данные в различных конечных точках в режиме реального времени.
Написание логики обработки пара в Siddhi — это создание приложений Siddhi.
Приложение Siddhi — это скрипт с расширением файла .siddhi, имеющий автономную логику обработки потока. Конструкции потоковой обработки, такие как потоки и запросы, определенные в приложении Siddhi, невидимы даже для других приложений Siddhi, работающих в той же JVM.
Siddhi имеет обширную документацию, подробно описывает все, что вам нужно знать, создавая потоковые процессы с очень сложными процессами, управляемыми событиями.
Рекомендуется использовать различные варианты бизнес-использования в отдельных приложениях Siddhi, где это позволяет пользователям выборочно развертывать приложения в зависимости от потребностей бизнеса. Также рекомендуется перенести логику повторяющейся обработки паром, которая существует в нескольких приложениях Siddhi, например извлечение сообщений и предварительную обработку, в общее приложение Siddhi, тем самым уменьшив дублирование кода и улучшив удобство сопровождения. В этом случае для передачи событий из одного приложения Siddhi в другое пользователи могут настроить общую тему, используя In-Memory Sink и In-Memory Source для связи между ними.
Женитьба на Сиддхи с WSO2
Краткое руководство по Сиддхи.
Python API для Сиддхи.
Читать далее:
Репозиторий Github для вариантов использования предварительной обработки видеоизображения с использованием WSO.
Надеюсь, вы будете в курсе интеграционных технологий. Завтра мы увидим продолжение, Как мы предобрабатываем изображение или видеоданные?.
Спасибо, что прочитали пост.
Первоначально опубликовано на https://www.linkedin.com.
