Вопросы по теме 'hdfs'
Запись файлов CSV в HDFS с помощью Flume
Я пишу несколько файлов CSV из своей локальной файловой системы в HDFS, используя Flume.
Я хочу знать, какой будет наилучшая конфигурация для стока Flume HDFS, чтобы каждый файл в локальной системе копировался точно в HDFS как CSV. Я хочу, чтобы...
11.05.2024
Kinit со Spark при подключении к Hive
Я пытаюсь подключиться к Hive (кластер hadoop имеет аутентификацию kerberos) из Spark, который является автономным.
Может ли кто-нибудь дать мне знать, как сделать kinit в программе spark, которую я мог бы подключить к улью?
ОБНОВЛЕНИЕ: мой...
18.03.2024
503 замедление в emr с s3-cp-dist
Я попытался скопировать файл паркета с разделами из моего «локального» hdfs (уменьшение эластичной карты Amazon). и у меня всегда одна и та же ошибка.
когда я выполняю ```
s3-dist-cp --src /myparquet --dest s3a://mys3path.com/mydest
```...
13.05.2024
Как определить размер кластера и тип экземпляра для использования в HDFS?
Как определить размер кластера, количество узлов, тип используемого экземпляра и конфигурацию оборудования для каждой машины в HDFS? Если можно, объясните, как это можно сделать для 10 ТБ данных. например если у нас есть 10 ТБ данных, каким должен...
07.03.2024
Фильтрация файлов в HDFS с временным диапазоном
У меня есть список файлов в HDFS, который нужно отфильтровать за последний период n hr с помощью сценариев bash.
$ find . -name "*" -type f \
-newermt "2019-09-22 23:59:59" \
! -newermt "2019-09-23 23:59:59"...
09.06.2024
Новые материалы
Я собираюсь научить вас Python шаг за шагом
Привет, уважаемый энтузиаст Python! 👋 Готовы погрузиться в мир Python? Сегодня я приготовил для вас кое-что интересное, что сделает ваше путешествие более приятным, чем шарик мороженого в..
Альтернатива шаблону исходящих сообщений для архитектуры микросервисов
Познакомьтесь с двухэтапным сообщением
В этой статье предлагается альтернативный шаблон для папки Исходящие : двухэтапное сообщение. Он основан не на очереди сообщений, а на..
React on Rails
Основное приложение Reverb - это всеми любимый монолит Rails. Он отлично обслуживает наш API и уровень просмотра трафика. По мере роста мы добавляли больше интерактивных элементов..
Что такое гибкие методологии разработки программного обеспечения
Что представляют собой гибкие методологии разработки программного обеспечения в 2023 году
Agile-методологии разработки программного обеспечения заключаются в следующем:
И. Введение
A...
Ториго — революция в игре Го
Наш следующий вызов против ИИ и для ИИ. Сможет ли он победить людей в обновленной игре Го?
Обратите внимание, что в следующей статье AI означает искусственный интеллект, а Goban —..
Простое развертывание моделей с помощью Mlflow — Упаковка классификатора обзоров продуктов NLP от HuggingFace
Как сохранить свои модели машинного обучения в формате с открытым исходным кодом с помощью MLFlow, чтобы позже получить возможность легкого развертывания. Сегодня модели упаковки имеют несколько..
Математика и интуиция - Часть 1
У каждой математической формулы есть доказательство. Часто эти доказательства слишком сложно понять, поскольку многие из них основаны на индукции, некоторые - на очень сложных наблюдениях, а..