Хобрук: Ваш путь к мастерству в программировании

503 замедление в emr с s3-cp-dist

Я попытался скопировать файл паркета с разделами из моего «локального» hdfs (уменьшение эластичной карты Amazon). и у меня всегда одна и та же ошибка.

когда я выполняю ```

s3-dist-cp --src /myparquet --dest s3a://mys3path.com/mydest

```

я понимаю это

```

17/07/10 20:42:57 INFO mapreduce.Job:  map 0% reduce 0%
17/07/10 20:43:06 INFO mapreduce.Job:  map 100% reduce 0%
17/07/10 20:43:17 INFO mapreduce.Job:  map 100% reduce 5%
17/07/10 20:43:18 INFO mapreduce.Job:  map 100% reduce 6%
17/07/10 20:43:19 INFO mapreduce.Job:  map 100% reduce 7%
17/07/10 20:43:20 INFO mapreduce.Job:  map 100% reduce 9%
17/07/10 20:43:21 INFO mapreduce.Job:  map 100% reduce 11%
17/07/10 20:43:22 INFO mapreduce.Job:  map 100% reduce 14%
17/07/10 20:43:23 INFO mapreduce.Job:  map 100% reduce 16%
17/07/10 20:43:24 INFO mapreduce.Job:  map 100% reduce 18%
17/07/10 20:43:25 INFO mapreduce.Job:  map 100% reduce 21%
17/07/10 20:43:26 INFO mapreduce.Job:  map 100% reduce 23%
17/07/10 20:43:27 INFO mapreduce.Job:  map 100% reduce 25%
17/07/10 20:43:28 INFO mapreduce.Job:  map 100% reduce 27%
17/07/10 20:43:29 INFO mapreduce.Job:  map 100% reduce 29%
17/07/10 20:43:30 INFO mapreduce.Job:  map 100% reduce 31%
17/07/10 20:43:31 INFO mapreduce.Job:  map 100% reduce 33%
17/07/10 20:43:32 INFO mapreduce.Job:  map 100% reduce 35%
17/07/10 20:43:33 INFO mapreduce.Job:  map 100% reduce 38%
17/07/10 20:43:34 INFO mapreduce.Job:  map 100% reduce 40%
17/07/10 20:43:35 INFO mapreduce.Job:  map 100% reduce 42%
17/07/10 20:43:36 INFO mapreduce.Job:  map 100% reduce 44%
17/07/10 20:43:37 INFO mapreduce.Job:  map 100% reduce 46%
17/07/10 20:43:38 INFO mapreduce.Job:  map 100% reduce 48%
17/07/10 20:43:39 INFO mapreduce.Job:  map 100% reduce 50%
17/07/10 20:43:40 INFO mapreduce.Job:  map 100% reduce 52%
17/07/10 20:43:41 INFO mapreduce.Job:  map 100% reduce 55%
17/07/10 20:43:42 INFO mapreduce.Job:  map 100% reduce 57%
17/07/10 20:43:43 INFO mapreduce.Job:  map 100% reduce 59%
17/07/10 20:43:44 INFO mapreduce.Job:  map 100% reduce 61%
17/07/10 20:43:45 INFO mapreduce.Job:  map 100% reduce 63%
17/07/10 20:43:46 INFO mapreduce.Job:  map 100% reduce 65%
17/07/10 20:43:47 INFO mapreduce.Job:  map 100% reduce 67%
17/07/10 20:44:22 INFO mapreduce.Job:  map 100% reduce 68%
17/07/10 20:44:55 INFO mapreduce.Job: Task Id : attempt_1499714528879_0003_r_000122_0, Status : FAILED
Error: com.amazonaws.services.s3.model.AmazonS3Exception: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down; Request ID: 52A8AF1F5C2D0A04

```

Моя конфигурация кластера ```

--instance-groups \
InstanceGroupType=MASTER,InstanceCount=1,InstanceType=r3.8xlarge,BidPrice=5.0 \
 InstanceGroupType=CORE,InstanceCount=20,InstanceType=r3.8xlarge,BidPrice=5.0

```

есть способ это исправить?

amazon-s3 hdfs emr
10.07.2017

Ответы:


1

Это AWS блокирует ваши запросы, а клиент Apache S3A не в состоянии распознать их и отреагировать на них должным образом (ожидание и повторная попытка) вместо этого, по крайней мере, 1 августа 2017 года. [Будущие читатели: проверьте HADOOP-14381, чтобы узнать, исправлена ​​ли она).

Если вы используете s3-dist-cp, то это библиотеки Amazon, с которыми вы работаете. Попробуйте переключить URL-адрес назначения на s3://mys3path.com/mydest, чтобы убедиться, что это собственный клиент Amazon S3, а не клиент apache s3a, который используется для записи данных.

01.08.2017
  • не знаю, почему за это проголосовали. Кто бы это ни делал, ему никогда не приходилось обращаться в службу поддержки, связанную с регулировкой многотерабайтного задания distcp, потому что все они работали с одним и тем же сегментом и очисткой в ​​конце пути пытается сделать слишком много работы 20.12.2018
    • Новые материалы
    Я собираюсь научить вас Python шаг за шагом
    Привет, уважаемый энтузиаст Python! 👋 Готовы погрузиться в мир Python? Сегодня я приготовил для вас кое-что интересное, что сделает ваше путешествие более приятным, чем шарик мороженого в..
    Альтернатива шаблону исходящих сообщений для архитектуры микросервисов
    Познакомьтесь с двухэтапным сообщением В этой статье предлагается альтернативный шаблон для папки Исходящие : двухэтапное сообщение. Он основан не на очереди сообщений, а на..
    React on Rails
    Основное приложение Reverb - это всеми любимый монолит Rails. Он отлично обслуживает наш API и уровень просмотра трафика. По мере роста мы добавляли больше интерактивных элементов..
    Что такое гибкие методологии разработки программного обеспечения
    Что представляют собой гибкие методологии разработки программного обеспечения в 2023 году Agile-методологии разработки программного обеспечения заключаются в следующем: И. Введение A...
    Ториго  — революция в игре Го
    Наш следующий вызов против ИИ и для ИИ. Сможет ли он победить людей в обновленной игре Го? Обратите внимание, что в следующей статье AI означает искусственный интеллект, а Goban  —..
    Простое развертывание моделей с помощью Mlflow — Упаковка классификатора обзоров продуктов NLP от HuggingFace
    Как сохранить свои модели машинного обучения в формате с открытым исходным кодом с помощью MLFlow, чтобы позже получить возможность легкого развертывания. Сегодня модели упаковки имеют несколько..
    Математика и интуиция - Часть 1
    У каждой математической формулы есть доказательство. Часто эти доказательства слишком сложно понять, поскольку многие из них основаны на индукции, некоторые - на очень сложных наблюдениях, а..