Я пытаюсь добавить дополнительные библиотеки в scala, используемые через spark-shell, через inatance Elsatic MapReduce. Но я не уверен, как это сделать, есть ли инструмент сборки, который используется при запуске spark-shell?
Все, что мне нужно сделать, это установить библиотеку scala и запустить ее через версию scala spark-shell, я не знаю, как это сделать, поскольку я не знаю, как экземпляр EMR устанавливает scala и spark.
Я думаю, что этот ответ будет развиваться с информацией, которую вы предоставляете. На данный момент, учитывая, что у вас развернут кластер AWS EMR, на котором вы хотите использовать spark-shell. Вариантов много:
Вариант 1. Вы можете скопировать свои библиотеки в кластер с помощью команды scp и добавить их в искровую оболочку с помощью параметров --jars. например:
с вашей локальной машины:
scp -i awskey.pem /path/to/jar/lib.jar hadoop@emr-cluster-address:/path/to/destination
в вашем кластере EMR:
spark-shell --master yarn --jars lib.jar
Spark использует следующую схему URL-адресов, позволяющую использовать различные стратегии распространения jar-файлов:
Вариант 2. Вы можете получить копию своих библиотек из S3 и добавить их с помощью параметра --jars.
Вариант 3. Вы можете использовать параметры --packages для загрузки из удаленного репозитория. Вы можете включить любые другие зависимости, указав список координат maven, разделенных запятыми. Все транзитивные зависимости будут обработаны при использовании этой команды. Дополнительные репозитории (или распознаватели в SBT) можно добавлять через запятую с помощью флага --repositories. Эти команды можно использовать с pyspark, spark-shell и spark-submit для включения пакетов Spark.
Для Python можно использовать эквивалентную опцию --py-files для распространения библиотек .egg, .zip и .py среди исполнителей.
