java.lang.ClassNotFoundException при запуске программы в искровом кластере

Предлагает добавить этот метод, чтобы узнать ресурсы пути к классам перед вызовом, чтобы убедиться, что с точки зрения вызывающего абонента все в порядке.

public static void printClassPathResources() {
        final ClassLoader cl = ClassLoader.getSystemClassLoader();
        final URL[] urls = ((URLClassLoader) cl).getURLs();
        LOG.info("Print All Class path resources under currently running class");
        for (final URL url : urls) {
            LOG.info(url.getFile());
        }

    }

• Это пример конфигурации Spark 1.5.

--conf "spark.driver.extraLibrayPath=$HADOOP_HOME/*:$HBASE_HOME/*:$HADOOP_HOME/lib/*:$HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar:$HDFS_PATH/*:$SOLR_HOME/*:$SOLR_HOME/lib/*" \ --conf "spark.executor.extraLibraryPath=$HADOOP_HOME/*" \ --conf "spark.executor.extraClassPath=$(echo /your directory of jars/*.jar | tr ' ' ',')

• Как описано в этом руководстве по устранению неполадок :Класс не найден: проблемы с путем к классам Еще одна распространенная проблема заключается в том, что класс не определен при компиляции программ Spark. Это немного запутанная тема, потому что Spark на самом деле запускает несколько JVM, когда выполняет ваш процесс, и путь должен быть правильным. для каждого из них. Обычно это сводится к правильной передаче зависимостей исполнителям. Убедитесь, что при запуске вы включаете толстый Jar, содержащий все ваши зависимости (я рекомендую использовать сборку sbt) в объект SparkConf, используемый для создания контекста Spark. Вы должны в конечном итоге написать такую ​​​​строку в своем приложении spark:

val conf = new SparkConf().setAppName(appName).setJars(Seq(System.getProperty("user.dir") + "/target/scala-2.10/sparktest.jar"))

Это должно исправить подавляющее большинство проблем класса, которые не найдены. Другой вариант — поместить ваши зависимости в путь к классам по умолчанию на всех рабочих узлах в кластере. Таким образом, вам не придется передавать большую банку.

Единственная другая серьезная проблема с классом, не найденным, связана с разными версиями используемых библиотек. Например, если вы не используете идентичные версии общих библиотек в своем приложении и на сервере spark, у вас могут возникнуть проблемы с путями к классам. Это может произойти, когда вы компилируете одну версию библиотеки (например, Spark 1.1.0), а затем пытаетесь запустить кластер с другой или устаревшей версией (например, Spark 0.9.2). Убедитесь, что вы сопоставляете версии своей библиотеки с тем, что загружается в пути к классам исполнителя. Типичным примером этого может быть компиляция альфа-сборки Spark Cassandra Connector, а затем попытка запуска с использованием ссылок на пути к классам на более старую версию.