Я пытаюсь запустить пример многоуровневого классификатора персептрона здесь: https://spark.apache.org/docs/1.5.2/ml-ann.html, кажется, он хорошо работает в spark-shell, но не в IDE, такой как Intellij и Eclipse. Проблема исходит от val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_multiclass_classification_data.txt").toDF()
Запросы IDE не удается разрешить символ sc(sparkcontext), но путь к библиотекам настроен правильно. Если кто-то может мне помочь, спасибо!
На самом деле такого значения как sc по умолчанию нет. Он импортируется при запуске искровой оболочки. В любом порядковом коде scala\java\python вы должны создать его вручную.
Недавно я сделал очень низкое качество ответ. Вы можете использовать часть о sbt и библиотеках в нем.
Затем вы можете использовать что-то вроде следующего кода в качестве шаблона для запуска.
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}
object Spark extends App {
val config = new SparkConf().setAppName("odo").setMaster("local[2]").set("spark.driver.host", "localhost")
val sc = new SparkContext(config)
val sqlc = new SQLContext(cs)
import sqlc.implicits._
//here you code follows
}
Далее вы можете просто нажать CtrlShiftF10
