Я пытаюсь подключиться к Hive (кластер hadoop имеет аутентификацию kerberos) из Spark, который является автономным.
Может ли кто-нибудь дать мне знать, как сделать kinit в программе spark, которую я мог бы подключить к улью?
ОБНОВЛЕНИЕ: мой Spark находится в кластере, отличном от кластера Hadoop.
Предполагая, что у вас открыта искровая оболочка, и вы не хотите выходить, а затем повторно кините, вы можете сделать что-то вроде этого:
import java.lang.ProcessBuilder
import java.io.PrintWriter
//resets your kerberos login
val p1 = Runtime.getRuntime.exec("kdestroy")
p1.waitFor
//executes kinit,
val p = Runtime.getRuntime.exec("kinit")
val stdin = p.getOutputStream
val pw =new PrintWriter(stdin)
//val pwd = get_password() //get_password() is a function to get your password from a file, or wherever
pw.println(pwd) // you could put your password here , but plain text passwords are generally frowned upon
pw.close
p.waitFor
вы должны запустить команду kinit перед запуском spark-shell или отправить приложение spark (spark-submit). Другой вариант — получить билет kerberos с помощью keytab и запустить программу spark следующим образом.
bash -c "kinit -kt /path/to/key/mykey.keytab [email protected]; spark-shell"
С уважением,
org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab("[email protected]", "/some/path/to/the.donald.keytab")02.05.2017