Как изменить настройки искры на искровой оболочке?
Набор свойств прямо на SparkConf имеют наивысший приоритет, затем флаги передаются в spark-submit или spark-shell, затем параметры в настройках по умолчанию. conf файл.
...
Порядок приоритета:
- conf / spark-defaults. конф.
- --conf или -c - параметр командной строки, используемый spark-submit.
- SparkConf.