自定义 Spark 集群

创建自定义 Spark 集群

1. 在“大数据工具”窗口中，单击并选择“自定义 Spark 集群”。

2. 在打开的窗口的第一步中，选择 SSH 配置，然后单击“下一步”。此 SSH 配置将用于连接到安装了 Spark-Submit 的服务器。

   

3. 如果要在 IDE 中监控 Spark 作业，请在向导的第二步中指定用于建立与 Spark 历史服务器的连接的参数。localhost:18080指定自定义参数或使用默认设置，这将创建使用 SSH 隧道的连接。

   否则，选择我不需要连接到 Spark 历史记录服务器。

   

4. 如果您需要与 Spark 集群建立 SFTP 连接，请在向导的第三步中指定其设置。

   否则，选择我不需要到驱动程序节点的 SFTP 连接。