hive on spark 与 hive on tez共存，tez-ui配置
2020-05-24 15:31:53
Hive on Spark与Hive on Tez共存时，Tez-UI的配置步骤如下：
安装Tomcat：首先确保已安装Tomcat，这是部署Tez-UI的前提条件。
找到并部署Tez-UI的war包：在安装包中找到tez-ui-0.9.0.war文件，并将其部署到Tomcat的webapps目录下的tez-ui子目录中。具体操作为：
在webapps下创建tez-ui目录：mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui
进入该目录并解压war包：cd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui && unzip tez-ui-0.9.0.war
编辑Tez-UI配置文件：修改config/configs.env文件以配置Tez-UI。
配置Timeline Server：在Hadoop的配置文件yarn-site.xml中添加必要的配置项，以启用和配置Timeline Server。这些配置包括启用Timeline服务、设置主机名、启用HTTP跨域支持等。
配置Tez以使用YARN Timeline：在tez-site.xml中添加配置，指定Tez使用YARN Timeline服务进行历史记录 logging，并设置Tez-UI的历史URL基础路径。
启动相关服务：
启动Hadoop集群。
启动Timeline Server：使用命令yarn-daemon.sh start timelineserver。
启动Tomcat：执行Tomcat的启动脚本，如/usr/local/apache/apache-tomcat-8.5.31/bin/startup.sh。
访问Tez-UI：在浏览器中输入Tez-UI的URL（如
http://192.168.205.70:8880/tez-ui/）来访问界面。解决Hive on Spark的问题：如果在配置Tez-UI后Hive on Spark出现问题，如找不到类的异常，需要下载并添加相关的Jackson库jar包到Hive、Spark以及Hive内Spark的jars目录中。
启动与停止命令：
启动Timeline Server和Tomcat的命令已给出。
停止服务则使用相应的stop命令，如yarn-daemon.sh stop timelineserver和Tomcat的关闭脚本。
通过以上步骤，可以实现在同一集群中Hive on Spark与Hive on Tez的共存，并成功配置和访问Tez-UI。
热门标签
