• hive on spark
  • 原理
  • 调优
• 遗留的问题
• 参考

hive on spark

原理

1. spark on yarn cluster

2. spark on yarn client

Spark on Yarn的运行原理

调优

refer to:

• Hive on Spark调优

遗留的问题

1. 如何通过YARN控制为不同的SPARK集群管理资源？

2. 如何控制hdfs, hive的访问权限？

3. 如何结合硬件资源来确定hdfs的总容量？

4. 测试集群的性能的办法

   • TPCx-BB

参考

• hive中的mapjoin
• hive 动态分区