linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux数据库 >

SparkSQL执行时参数优化

时间:2019-04-05  来源:未知  作者:admin666
以下列表中动态资源分配相关不建议使用

//1.下列Hive参数对Spark同样起作用。
set hive.exec.dynamic.partition=true; // 是否允许动态生成分区
set hive.exec.dynamic.partition.mode=nonstrict; // 是否容忍指定分区全部动态生成
set hive.exec.max.dynamic.partitions = 100; // 动态生成的最多分区数

//2.运行行为
set spark.sql.autoBroadcastJoinThreshold; // 大表 JOIN 小表,小表做广播的阈值
set spark.dynamicAllocation.enabled; // 开启动态资源分配
set spark.dynamicAllocation.maxExecutors; //开启动态资源分配后,最多可分配的Executor数
set spark.dynamicAllocation.minExecutors; //开启动态资源分配后,最少可分配的Executor数
set spark.sql.shuffle.partitions; // 需要shuffle是mapper端写出的partition个数
set spark.sql.adaptive.enabled; // 是否开启调整partition功能,如果开启,spark.sql.shuffle.partitions设置的partition可能会被合并到一个reducer里运行
set spark.sql.adaptive.shuffle.targetPostShuffleInputSize; //开启spark.sql.adaptive.enabled后,两个partition的和低于该阈值会合并到一个reducer
set spark.sql.adaptive.minNumPostShufflePartitions; // 开启spark.sql.adaptive.enabled后,最小的分区数
set spark.Hadoop.mapreduce.input.fileinputformat.split.maxsize; //当几个stripe的大小大于该值时,会合并到一个task中处理

//3.executor能力
set spark.executor.memory; // executor用于缓存数据、代码执行的堆内存以及JVM运行时需要的内存
set spark.yarn.executor.memoryOverhead; //Spark运行还需要一些堆外内存,直接向系统申请,如数据传输时的netty等。
set spark.sql.windowExec.buffer.spill.threshold; //当用户的SQL中包含窗口函数时,并不会把一个窗口中的所有数据全部读进内存,而是维护一个缓存池,当池中的数据条数大于该参数表示的阈值时,spark将数据写到磁盘
set spark.executor.cores; //单个executor上可以同时运行的task数

Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx

友情链接
  • 阿里巴巴证实全资收购协作软件平台Teambition
  • 甲骨文通知用户需付费取得Java 8更新
  • MIPS指令集开源了
  • Oracle 索引扫描的几种类型
  • Oracle 利用执行计划来避免排序操作
  • 火爆的996.ICU项目正在酝酿996.ICU开源许可证禁止996公司使用
  • Oracle日常性能问题查看
  • Google宣布新的两步验证界面
  • 微软已正式废止 WoSign / StartCom 品牌根证书
  • Oracle里的查询转换
  • PostgreSQL 最终支持 “REINDEX CONCURRENTLY”
  • Trinity R14.0.6 桌面环境发布,基于KDE 3.5
  • Oracle 序列 视图 索引 同义词
  • Radeon的AMDVLK Vulkan驱动程序获得优化,支持战锤2
  • WordPress 5.2 Beta 1 发布
  • 关于 Oracle 分组查询
  • Libinput 1.13 发布,改进Touch Arbitration
  • 麦当劳收购一家价值3亿美元的机器学习初创公司Dynamic Yield
  • Oracle 11g R2 Backup Data Pump(数据泵)之expdp/impdp工具
  • 基于Chromium的Microsoft Edge可以使用两种不同的引擎
  • HTML5 Broadway后端在GTK 4.0发布之前再次受到关注
  • 28365
  • 中国福彩3d走势图
  • 老虎机88老虎
  • 香港彩票
  • 体彩大乐透开奖