JavaEE
鸿蒙应用开发
HTML&JS+前端
Python+大数据开发
人工智能开发
电商视觉设计
软件测试
新媒体+短视频
集成电路应用开发
C/C++
狂野架构师
IP短视频
spark笔记之Spark运行架构
更新时间:2018年09月11日16时01分 来源:传智播客 浏览次数:
3. Spark运行基本流程
Spark运行基本流程参见下面示意图：
1) 构建Spark Application的运行环境(启动SparkContext)，SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;
2) 资源管理器分配Executor资源并启动Executor，Executor运行情况将随着心跳发送到资源管理器上;
3) SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
4) Task在Executor上运行，运行完毕释放所有资源。
4. Spark运行架构特点
Spark运行架构特点：
①每个Application获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行tasks。
②Spark任务与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了。
③提交SparkContext的Client应该靠近Worker节点(运行Executor的节点)，最好是在同一个Rack里，因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换;如果想在远程集群中运行，最好使用RPC将SparkContext提交给集群，不要远离Worker运行SparkContext。
④Task采用了数据本地性和推测执行的优化机制。
作者：传智播客云计算大数据培训学院
最新资讯
江苏传智播客教育科技股份有限公司 版权所有Copyright 2006-2024 All Rights Reserved 苏ICP备16007882号营业执照增值电信业务经营许可证出版物经营许可证
苏公网安备 32132202001156号