spark-submit之使用pyspark
在linux下,执行pyspark代码 —— 实测有效:但是并不是所有的包都能够成功,一些很复杂的包或者对C依赖很深的包例如 numpy, pandas, scipy等,无法通过本方法实现,实现可以参考https://www.cnblogs.com/qi-yuan-008/p/12199152.html;对一些比较简单的 第三方site-packages包,本方法则可以实现。
1. 安装pycharm或者spyder,然后在其中编写代码和执行语句
2. 通过job来提交,即spark-submit提交,下面主要讲这种方法
首先假设,自己写的 *.py 文件包含了这些包,即通过import导入
import os
from pyspark import SparkContext
from pyspark.sql.session import SparkSession
from pyspark.sql import HiveContext
import jieba
from collections import Counter
from operator import itemgetter
import time
import ast
from pyspark.sql.types import StructField, StructType, StringType
from pyspark.sql import SQLContext
3. 那么利用spark-submit提交时,就需要将需要的包全部打包在一个zip文件中,注意的是:需要的包要先在同一个目录下,然后在该目录一起打包成zip文件,例如在有以上包的情形下,可以:
第一:建立一个文件夹,来存放所有包:
mkdir lib_words
第二:复制所需的包(一般都在python的安装目录的lib下,其中第三方库在site-packages里面)到该文件夹下,因为一个个选比较麻烦,所以就一起打包了,但是并未复制和打包pyspark库的包
cp -r /usr/local/python3.7/lib/python3.7/* /home/lib_words
cp -r /usr/local/python3.7/lib/python3.7/site-packages/* /home/lib_words
第三:打包zip
zip -r /home/lib_words.zip ./*
4. 在命令行,使用spark-submit提交 *.py主文件,并使用参数 '--py-files' 导入zip文件,然后回车执行
spark-submit /home/pycharm_projects/cut_words/cut_words_fre.py --py-files='/home/lib_words.zip'
附加:首先通过在程序里面直接写入pyFiles参数(在SparkContext的参数中),然后直接提交运行:spark-submit /home/pycharm_projects/cut_words/cut_words_fre.py,实测也可
pyFiles=["/home/lib_words.zip"]#压缩的包的所在路径,可行
#pyFiles=["/home/test1.py","/home/test2.py"] #据说也可,但是因为文件太多,没有测试
sc = SparkContext('local', 'test', pyFiles=pyFiles)
结果最后,其中有一行会出现:
19:55:06 INFO spark.SparkContext: Successfully stopped SparkContext
附加2:通过 sc.addPyFile 方法也可以实现 (推荐)
sc = SparkContext('local', 'test')
sc.addPyFile(r'/root/test_words/lib_words.zip')
注:如果只有pyspark的包,可能不需要加入 *.zip 文件(未测试)
参考:
https://blog.csdn.net/lmb09122508/article/details/84586947
https://blog.csdn.net/MrLevo520/article/details/86738109
https://blog.csdn.net/qq_23860475/article/details/90479702
spark-submit之使用pyspark的更多相关文章
- 【原创】大数据基础之Spark(1)Spark Submit即Spark任务提交过程
Spark2.1.1 一 Spark Submit本地解析 1.1 现象 提交命令: spark-submit --master local[10] --driver-memory 30g --cla ...
- spark submit参数及调优(转载)
spark submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数. 使用格式: ./bin/spark-submit \ -- ...
- spark submit local遇到路径hdfs的问题
有时候第一次执行 spark submit --master local[*] 单机模式的时候,可以对linux本地路径进行输出.但是有时候提交到yarn的时候,是自动加上hdfs的路径这没问题, 但 ...
- Spark应用程序部署工具Spark Submit
不多说,直接上干货! spark-submit在哪个位置 [spark@master ~]$ cd $SPARK_HOME/bin [spark@master bin]$ pwd /usr/loca ...
- spark standalone ha spark submit
when you build a spark standalone ha cluster, when you submit your app, you should send it to the l ...
- spark submit参数及调优
park submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数. 使用格式: ./bin/spark-submit \ ...
- spark submit 入门
spark dirver本质是一个spark集群的驱动程序,你要调用spark集群的计算功能,必须要通过它! from pyspark import SparkConf, SparkContext c ...
- pycharm编写spark程序,导入pyspark包
一种方法: File --> Default Setting --> 选中Project Interpreter中的一个python版本-->点击右边锯齿形图标(设置)-->选 ...
- spark 2.0 中 pyspark 对接 Ipython
pyspark 2.0 对接 ipython 在安装spark2.0 后,以往的对接ipython方法失效,会报如下错错误: 因为在spark2.0后对接ipython的方法进行了变更我们只需要在py ...
- Spark Shell & Spark submit
Spark 的 shell 是一个强大的交互式数据分析工具. 1. 搭建Spark 2. 两个目录下面有可执行文件: bin 包含spark-shell 和 spark-submit sbin 包含 ...
随机推荐
- python扫描器-sqlalchemy入库操作
学习 [Python]Flask系列-数据库笔记 实践 #!/usr/bin/env python # -*- coding: utf-8 -*- from sqlalchemy import cre ...
- 未找到路径“ ”的控制器或该控制器未实现 IController。
未找到路径“/Platform/t_spay_sub_mchno/Index”的控制器或该控制器未实现 IController. 从SVN复制了份代码修改,然后找不到控制器和页面.在项目属性-WEB- ...
- 高级UI-事件传递
事件传递在Android中有着举足轻重的作用,那么事件的传递在Android中又是怎么样实现的呢,在这里我们将进一步探讨Android的事件传递机制 从一个例子入手 首先是一个简单的onTouch和o ...
- zookeeper的java api操作
zookeeper的java api操作 创建会话: Zookeeper(String connectString,int sessionTimeout,Watcher watcher) Zookee ...
- ubuntu18.04 阿里镜像源
备份:cp /etc/apt/sources.list /etc/apt/sources.list.bak 清空source.list:echo > /etc/apt/sources.list ...
- mysql left join 右表数据不唯一的情况解决方法
mysql left join 右表数据不唯一的情况解决方法 <pre>member 表id username1 fdipzone2 terry member_login_log 表id ...
- JDBC缓冲池配置druid.properties
driverClassName=com.mysql.jdbc.Driver url=jdbc:mysql://localhost:3306/mytest?characterEncoding=UTF-8 ...
- python 之 并发编程(线程Event、协程)
9.14 线程Event connect线程执行到event.wait()时开始等待,直到check线程执行event.set()后立即继续线程connect from threading impor ...
- 利用Python进行数据分析 第5章 pandas入门(1)
pandas库,含有使数据清洗和分析工作变得更快更简单的数据结构和操作工具.pandas是基于NumPy数组构建. pandas常结合数值计算工具NumPy和SciPy.分析库statsmodels和 ...
- High load average analyze
https://www.tummy.com/articles/isolating-heavy-load/ https://www.tecmint.com/understand-linux-load-a ...