PyCharm 使用 Spark

Step 1
搭建spark 环境,spark 环境搭建请参考在单机上安装Spark
Step 2
进入spark安装目录:spark安装目录/python/lib
找到 py4j-0.8.2.1-src.zip 压缩包,如下图所示
捕获
捕2
解压缩 py4j-0.8.2.1-src.zip 压缩包 得到名为 py4j 的文件夹
复制 py4j 文件夹 到python目录下python的默认路径:usr/local/lib/python2.7 下

  • python的默认路径:usr/local/lib/python2.7 下
  • 在终端输入 sudo nautilus后,自动打开了一个窗口显示了/root目录,而且还有root权限,这个命令就是以root权限打开一个窗口,来管理文件。比如你直接点击 计算机 里面有很多文件夹和文件是root用户才能操作,所以你对该文件夹或文件不能进行粘贴,剪切,删除等操作,也不能建立新文件,而用nautilus命令后就可以复制文件到 python 目录下
  • 关机重启

Step 3
新建pycharm 新建工程,文件后,写入如下测试代码

捕获3pycharm 使用 spark 成功

参考:

  • http://yuenshome.com/2015/08/ubuntu%E4%B8%8B%E5%AF%BC%E5%85%A5pyspark%E5%88%B0shell/
  • http://www.open-open.com/lib/view/open1432192407317.html
  • http://zhidao.baidu.com/link?url=MBgdiGCRKgokKVjD2Q-vb_cBZ617y8NpuHnkU4epdG5eRb5PwqBD1dg24VQrLOLIQxDnnN5y4pV_i_jTRSnUdq

版权声明:本文为Tifficial原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。