• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > window操作系统搭建Spark开发调试环境

window操作系统搭建Spark开发调试环境

作者:andyliuzhii的专栏 字体:[增加 减小] 来源:互联网

本文主要包含优化等服务器相关知识,andyliuzhii的专栏希望可以进行参考

1 搭建环境前写个demo代码;
2 安装配置jdk1.8;
3 安装配置scala2.11.18;
4 导入pom.xml中依赖jar;
5 下载Hadoop的bin包,设定环境变量HADOOP_HOME,值为解压后的目录(http://hadoop.apache.org/releases.html下载);
6 下载winutils.exe将其放到$HADOOP_HOME/bin/目录下(https://github.com/srccodes/hadoop-common-2.2.0-bin下载,不用担心版本问题,Hadoop2.6.4、Hadoop2.8、Hadoop2.7.3 都用这个);
7 配置程序启动参数local ,再IDEA VMOPTION中  填写-Dspark.master=local[3],该模式所有的线程都在一个JVM里面,可以验证代码的逻辑错误,所有的日志也都在控制台打印;
8 启动。


注意:设置环境变量有两种方式
1.在系统中设置环境变量HADOOP_HOME和PATH,跟java设置类似(只需要设置一次,记得设置后要重启电脑才能生效,jdk这样设置环境变量就不用重启)
2.直接在程序里设置(这个好处是你不用重启电脑,但是你每写个小例子就得设置一下)
Configuration conf=new Configuration();

conf.set("hadoop_home", "H:\\publicQuoteJar\\hadoop-2.7.3");

 

 

IDEA服务器激活  http://www.iteblog.com/idea/key.php

参见http://blog.csdn.net/rickyit/article/details/51790069  本地激活方法,或者注册成为服务。

 

 

IDEA常用快捷键梳理

查询快捷键
CTRL+N   查找类
CTRL+SHIFT+N  查找文件
CTRL+SHIFT+ALT+N 查 找类中的方法或变量
CIRL+B   找变量的来源
CTRL+ALT+B  找所有的子类
CTRL+SHIFT+B  找变量的 类
CTRL+G   定位行
CTRL+F   在当前窗口查找文本
CTRL+SHIFT+F  在指定窗口查找文本
CTRL+R   在 当前窗口替换文本
CTRL+SHIFT+R  在指定窗口替换文本
ALT+SHIFT+C  查找修改的文件
CTRL+E   最 近打开的文件
F3   向下查找关键字出现位置
SHIFT+F3  向上一个关键字出现位置
F4   查找变量来源
CTRL+ALT+F7  选 中的字符 查找工程出现的地方
CTRL+SHIFT+O  弹出显示查找内容








SVN 管理
把SVN库添加到IDEA中 SETTING ->  VERSION CONTROL -> VCS = SVBVERSION

自动代码
ALT+回车  导入包,自动修正
CTRL+ALT+L  格式化代码
CTRL+ALT+I  自 动缩进
CTRL+ALT+O  优化导入的类和包
ALT+INSERT  生成代码(如GET,SET方法,构造函数等)
CTRL+E 或者ALT+SHIFT+C 最近更改的代码
CTRL+SHIFT+SPACE 自动补全代码
CTRL+空格  代码提示
CTRL+ALT+SPACE  类 名或接口名提示
CTRL+P   方法参数提示
CTRL+J   自动代码
CTRL+ALT+T  把选中的代码放在 TRY{} IF{} ELSE{} 里








复制快捷方式
F5   拷贝文件快捷方式
CTRL+D   复制行
CTRL+X   剪 切,删除行
CTRL+SHIFT+V  可以复制多个文本








高亮
CTRL+F   选中的文字,高亮显示 上下跳到下一个或者上一个
F2 或SHIFT+F2  高亮错误或警告快速定位
CTRL+SHIFT+F7  高亮显示多个关键字.








其他快捷方式
CIRL+U   大小写切换
CTRL+Z   倒退
CTRL+SHIFT+Z  向 前
CTRL+ALT+F12  资源管理器打开文件夹
ALT+F1   查找文件所在目录位置
SHIFT+ALT+INSERT 竖 编辑模式
CTRL+/   注释// 
CTRL+SHIFT+/  注释/*...*/
CTRL+W   选中代码,连续按会 有其他效果
CTRL+B   快速打开光标处的类或方法
ALT+ ←/→  切换代码视图
CTRL+ALT ←/→  返回上次编辑的位置
ALT+ ↑/↓  在方法间快速移动定位
SHIFT+F6  重构-重命名
CTRL+H   显 示类结构图
CTRL+Q   显示注释文档
ALT+1   快速打开或隐藏工程面板
CTRL+SHIFT+UP/DOWN 代码 向上/下移动。
CTRL+UP/DOWN  光标跳转到第一行或最后一行下
ESC   光标返回编辑框
SHIFT+ESC  光 标返回编辑框,关闭无用的窗口
F1   帮助 千万别按,很卡!
CTRL+F4   非常重要 下班都用








一.找文件找代码找引用相关


1.双击shift
在项目的所有目录查找,就是你想看到你不想看到的和你没想过你能看到的都给你找出来


2.ctrl+f
当前文件查找特定内容


3.ctrl+shift+f
当前项目查找包含特定内容的文件


4.ctrl+n
查找类


5.ctrl+shift+n
查找文件


6.ctrl+e
最近的文件


7.alt+F7
非常非常频繁使用的一个快捷键,可以帮你找到你的函数或者变量或者类的所有引用到的地方


二.编辑相关


1.shift+enter
另起一行


2.ctrl+r
当前文件替换特定内容


3.ctrl+shift+r
当前项目替换特定内容


4.shift+F6
非常非常省心省力的一个快捷键,可以重命名你的类、方法、变量等等,而且这个重命名甚至可以选择替换掉注释中的内容


5.ctrl+d
复制当前行到下一行


6.ctrl+x
剪切当前行


7.ctrl+c \ ctrl+v
大家都懂的


8.ctrl+z
撤销


9.ctrl+shift+z
取消撤销


10.ctrl+k
提交代码到SVN


11.ctrl+t
更新代码


12.alt+insert
非常非常以及相当方便的一个组合键,不信您往下看
在类中使用:可以自动生成构造器、getter/setter等等常用方法
在项目目录上使用:可用于新建各种文件
PS:黄色警告编译可以通过,不影响程序的正常运行,一般都是一些对于代码优化的建议,我遇到过的有:
(1).can be simplify
代码可以简化
(2).Variable is never use
声明的变量从未被使用
(3)unnecessary boxing
不必要的声明包装
写个类实现某个接口,加上 implements Runnable 后你就会发现这条红色的波浪线


14.ctrl+alt+L


自动格式化代码,我已经养成了写完代码就来一发的习惯。

 

 

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

相关文章

  • Hadoop之——HBase笔记,hadoophbase
  • 大数据处理算法一:Bitmap算法,数据处理bitmap算法
  • hive SymlinkTextInputFormat介绍及用法,textinputformat
  • Linux IRQ Affinity,linuxirqaffinity
  • 浅谈大数据,浅谈数据
  • HBase数据导入的几种操作,hbase数据导入几种
  • ElasticSearch的分布式安装
  • 解决Myeclipse下Debug出现Source not found以及sql server中导入数据报错,myeclipsedebug
  • Hadoop之——HBASE结合MapReduce批量导入数据,hadoopmapreduce
  • libvirt网络过滤规则:禁止客户机(bridge方式)连接外网,libvirtbridge

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • 关于Openstack的浅层次认知,openstack认知
    • CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍,centos6.5hadoop2.6
    • Hadoop之Hbase从入门到精通,hadoophbase
    • Hadoop2.6 Ha 安装,hadoop2.6ha安装
    • 首届中国大数据技术沙龙会议邀请函,首届沙龙
    • 一道hadoop面试题,hadoop面试题
    • Machine Learning On Spark——第一节:基础数据结构(一),learningspark
    • 关于云服务器的瞎想,云服务器瞎想
    • HBase扫描器与过滤器,HBase扫描器过滤器
    • Spark Streaming和Flume集成指南V1.4.1,flumev1.4.1

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有