- 博客(31)
- 收藏
- 关注
RSS订阅原创 Scala 数据类型、变量、访问修饰符、运算符
一、Scala 数据类型Scala 与 Java有着相同的数据类型，下表列出了 Scala 支持的数据类型：数据类型 描述 Byte 8位有符号补码整数。数值区间为 -128 到 127 Short 16位有符号补码整数。数值区间为 -32768 到 32767 Int 32位有符号补码整数。数值区间为 -2147483648 到 2147483647...
2018-09-16 19:44:32
386
原创 scala中选择、循环结构
一、if......else1、if....elseif(布尔表达式){ // 如果布尔表达式为 true 则执行该语句块}else{ // 如果布尔表达式为 false 则执行该语句块}eg:object Test { def main(args: Array[String]) { var x = 30; if( x < 20...
2018-09-16 18:15:32
612
原创 scala方法与函数、闭包、字符串
一、scla方法与函数Scala 有方法与函数，二者在语义上的区别很小。Scala 方法是类的一部分，而函数是一个对象，可以赋值给一个变量。换句话来说在类中定义的函数即是方法。Scala 中的方法跟 Java 的类似，方法是组成类的一部分。Scala 中的函数则是一个完整的对象，Scala 中的函数其实就是继承了 Trait 的类的对象。Scala 中使用 val 语句可以定义函...
2018-09-16 17:14:21
461
原创 scala数组、Scala Collection（集合）、Iterator（迭代器）
一、scala数组数组：用来存储固定大小的同类型元素，通过索引来访问指定元素，索引index从0开始声明数组定义数组--语法格式：var z:Array[String] = new Array[String](3) 或 var z = new Array[String](3) 赋值：z(0) = "Runoob"; z(1) = "Baidu"; z(4/2) = "...
2018-09-16 14:30:48
3516
原创 scala异常处理、提取器(Extractor)、文件IO
一、Scala 异常处理Scala 的异常处理类似与其他语言Scala 的方法可以通过抛出异常的方法的方式来终止相关代码的运行，不必通过返回值。抛出异常scala使用throw方法抛出异常，eg：抛出一个新的参数异常--->throw new IllegalArgumentException捕获异常异常捕捉机制：若有异常发生，catch字句是按次序捕捉的。因此，在catc...
2018-09-15 22:53:31
619
原创 scala正则表达式
Scala 通过 scala.util.matching 包中的 Regex 类来支持正则表达式。eg：使用正则表达式查找单词 Scala实例中使用 String 类的 r() 方法构造了一个Regex对象。（也可直接new一个Regex对象实例） 然后使用 findFirstIn 方法找到首个匹配项。 如果需要查看所有的匹配项可以使用 findAllIn 方法。可以使用 mkS...
2018-09-15 19:21:29
1463
原创 scala类与对象、特征、模式匹配
一、类和对象类是对象的抽象，而对象是类的具体实例。类是抽象的，不占用内存，而对象是具体的，占用存储空间。 类是用于创建对象的蓝图，它是一个定义包括在特定类型的对象中的方法和变量的软件模板。 Scala中的类不声明为public，一个Scala源文件中可以有多个类。 Scala 的类定义可以有参数，称为类参数，类参数在整个类中都可以访问。 scala面向对象基本上与Java SE中OOP...
2018-09-13 19:56:06
888
原创 scala高阶函数
scala中，可以直接将某个函数传入其他函数，作为参数。此功能及其强大，是java这种面向对象的编程语言所不具备的。接收其他函数作为参数的函数，也被称为高阶函数（higher-order-function）1、函数作为其他函数的参数或者返回值匿名函数：在scala中，函数未被命名的函数scala定义匿名函数的语法：（参数名：参数类型）=>函数体eg ：//定义匿名函...
2018-09-13 16:58:19
412
原创 scala基础之函数、集合
一、值与变量//1、val(常量)、var（变量）var/val 变量名：类型=值var money:Int=15money=20println(money)val age:Int=25//age=19 //报错：val相当于java里的final，定义的是常量，赋值后不可改变。//2、数据类型，强制类型转换var a:Int=20var b=a.asInst...
2018-09-13 15:33:34
226
原创 centous7下zeppelin的安装配置
Apache Zeppelin是一款基于web的notebook(类似于ipython的notebook)，支持交互式地数据分析。原生就支持Spark、Scala、SQL 、shell, markdown等。开源对于 Zeppelin 而言，并不依赖 Hadoop 集群环境，我们可以部署到单独的节点上进行使用版本选择：zeppelin两个版本区别：zeppelin版本有两种分别是：...
2018-09-09 23:41:27
926
原创 基于 IntelliJ 的scala开发环境安装配置
Scala可以安装在任何基于UNIX/Linux或基于Windows的系统上。在开始安装Scala之前，必须先安装Java 1.8或更高版本。1、安装Java在系统上安装Java软件开发工具包(SDK)。要验证是否已经安装了Java----->java -version如果Java安装已经正确完成，那么它将显示Java安装的当前版本和规范。如何安装Java JDK，请参考：...
2018-09-07 10:07:46
253
原创 Scala基础入门
1、scala概述scala是一门多范式的编程语言，设计初衷是实现可伸缩的语言，并集成面向对象编程和函数式编程的各种特性。Scala是可扩展语言的缩写，是一种混合功能编程语言。Scala 运行在Java虚拟机上，并兼容现有的Java程序。Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。 Scala是面向对象语言 Scala...
2018-09-06 19:01:56
404
原创 centous7下spark的安装配置及提交模式
一、安装spark依赖的scala 1、下载和解压缩Scala 下载链接：http://www.scala-lang.org/ [hadoop@h3 software]$ tar -zxvf scala-2.12.6.tgz -C /opt/modules/ 2、配置环境变量 [hadoop@h3 scala-2.12...
2018-09-04 23:21:52
467
原创 centous7下mysql+hive的安装配置及使用
一、安装mysql1、查看是否安装过mysql[hadoop@h3 modules]$rpm -qa | grep -i mysql 此种情况表示安装过，卸载如下：[hadoop@h3 modules]$ sudo yum remove mysql-community-libs-5.7.23-1.el7.x86_64[hadoop@h3 modules]$ sudo yum r...
2018-09-04 15:32:31
373
原创 centous7安装hbase+zookeeper+phoenix
一. zookeeper安装配置已经配置好的hadoop集群：3个节点h1\h2\h3 下载解压zookeeper安装包到/opt/modules下 [hadoop@h3 software]$ tar -xzvf apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz -C /opt/modules/ 拷贝zoo_sample.cfg为zoo.cfg [...
2018-09-04 12:03:51
462
原创 VMware12创建虚拟机并安装centous7
VMware 官方网站：http://www.vmware.comVMware Workstation 是一个虚拟PC的软件，利用VMware工作站，可以在现有的操作系统上虚拟出一个或多个新的硬件环境，相当于模拟出多台新的PC，以此来实现在一台机器上同时运行多个独立的操作系统。VMware 是一种常用的、功能强大的虚拟机管理软件，该软件安装后，可以创建多个虚拟机（即虚拟PC），然后在虚拟机...
2018-09-03 14:46:05
1179
原创 phoenix的安装配置及使用
hbase 提供很方便的shell脚本以及java API等方式对Hbase进行操作，但是对于很多已经习惯了关系型数据库操作的开发来说，有一定的学习成本，如果可以像操作mysql等一样通过sql实现对Hbase的操作，那么很大程度降低了Hbase的使用成本。Apache Phoenix 组件就完成了这种需求，官方注解为 “Phoenix -we put the SQL back in NoSql”...
2018-08-31 13:55:58
1801
原创 Phoenix连接hbase的sql操作
phoenix，直译为凤凰，构建在Hbase之上，使用标准的SQL操作Hbase，可以做联机事务处理，拥有低延迟的特性。phoenix会把SQL编译成一系列的Hbase的scan操作，然后把scan结果生成标准的JDBC结果集，其底层由于使用了Hbase的API，协处理器，过滤器，处理千万级行的数据也只用毫秒或秒级就搞定。支持有：SELECT, FROM, WHERE, GROUP B...
2018-08-31 13:20:36
1798
原创 Junit单元测试异常：java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing
mybatis项目下执行@test时报如下错误：由org.hamcrest.SelfDescribing分析应该是缺少hamcrest-core-1.3.jar包所以我在项目的junit下添加了hamcrest-core-1.3.jar包，问题解决原因：缺少hamcrest-core-1.3.jar包...
2018-08-26 00:15:50
1012
原创 mybatis环境搭建及简单查询
首先新建一个web工程，然后做如下操作：下载所需jar文件mybatis-3.2.2.zip----------------------mybatis的jar文件mybatis-3-mybatis-3.2.2.zip----------------mybatis源码包部署jar文件将下载好的mybatis-3.2.2.zip、mysql-connector-java-5.1.0...
2018-08-25 23:53:51
595
原创 启动hive常见错误之-----RuntimeException: java.net.NoRouteToHostException：没有到主机的路由
[hadoop@h3 bin]$ hivewhich: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/modules/jdk1.8.0_181/bin:/opt/modules/hadoop-2.7.6/sbin:/opt/modules/hadoop-2.7.6/bin:/opt/modules/hiv...
2018-08-01 21:38:23
3718
3
原创 Python爬虫之初窥Scrapy
初窥ScrapyScrapy is anapplication framework for crawling web sites and extracting structured datawhich can be used for a wide range of useful applications, like data mining,information processing or his...
2018-06-20 01:22:03
393
原创 Python中xml解析
XML指可扩展标记语言（extensibleMarkup Language），被设计用来传输和存储数据python有3种方法解析XML：SAX,DOM以及ElemenTree1、SAX（simple API for XML）python标准库包含SAX解析器，SAX用事件驱动模型，通过在解析XML的过程中触发事件并调用用户定义的回调函数来处理XML文件2、DOM（Document object M...
2018-06-18 12:45:56
2539
原创 python文件读写、序列化和反序列化、os
文件读写：open(filename, mode) 返回file对象filename：包含了你要访问的文件名称的字符串值mode：决定了打开文件的模式：只读，写入，追加等。不同模式打开文件的完全列表：r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。w 打开一个文件只用于写入。文件已存在则将其覆盖。文件不存在，则创建新文件。a 打开一个文件用于追加。b 以二进制格式读或写+ 可...
2018-06-12 16:11:48
579
原创 第一类对象、闭包（装饰器）、语法糖
函数是第一类对象所谓第一类对象：可以用标识符给对新命名，并且对象可被当做数据处理，例如赋值、作为参数传递给函数，或者作为返回值return因此，可用其他变量名引用这个函数对象或将函数对象作为参数，传递给另一个函数:传参过程类似于一个赋值操作def func(a,b): return a+badd = funcprint(func(1,2))print(add(1,2))def ca...
2018-06-11 15:21:40
337
原创 python___日志、推导式、迭代器与生成器
日志一种可以追踪某些软件运行时所发生事件的方法可调用日志记录相关的方法来表明发生了某些事情。日志的作用：程序调试了解软件程序运行情况是否正常软件程序运行故障分析与问题定位日志等级：通过配置文件指定Logging模块：logging模块定义的函数和类为应用程序和库的开发实现了一个灵活的事件日志系统。logging模块是Python的一个标准库模块，由标准库模块提供日志记录API的关键好处是所有Pyt...
2018-06-06 19:44:28
256
原创 python面向对象之封装、继承、多态及异常
测试一个对象有多少个引用：#测试一个对象有多少个引用，用sys.getrefcount()#如果没有引用则抛异常import sysstr=10print(sys.getrefcount(str))运行结果：17若没有引用则报异常如下：Traceback (most recent call last): File "E:/python-workspace/python/Class/class-5....
2018-05-31 17:08:23
441
原创 python之map/reduce函数、sorted排序及类与对象
三个大数据常用重要函数python map()函数 map()函数接收两个参数，一个是函数，一个是序列map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回。map的两种使用方式：1、使用lambda 2、直接调用函数eg：'''遍历map的两种使用方式：1、使用lambda：map(lambdax:x*2+10,foo) 2、直接调用函数：result=map(tt,...
2018-05-31 17:03:20
1239
原创 Python3元组、字典及函数
Python3 元组Python 的元组与列表类似，但元组的元素不能修改。元组使用小括号（），列表使用方括号[ ]。元组创建，在括号中添加元素，并使用逗号隔开即可。>>> tup2 = (1, 2, 3, 4, 5 );>>> tup3 = "a","b", "c", "d"; # 不需要括号也可以>>&g
2018-05-25 19:01:43
622
原创 python字符串---函数、列表
1、单引号、双引号都可以定义字符串2、r/R原样输出，不解析字符串内建函数Python的字符串内建函数Python 的字符串常用内建函数如下：1、大小写转换：>>>str=”hello world” >>>str.capitalize() #首字母转大写’Hello world’>>>st...
2018-05-23 12:20:26
377
原创 Python数据类型 - 字符串切片操作、运算符、条件控制及循环语句
Python简介 Python是一种面向对象的解释性、交互性的计算机程序语言。 Python具有丰富和强大的库，常被作为“胶水语言”，可联结其他语言所编写的模块。 Python是一种强类型的语言，Python文件以.py为扩展名。注释及输入输出 单行注释#、多行注释''' '''、" " 、' ' 输入：input（） 输出：print()--输出...
2018-05-18 22:24:33
1060
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人