- 博客(73)
- 收藏
- 关注
原创 CentOS7 修改设置静态IP和DNS
用虚拟机装CentOS7,使用的NAT的网络模式,为了防止再次启动系统的时候网络IP发生变化,因此设置静态IP和DNS。由于CentOS是最小化安装,没有ifconfig命令,因此可以采用ip命令查看。查看IP分配情况:# ip addr发现里边只有一个LOOPBACK的127.0.0.1的回环地址,原来CentOS刚安装后默认是不启动网络连接的。设置IP和DNS主要在下面的配置文件中修改:# c...
2018-02-11 09:51:50 3278 1
原创 Fabric 开发环境配置(2) - Ubuntu虚拟机和Mac/Windows主机如何实现文件共享
Fabric 开发环境配置(2) - Ubuntu虚拟机和Mac/Windows主机如何实现文件共享 目录1. VirtualBox虚拟机网络设置 1.1 NAT 网络地址转换模式(NAT,Network Address Translation) 1.2 Bridged Adapter 桥接模式 2. Mac/Windows和Ubuntu双向拷贝 3. 文件共享 3....
2018-09-07 11:58:07 482
原创 Fabric 开发环境配置(1) - Ubuntu操作系统安装配置
这篇文章易哥主要为大家分享如何在windows和Mac上安装虚拟机,如何通过虚拟机安装Ubuntu操作系统,如何配置搜狗拼音输入法。下篇将为大家分享Fabric 开发环境配置(2) - 虚拟机和主机如何实现文件共享。目录一、下载安装VirtualBox 二、安装Ubuntu操作系统 三、下篇预告一、下载安装VirtualBox下载移步到https://www.virtualbo...
2018-09-07 11:39:21 521
原创 Java读源码之Netty深入剖析----4.NioEventLoop
Java读源码之Netty深入剖析----4.NioEventLoop分析Netty reactor线程处理过程,包括事件监听,事件处理,常规任务处理和定时任务处理4-1 NioEventLoop概述4-2 NioEventLoop创建概述4-3 ThreadPerTaskThread4-4 创建NioEventLoop线程4-5 创建线程选择器4-6 NioEventLoop...
2018-09-06 20:33:50 350
原创 Java读源码之Netty深入剖析2-1-1 netty的设计模式
Java读源码之Netty深入剖析2-1-1 netty的设计模式如果要阅读源码,首先就要学会基本的设计模式。设计模式是前人总结出来的软件设计方法,有利于使代码更加简洁优雅。了解了netty的设计模式,再去看源码,会有一种焕然大悟的感觉。一、单例模式单例模式是最常见的设计模式:1、忽略反射的影响,全局只有一个实例2、有可能会出现延迟创建实例对象,要使用的时候才创建3、...
2018-09-06 20:09:52 777
原创 Java读源码之Netty深入剖析----3.Netty服务端启动
Java读源码之Netty深入剖析----3.Netty服务端启动分析服务端启动流程,包括服务端Channel的创建,初始化,以及注册到selector3-1 服务端启动demo3-2 服务端Channel的创建3-3 服务端Channel的初始化3-4 注册selector3-5 服务端口的绑定3-6 服务端启动总结 netty源码阅读之服务端启动 netty服务...
2018-09-06 18:41:23 558
原创 Java读源码之Netty深入剖析----2.Netty基本组件
Java读源码之Netty深入剖析----2.Netty基本组件2-1 一个简单的socket例子2-2 Netty对于socket的抽象2-3 Netty组件简单介绍 今天起,我开始写netty的博客,首先从基本组件开始:一、NioEventLoop相当于线程,可以处理连接请求和逻辑处理二、Channel接收数据的管道,相当于socket三、ByteBuf...
2018-09-06 17:33:04 1317
原创 Java读源码之Netty深入剖析----1-1 Netty深入剖析
Java读源码之Netty深入剖析----1-1 Netty深入剖析1.Netty用到的框架: 2.Netty是什么
2018-09-06 17:31:45 1369
原创 Solidity 智能合约开发工具准备第一篇
Solidity 智能合约开发工具准备第一篇 2016-03-16 Solidity (中文:固态,固体)是一种语法与Javascript相似的高级语言,它为Ethereum虚拟机(EVM)编译代码而设计。Solidity是静态类型的,支持继承,库和复杂的用户自定义类型以及其他功能。如您所见,它可以用来创建投票,众筹,盲拍,多重签名钱包等的智能合约。Solidity 很有用...
2018-08-20 11:07:41 720 2
原创 区块链专业术语最全词汇表:从 A - Z
区块链专业术语最全词汇表:从 A - Z 2016-02-11这篇文章是一个简单而又全面的Blockchain词汇表,用于令人印象深刻的blockchain语言世界。 Blockchain词汇表:从A-Z51% Attack(51%攻击)当一个单一个体或者一个组超过一半的计算能力时,这个个体或组就可以控制整个加密货币网络,如果他们有一些恶意的想法,他们就有可能发出一些冲突的交易...
2018-08-20 10:57:48 761
原创 一步一步了解区块链技术
一步一步了解区块链技术 2016-01-06区块链技术是新的互联网?比特币的创始人是Satoshi Nakamoto,一个叫中本聪的极客高手。区块链技术源于比特币,它是一个无比巧妙的发明。从比特币诞生至今不断的演进与成熟,区块链也逐渐演变成更大的东西,并且慢慢的应用的各种产品中,每个人都在问的主要问题是:什么是Blockchain?什么是区块链?通过允许数字信息被分发但不被复制,区...
2018-08-20 10:46:54 547
原创 [一起学Hive]之五-Hive的视图和分区
[一起学Hive]之五-Hive的视图和分区 同关系型数据库一样,Hive中也支持视图(View)和分区(Partition),但与关系型数据库中的有所区别,本文简单介绍Hive中视图和分区的示例。在真实业务场景下,视图的应用比较少,分区使用的非常多,因此建议对分区这块多花的时间来了解。 四、Hive的视图和分区4.1 Hive中的视图和关系型数据库一样,Hive中也提供了...
2018-08-02 09:23:28 408
原创 [一起学Hive]之四-Hive的安装配置
[一起学Hive]之四-Hive的安装配置 其实Hive的安装配置应该放在第二章来介绍,晚了些,希望对Hive初学者有用。三、Hive的安装配置3.1 环境需求Hadoop Client Mysql3.2 下载并解压Hive0.13.1安装包下载地址:http://archive.apache.org/dist/hive/hive-0.13.1/apache-hive...
2018-08-02 09:23:00 502
原创 [一起学Hive]之三–Hive中的数据库(Database)和表(Table)
[一起学Hive]之三–Hive中的数据库(Database)和表(Table) 在前面的文章中,介绍了可以把Hive当成一个“数据库”,它也具备传统数据库的数据单元,数据库(Database/Schema)和表(Table)。本文介绍一下Hive中的数据库(Database/Schema)和表(Table)的基础知识,由于篇幅原因,这里只是一些常用的、基础的。二、Hive的数据...
2018-08-02 09:22:37 513
原创 [一起学Hive]之二–Hive函数大全-完整版
[一起学Hive]之二–Hive函数大全-完整版 Hive函数大全–完整版现在虽然有很多SQL ON Hadoop的解决方案,像Spark SQL、Impala、Presto等等,但就目前来看,在基于Hadoop的大数据分析平台、数据仓库中,Hive仍然是不可替代的角色。尽管它的相应延迟大,尽管它启动MapReduce的时间相当长,但是它太方便、功能太强大了,做离线批量计算、ad-hoc查...
2018-08-02 09:21:20 921
原创 [一起学Hive]之一–Hive概述,Hive是什么
[一起学Hive]之一–Hive概述,Hive是什么 1. Hive是什么Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。这是来自官方的解释。简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得数...
2018-08-02 09:20:38 546
原创 Spark算子:RDD键值转换操作(2)–combineByKey、foldByKey
Spark算子:RDD键值转换操作(2)–combineByKey、foldByKey关键字:Spark算子、Spark RDD键值转换、combineByKey、foldByKeycombineByKey def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeComb...
2018-08-02 09:19:49 191
原创 Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues 关键字:Spark算子、Spark RDD键值转换、partitionBy、mapValues、flatMapValuespartitionBydef partitionBy(partitioner: Partitioner): RDD[(K, V)]该函数根据partit...
2018-08-02 09:19:21 507
原创 Spark算子系列文章----------Spark算子:RDD基本转换操作(6)–zip、zipPartitions
Spark算子:RDD基本转换操作(6)–zip、zipPartitions关键字:Spark算子、Spark RDD基本转换、zip、zipPartitionszipdef zip[U](other: RDD[U])(implicit arg0: ClassTag[U]): RDD[(T, U)]zip函数用于将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD...
2018-08-02 09:18:07 209
原创 Spark算子系列文章----------Spark算子:RDD基本转换操作(4)–union、intersection、subtract
Spark算子:RDD基本转换操作(4)–union、intersection、subtract 关键字:Spark算子、Spark RDD基本转换、union、intersection、subtractuniondef union(other: RDD[T]): RDD[T]该函数比较简单,就是将两个RDD进行合并,不去重。 scala> var rdd1 ...
2018-08-02 09:17:42 139
原创 Spark算子系列文章----------Spark算子:RDD基本转换操作(3)–randomSplit、glom
Spark算子:RDD基本转换操作(3)–randomSplit、glom关键字:Spark算子、Spark RDD基本转换、randomSplit、glomrandomSplitdef randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]]该函数根据weights权重...
2018-08-02 09:17:01 597
原创 Spark算子:RDD键值转换操作(3)–groupByKey、reduceByKey、reduceByKeyLocally
Spark算子:RDD键值转换操作(3)–groupByKey、reduceByKey、reduceByKeyLocally关键字:Spark算子、Spark RDD键值转换、groupByKey、reduceByKey、reduceByKeyLocallygroupByKeydef groupByKey(): RDD[(K, Iterable[V])]def groupByKey(...
2018-08-01 12:17:45 358
原创 Spark算子:RDD键值转换操作(4)–cogroup、join
Spark算子:RDD键值转换操作(4)–cogroup、join 关键字:Spark算子、Spark RDD键值转换、cogroup、joincogroup##参数为1个RDDdef cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]def cogroup[W](other: RDD[(K...
2018-08-01 12:17:27 201
原创 Spark算子:RDD行动Action操作(1)–first、count、reduce、collect
Spark算子:RDD行动Action操作(1)–first、count、reduce、collect 关键字:Spark算子、Spark RDD行动Action、first、count、reduce、collectfirstdef first(): Tfirst返回RDD中的第一个元素,不排序。 scala> var rdd1 = sc.makeRDD(Arra...
2018-08-01 12:16:46 1206
原创 Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
Spark算子:RDD行动Action操作(2)–take、top、takeOrdered关键字:Spark算子、Spark RDD行动Action、take、top、takeOrderedtakedef take(num: Int): Array[T]take用于获取RDD中从0到num-1下标的元素,不排序。 scala> var rdd1 = sc.makeRD...
2018-08-01 12:16:31 1743
原创 Spark算子:RDD行动Action操作(3)–aggregate、fold、lookup
Spark算子:RDD行动Action操作(3)–aggregate、fold、lookup 关键字:Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookupaggregatedef aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit...
2018-08-01 12:16:16 375
原创 Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy 关键字:Spark算子、Spark函数、Spark RDD行动Action、countByKey、foreach、foreachPartition、sortBycountByKeydef countByKey(): Map[K, Long]cou...
2018-08-01 12:15:55 420
原创 Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile 关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsTextFile、saveAsSequenceFile、saveAsObjectFilesaveAsTextFiledef...
2018-08-01 12:15:21 710
原创 Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset
Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset 关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsHadoopFile、saveAsHadoopDatasetsaveAsHadoopFiledef saveAsHadoopFile(path: ...
2018-08-01 12:15:00 1707
原创 Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset 关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDatasetsaveAsNewAPIHadoopFil...
2018-08-01 12:14:37 1310
原创 Spark算子系列文章------------Spark算子:RDD基本转换操作(1)–map、flatMap、distinct
Spark算子系列文章------------Spark算子:RDD基本转换操作(1)–map、flatMap、distinct关键字:Spark算子、Spark RDD基本转换、map、flatMap、distinctmap 将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素。 输入分区与输出分区一对一,即:...
2018-07-29 17:24:10 599 1
原创 SaltStack简介及安装配置
SaltStack简介及安装配置 SaltStack是一款开源的,基于Python的自动化运维工具,通过SaltStack,我们可以在成千上万台服务器上批量执行命令、分发文件、配置管理、部署代码、采集数据、安装软件等等,它具有以下特性:(1)、部署简单、方便;(2)、支持大部分UNIX/Linux及Windows环境;(3)、主从集中化管理;(4)、配置简单、功能强大、扩展性强;...
2018-07-29 16:12:06 253
原创 关于Redis的数据清理
关于Redis的数据清理 我们数据平台中有使用Redis来给线上提供低延时(20毫秒以内)的高并发读写请求,其中最大的Redis使用了阿里云的Redis集群(256G),存储的记录超过10亿,Key的有效期设置为15天,每天写入的记录大概5000万左右,QPS大概在6万左右。由于过期Key的产生速度大于Redis自动清理的速度,因此在Redis中会有大量过期Key未被及时清理。为什么有...
2018-07-29 16:04:40 9440 1
转载 AdMaster 如何驾驭百亿级Key实时Redis 集群
AdMaster 如何驾驭百亿级Key实时Redis 集群 注:本文转载自公众号AdMaster 作为技术驱动的营销数据公司,AdMaster每天处理超过100亿的数据请求,每天对1000亿数据进行上千种维度计算,每天增加超过5T数据量,为来自各行业的客户提供7*24小时数据应用服务。在这样领先的技术布局下,无论是数据实时性还是数据安全,都能得到最高级别的保障。在数据实时处...
2018-07-29 16:00:10 300
原创 主流开源SQL(on Hadoop)总结,不断改进的Hive始终遥遥领先
主流开源SQL(on Hadoop)总结,不断改进的Hive始终遥遥领先 本文涵盖了6个开源领导者:Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto,还加上Calcite、Kylin、Phoenix、Tajo 和Trafodion。以及2个商业化选择Oracle Big Data SQL 和IBM Big SQL,IBM 尚未将后者更名为“Watso...
2018-07-29 15:50:22 272
原创 异构数据源海量数据交换工具-Taobao DataX 下载和使用
异构数据源海量数据交换工具-Taobao DataX 下载和使用 DataX介绍DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换。目前成熟的数据导入导出工具比较多,但是一般都只能用于数据导入或者导出,并且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是,如果我们...
2018-07-29 15:40:14 666
原创 浅谈开源大数据平台的演变
浅谈开源大数据平台的演变 一说到开源大数据处理平台,就不得不说此领域的开山鼻祖Hadoop,它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性, 以及同时包含存储系统和计算系统,使得Hadoop成为大数据处理平台的基石之一。Hadoo...
2018-07-29 15:35:57 1403
原创 一个母婴电子商务网站贝贝网的大数据平台及机器学习实践
一个母婴电子商务网站贝贝网的大数据平台及机器学习实践 关键字:大数据平台、机器学习贝贝网的主要产品是垂直的母婴类,母婴相对一般的电子商务网站有一些特点:第一个特点是商品周期短,在母婴网站上的商品,在线的时间不会超过5-7天,第二个是用户需求的变化快,在母婴行业,可能是用户的需求变化最快的领域,比如是用户处在怀孕当中,关心的是孕妈的一些问题,几个月以后,随着宝宝的落地,就会准备一些纸尿...
2018-07-29 15:20:37 983
原创 从数据仓库到大数据,数据平台这25年是怎样进化的?
从数据仓库到大数据,数据平台这25年是怎样进化的?从「数据仓库」一词到现在的「大数据」,中间经历了太多的知识、架构模式的演进与变革。数据平台这25年究竟是怎样进化的?让InfoQ特约老司机为你讲解。我是从2000年开始接触数据仓库,大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉:非互联网企业、互联网企业的数据平台所面向用户群体是不同的。那么,这两类的数据平...
2018-07-29 15:18:20 1211
原创 大数据分析界的“神兽”Apache Kylin有多牛?
大数据分析界的“神兽”Apache Kylin有多牛? 本文作者:李栋,来自Kyligence公司,也是Apache Kylin Committer & PMC member,在加入Kyligence之前曾就职于eBay、微软。1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Table...
2018-07-29 15:11:50 129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人