春宇大数据-CSDN博客

转载 CDH中配置HDFS HA、Hbase HA

最近又安装 hadoop 集群，故尝试了一下配置 HDFS 的 HA，这里使用的是 QJM 的 HA 方案。关于 hadoop 集群的安装部署过程你可以参考使用yum安装CDH Hadoop集群或者手动安装 hadoop 集群的过程。集群规划我一共安装了三个节点的集群，对于 HA 方案来说，三个节点准备安装如下服务：cdh1：hadoop-hdfs-na

2015-03-01 16:39:37 2628

转载 Flume-ng的原理和使用

1. 介绍Flume 是 Cloudera 提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume 支持在日志系统中定制各类数据发送方，同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。Flume 使用 java 编写，其需要运行在 Java1.6 或更高版本之上。官方网站：http://flume.apache.o

2015-03-01 16:36:03 766

转载分布式爬虫：使用Scrapy抓取数据

Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。官方主页： http://www.scrapy.org/中文文档：Scrapy 0.22 文档GitHub项目主页：https://github.com/scrapy/scrapyScrapy 使用了 Twi

2015-03-01 16:32:13 6398

转载 Spark1.2及CDH5.2~CDH5.3安装和使用(B)

这篇文章参考 How-to: Run a Simple Apache Spark App in CDH 5 编写而成，没有完全参照原文翻译，而是重新进行了整理，例如：spark 版本改为 1.2.0-cdh5.3.0，添加了 Python 版的程序。本文主要记录在 CDH5 集群环境上如何创建一个 Scala 的 maven 工程并且编写、编译和运行一个简单的 Spark 程序

2015-03-01 16:25:31 783

转载 Spark1.2及CDH5.2~CDH5.3安装和使用(A)

本文主要记录 Spark 的安装过程配置过程并测试 Spark 的一些基本使用方法。安装环境如下：操作系统：CentOs 6.5Hadoop 版本：CDH-5.3.0Spark 版本：1.2关于 yum 源的配置以及 Hadoop 集群的安装，请参考使用yum安装CDH Hadoop集群。1. 安装选择一个节点 cdh1 来安装 Spark ，首先查看 S

2015-03-01 16:23:51 3437

转载 Spark安装和使用

本文主要记录 Spark 的安装过程配置过程并测试 Spark 的一些基本使用方法。安装环境如下：操作系统：CentOs 6.5Hadoop 版本：CDH-5.3.0Spark 版本：1.2关于 yum 源的配置以及 Hadoop 集群的安装，请参考使用yum安装CDH Hadoop集群。1. 安装选择一个节点 cdh1 来安装 Spark ，首先查看 Spark

2015-03-01 16:16:18 2766

Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以通过编程将数据读取到集群的内存当中，并且可以方便用户快速地重复查询，非常适合用于实现机器学习算法。本文将

2015-02-22 15:41:30 657

转载 Spark技术解析及其在百度最大单集群1300台的应用实践

2015年1月10日，Databricks软件工程师连城、百度高级工程师甄鹏、百度架构师孙垚光、百度美国研发中心高级架构师刘少山四位专家联手为我们打造了一场基于Spark的高性能应用盛宴。其中，Databircks是Spark的创建公司，而百度则是国内规模最大的Spark集群的运营者（基于出稿前，国内各大Spark用户公布的数据）——实际生产环境，最大单集群规模1300台（包含数万核心和上百TB内

2015-01-19 13:20:06 1170

转载 SparkSQL配置和使用初探

原文 http://www.cnblogs.com/byrhuangqiang/p/4012087.html1.环境OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive：0.11.0JDK:1.7.0_60Spark:1.1.0（内置SparkSQL）Scala:2

2015-01-19 13:17:25 1046

转载 Pentaho 左列菜单的中文国际化问题--PRPT报表以及 PRPT 报表参数 Label 国际化

Pentaho 左列菜单的中文国际化问题--PRPT 以及 PRPT 报表参数 Label 国际化注意：报表的内容国际化这里不再赘述，直接看文档就OK. Pentaho 4.5不支持报表Title\Description等信息的国际化，下面来主要讲述如何通过修改源码来进行国际化Title等。结果演示：默认语言显示为：language=en 即：英文显示为看到了

2013-12-28 16:29:43 3823

转载 PostgreSQL与MySQL比较

特性MySQLPostgreSQL实例通过执行 MySQL 命令（mysqld）启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mysqld 实例。一个实例管理器可以监视 mysqld 的各个实例。通过执行 Postmaster 进程（pg_ctl）启动实例。一个实例可以管理一个或多个数据库，这些数据库组成

2013-12-08 15:17:07 685

转载 MySQL-Cluster架构图文详解

前言：这是我第一次接触Linux，CentOS， MySQL，用了5天的时间终于将基于CentOS5.0系统下MySQL-Cluster架构成功，下面将我这些经验分享给大家。若发现有什么错误和疏忽之处，请发邮件给我： [email protected]。(PDF图文版请下载，地址：http://download.csdn.net/source/3365704)配置之前，先补充一些Lin

2013-12-08 15:14:45 515

转载 MySQL负载均衡-2：nginx 实现mysql的负载均衡

nginxmysql负载均衡moduleservertcpnginx属于七层架构，支持的是http协议，本身对tcp协议没有支持。所以不能代理mysql等实现负载均衡。但是lvs这个东西不熟悉，主要是公司的的负载均衡都是nginx所以决定研究一下nginx的这个功能实现，下面简单介绍一下实现方法：1.下载module模块下载地址： https://

2013-09-28 15:17:32 878

转载 MySQL负载均衡-1：利用keepalived构建双主MySQL

分类： mysql shell mysql性能监控与调优 keepalive 2012-09-10 13:07 1487人阅读评论(0)收藏举报mysql服务器serverauthentication脚本delay使用MySQL双master+keepalived是一种非常好的解决方案，在MySQL-HA环境中，MySQL互为主从关系，这样就保证了两

2013-09-28 15:17:07 1295

转载 mysql调优三步曲(慢查询、explain profile)

mysqlprofilingquerylogging优化sql目录(?)[+]首先我们先讲一讲mysql的慢查询接下来就是explain再者就是profilemysql profile explain slow_query_log分析优化查询在做性能测试中经常会遇到一些sql的问题，其实做性能测试这几年遇到问题最多还是数据库这块，要么就是IO高要么就是cpu

2013-09-28 15:13:58 1229

转载 MySQL的优化步骤总结

MySQL的优化一、我们可以且应该优化什么？硬件操作系统/软件库 SQL服务器(设置和查询) 应用编程接口(API) 应用程序二、优化硬件如果你需要庞大的数据库表(>2G)，你应该考虑使用64位的硬件结构，像Alpha、Sparc 或即将推出的IA64。因为MySQL内部使用大量64位的整数，64位的CPU将提供更好的性能。对大数据库，优化

2013-09-28 15:12:17 648

转载 utf8_unicode_ci与utf8_general_ci的区别

当前，utf8_unicode_ci校对规则仅部分支持Unicode校对规则算法。一些字符还是不能支持。并且，不能完全支持组合的记号。这主要影响越南和俄罗斯的一些少数民族语言，如：Udmurt 、Tatar、Bashkir和Mari。utf8_unicode_ci的最主要的特色是支持扩展，即当把一个字母看作与其它字母组合相等时。例如，在德语和一些其它语言中‘ß’等于‘ss’。utf8_

2013-09-23 12:32:44 533

原创 MySQL建立新用户&授权

以登录系统： --第一步：用root登录mysql --user=root --第二步：建用户 + 授权GRANT SELECT ON *.* TO bigdata@"%" IDENTIFIED BY 'Abcd1234' WITH GRANT OPTION; ----创建新用户 +密码是“Abcd1234” + 只授权Select + 允许远程登录MySQL；

2013-09-10 16:08:38 478

原创解决MySQL不允许从远程访问的4种策略

解决方法：首先，用本机登录到该Myql数据库上，分以下4种情况进行授权：策略1、全部授权:GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION //赋予任何主机访问数据的权限FLUSH PRIVILEGES ; 策略2. 指定用户名授权:例如，你

2013-08-22 09:08:44 632

转载解决mysql忘记密码

mysql有时候忘记密码了怎么办? 我给出案例和说明!一下就解决了!　　Windows下的实际操作如下　　1.关闭正在运行的MySQL。　　2.打开DOS窗口，转到mysql\bin目录。　　3.输入mysqld --skip-grant-tables回车。如果没有出现提示信息，那就对了。　　4.再开一个DOS窗口(因为刚才那个DOS窗口已经不能动了)，转到mysql\

2013-08-14 09:34:59 509

转载 xampp默认mysql密码设置,修改mysql的默认空密码

以前开发我一直都是用的appserv，appserv的特点就是一键安装，安装的时候会要求用户输入mysql的root密码。今天我改用xampp作为我的开发环境，所以碰到了修改mysql默认空密码的问题。我看了下网上所提供的一些帮助信息，搞的那么复杂，其实没必要，我这有简单的做法，其实本质上都是大同小异，下面说下我的方法：因为安装xampp后的mysql默认密码为空，所以我们能登录到phpm

2013-08-14 09:20:55 552

春宇大数据专栏