- 博客(15)
- 收藏
- 关注
RSS订阅转载 连接oracle报错“ORA-28547：connection to server failed,probable Oracle Net admin 解决办法
listener.ora是服务器端的配置oracle的文件。后来将listener.ora的这一行注释掉，就行了，， (PROGRAM = extproc)修改为：SID_LIST_LISTENER = (SID_LIST = (SID_DESC = (SID_NAME = prod) (ORACLE_HOME = /u01/app/oracle/product
2018-01-30 17:55:35
871
转载 mysql锁表问题
可直接在mysql命令行执行：show engine innodb status\G;查看造成死锁的sql语句，分析索引情况，然后优化sql然后show processlist;show status like ‘%lock%’show OPEN TABLES where In_use > 0; 这个语句记录当前锁表状态 另外可以打开慢查询日志，linux下打开需在my.cnf的[mysql
2018-01-30 17:23:21
266
转载 Spark的RDD原理以及2.0特性的介绍
摘要: Spark 是 Apache 顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。与 Mapreduce 相比，Spark 具备 DAG 执行引擎以及基于内 ...管理 SQL 集群 Spark Hive王联辉，曾在腾讯，Intel 等公司从事大数据相关的工作
2017-11-14 10:24:10
299
转载 RDD 详情
1、RDD是什么RDD：Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。为什么会产生RDD？（1）传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其较大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁
2017-11-14 10:22:44
296
翻译 Storm配置项详解
什么是Storm?Storm是twitter开源的一套实时数据处理框架，基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要求。配置项详解:以下是从storm的backtype.storm.Config类中搜集的所有storm支持的配置项(Ba
2017-11-03 10:22:10
228
转载 简历心得
最近三年作为 Google(谷歌)的软件工程师，我每周会帮人事部门审查简历，决定要不要给他们面试。Google 这几年的发展让很多许多优秀的工程师都前来申请。到目前为止，我已经看了上千份简历，有些简历留下的印象比别的好很多。尤其是最近亲戚朋友常常问我如何修改他们的简历，所以我积累了一些常见的错误避免的提议，在此跟大家交流一下。1．谈到你做过的技术时，应该提到用的程序语言、你的个人贡献和产品
2017-11-02 19:53:14
387
转载 Apache Kafka 入门 - Kafka API 简单用法
Apache Kafka 入门Kafka的基本配置和运行Kafka命令详细介绍Kafka-manager的基本配置和运行Kafka API 简单用法Spring Boot 集成Kafka本篇为第四篇。第四篇和第五篇源码下载： 链接：http://pan.baidu.com/s/1dE4vpBj 密码：j74jKafka API 简单用法本
2017-10-31 18:55:31
439
转载 hadoop安装遇到的各种异常及解决办法
hadoop安装遇到的各种异常及解决办法异常一:2014-03-13 11:10:23,665 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 0 time(s); retry policy is Retry
2017-10-22 09:02:09
605
转载 电脑系统经常出现蓝屏现象, 分析各种蓝屏故障分析
笔记本电脑经常出现蓝屏现象，但有些朋友反映到笔记本装系统时出现蓝屏现象，怎么解决呢?问题分析：由于笔记本的硬盘运作模式默认为AHCI模式，而XP系统本身不集成AHCI驱动，所以会导致上述所说的蓝屏了，如下图：解决方法：要想成功安装系统，那么就要修改笔记本硬盘运作模式，把默认的AHCI模式转换为IDE模式，具体转换方法如下：问题一：笔记本电脑怎样设置硬
2017-10-15 15:25:28
562
转载 Hive SQL的编译过程
Hive SQL的编译过程Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将
2017-10-11 15:36:50
194
转载 oracle 常用sql语句
-- 首先，以超级管理员的身份登录oracle sqlplus sys/bjsxt as sysdba --然后，解除对scott用户的锁 alter user scott account unlock; --那么这个用户名就能使用了。 --(默认全局数据库名orcl) 1、select ename, sal * 12 from
2017-09-24 20:08:21
2982
转载 ETL 项目中统一管理上百个 SSIS 包的日志和包配置框架
如何在 ETL 项目中统一管理上百个 SSIS 包的日志和包配置框架2014-02-19 02:00 by BIWORK, 8706 阅读, 25 评论, 收藏, 编辑一直准备写这么一篇有关 SSIS 日志系统的文章，但是发现很难一次写的很完整。因为这篇文章的内容可扩展的性太强，每多扩展一部分就意味着需要更多代码，示例和理论支撑。因此，我选择我觉得比较通用的 LOG 部分，在这里分
2017-09-20 21:25:43
967
转载 ETL介绍
ETL，Extraction-Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下，在
2017-09-20 21:02:53
285
翻译 日期格式化
Java 语言的Calendar(日历),Date(日期), 和DateFormat(日期格式)组成了Java标准的一个基本但是非常重要的部分. 日期是商业逻辑计算一个关键的部分. 所有的开发者都应该能够计算未来的日期, 定制日期的显示格式, 并将文本数据解析成日期对象. 我们将讨论下面的类: 1、具体类(和抽象类相对)java.util.Date 2、抽象类java.
2017-09-18 20:18:59
512
原创 MapReducer2.0原理
MapReduce是一个用于大规模数据处理的分布式计算模型，最初由Google工程师设计并实现的，Google已经将完整的MapReduce论文公开发布了。其中的定义是，MapReduce是一个编程模型，是一个用于处理和生成大规模数据集的相关的实现。用户定义一个map函数来处理一个Key-Value对以生成一批中间的Key-Value对，再定义一个reduce函数将所有这些中间的有相同Key的Va
2017-09-15 14:53:04
358
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人