自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

x531280572的博客

  • 博客(7)
  • 资源 (17)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

转载 MaxCompute参数调优

1 背景及目的对于ODPS上的运行时间长的任务来说，针对不同的问题有不同的优化方法（详见其他章节）。但是对于一些特殊场景的任务来说，除了从业务上可以进行优化之外，还需要通过一些辅助的参数设置才能达到比较好的优化效果。因此，ODPS提供了很多性能参数供开发人员使用。2 参数介绍2.1 资源参数ODPS处理一个任务主要分为三个阶段：Map、Reduce、Join。如果处理的数据量比较大...

2019-08-03 18:48:51 3110

转载 阿里巴巴大数据之路——数据模型篇

阿里巴巴大数据之路——数据模型篇一、概述　　1.什么是数据模型？　　　　数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。　　2.典型数据仓库建模方法论　　　　ER模型　　　　纬度模型（建模四步曲：确定业务流程->确定粒度->确定纬度->确定事实表）二、阿里巴巴数据整合管理体系oneData　　　1.体系架构...

2019-07-29 16:05:33 774

原创 MapReduce俩种方式实现WordCount的JAVA编程

MapReduce三种方式实现WordCount的JAVA编程1.MapReduce实现（服务器内部运行jar方式）Hadoop版本：hadoop 2.6.5JDK版本：jdk1.7.0_79Zk版本：zookeeper-3.4.6启动环境：三台zookeeper：zkServer.sh start全面启动Hadoop：start-dfs.sh启动YarnH...

2019-03-06 14:13:50 482

原创 Flume基础操作，自定义Sink

Flume基础操作，自定义Sink1. 配置一个flume agent任务目标：source为 exec source，用tailf命令，监控文件任意channel设置为filechannelsink为hdfs sink任务完成步骤创建Flume agent配置文件，配置source、sink、channel。配置source type 为exec，tail -f监...

2019-02-20 17:52:21 3543

原创 Sqoop基础操作练习（一）

Sqoop基础操作练习（一）一. 通过sqoop将mysql数据导入hdfs任务目标：新建一张表插入些许数据阿将这些数据导入到hdfs任务完成步骤创建mysql表作为数据源插入几条数据用于测试Sqoop抽取mysql到hdfssqoop import –connect jdbc:mysql://10.200.65.112:3306/test ...

2019-02-20 17:34:23 382

原创 Spark基础RDD练习（一）

spark_rdd练习1.并行化创建RDD通过并行化生成rddscala> var rdd1 = sc.parallelize(List(123,32,44,55,66,77,88,999))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at :24查看该RDD的分...

2019-02-19 18:14:51 799 1

原创 Hadoop-HDFS学习理解到安装操作，以及HA高可用部署。

Hadoop HDFS概念分布式存储系统提供高可靠性、高扩展性和高吞吐量的数据存储服务分为三个节点NameNode：主节点，接受客户端读写服务，保存metadate信息，元数据，存储到fsimage文件上，fsimage在Format HDFS时创建，edits对metadate的操作日志，block位置信息不会保存到fsimage上。总结NN俩大功能：1.获取客户端的读写服务 2.存...

2019-01-24 15:47:10 251

达人ppt模板ppt素材文艺高质量
40套，现代化，高逼格，本人在用。 现在下载积分会随着下载量变高，本意不想设置太高。

2020-12-19

SONiX.SN32F7_DFP.1.5.4.pack
Version: 1.5.4 (2020-11-20) SONiX.SN32F7_DFP.1.5.4.pack Download Update SN32F700B.FLM, SN32F770.FLM, and SN32F760B.FLM Update system_SN32F780.c, system_SN32F790.c, SN32F780.svd, SN32F790.svd, SN32F780.h, and SN32F790.h

2020-11-21

Keil.STM32L552E-EV_BSP.1.0.0.pack
Version: 1.0.0 (2020-11-19) Keil.STM32L552E-EV_BSP.1.0.0.pack Download Board description and documentation for STM32L552E-EV Synchronized with STM32CubeL5 Firmware Package version V1.3.1 Drivers: Board Drivers, Components, Config files CMSIS-Driver VIO Utilities: LCD Utility Drivers

2020-11-21

Keil.STM32L5xx_DFP.1.3.0.pack
Version: 1.3.0 (2020-11-19) Keil.STM32L5xx_DFP.1.3.0.pack Download Updated Pack to STM32CubeL5 Firmware Package version V1.3.1 (using HAL Drivers V1.0.3.) Added global define USE_HAL_DRIVER to the component ::Device:STM32Cube HAL:Common

2020-11-21

Keil.NUCLEO-L552ZE-Q_BSP.1.1.1.pack
STMicroelectronics STM32L5 Series NUCLEO-L552ZE-Q Board Support Version: 1.1.1 (2020-11-19) Keil.NUCLEO-L552ZE-Q_BSP.1.1.1.pack Download Synchronized with STM32CubeL5 Firmware Package version V1.3.1 Updated CubeMX examples Platform project (synchronize with CB_Lab4Layer): Updated Peripheral Inter

2020-11-21

libsubstr_udf.so.rar
这是一个已经写好编译好现成的udf文件，里面有使用手册，解决impala截取中文与英文并存问题。目前，impala的substr函数及substring函数都不支持中文的截取，因此，需要通过udf函数实现。对于impala udf函数，可以采用C++ 和 Java , 但出于效率考虑，一般采用c++。

2019-11-25

产业互联网——构建智能+时代数字生态新图景（腾讯）.pdf
产业互联网与消费互联网相对应且关联，同时内涵工业互联网、互联网+、智能+等概念。主要有三方面特征： • 模式：产业互联网是互联网发展的递进与深化，将互联网从消费端带入生产端，目的是实现C2B2B2C的闭环、 带动各产业整体转型升级； • 对象：产业互联网是以机构组织为主体的渐进式创新。传统产业发展多年有各自内在的客观规律，互联网不可 能都颠覆。由传统企业和机构主导创新，才能更容易落地实现； • 手段：产业互联网不是某项单一技术，而是以数据作为基础资料，综合运用互联网、移动互联网、物联网、 大数据、云计算、人工智能等综合信息技术集，来促进传统产业转型升级，同时带动新兴产业发展。  要成功构建产业互联网实现产业升级，可以从五个维度的框架入手： • 市场融合：供应与需求精准匹配、产业与产业跨界协同； • 产品升级：数字化、软件化、服务化； • 人机协同运营：数据与算法融入企业经营决策； • 打造弹性组织：网络化、扁平化、自适应； • 系统互联：基础设施共享+ 综合技术运用+ 平台开放

2019-05-13

CentOS7静默安装ORACLE.doc
个人整理的如何在Linux下CentOS7静默安装的方法。。。。。

2017-10-25

libstdc++-3.4.6-9.i386.rpm
解决Linux下Oracle缺失 libstdc++-3.4.6-9.i386.rpm

2017-10-25

libgcc-3.4.6-3.1.i386.rpm
解决Linux下Oracle缺失依赖 libgcc-3.4.6-3.1.i386.rpm

2017-10-25

elfutils-libelf-devel-0.97.1-3.i386.rpm
解决Linux Oracle 缺失依赖elfutils-libelf-devel-0.97.1-3.i386.rpm

2017-10-25

perl-Pod-Simple-3.13-141.el6_7.1.x86_64.rpm
解决MySQL在linux下缺少依赖 perl-Pod-Simple-3.13-141.el6_7.1.x86_64.rpm

2017-10-25

perl-5.10.1-141.el6_7.1.x86_64.rpm
解决MYSQL在LINUXCENTOS下缺失依赖包 perl-5.10.1-141.el6_7.1.x86_64.rpm

2017-10-17

perl-libs-5.10.1-141.el6_7.1.x86_64.rpm
解决Mysql在linuxCentos下缺失依赖包 perl-libs-5.10.1-141.el6_7.1.x86_64.rpm

2017-10-17

perl-Module-Pluggable-3.90-141.el6_7.1.x86_64.rpm
解决Linux MySQL缺失依赖包 perl-Module-Pluggable-3.90-141.el6_7.1.x86_64.rpm

2017-10-17

perl-Pod-Escapes-1.04-141.el6_7.1.x86_64.rpm
MySQL在LinuxCentos下缺少依赖 perl-Pod-Escapes-1.04-141.el6_7.1.x86_64.rpm

2017-10-16

perl-version-0.77-141.el6_7.1.x86_64.rpm
MySQL 在linux Centos6.5精简版缺少依赖 ：perl-version-0.77-141.el6_7.1.x86_64.rpm

2017-10-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除