- 博客(51)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 搭建yarn集群
前提条件：已安装hadoop 修改配置文件 yarn-site.xml 然后复制到每台机器 $PWD 当前目录 修改slaves文件 修改hadoop的slaves文件，列入要启动nodemanager的机器，然后将hdfs111到所有机器的免密登陆配置好。 脚本启动yarn集群 ...
2018-11-02 17:48:45
377
转载 深入理解MapReduce
MapReduce理解MapRedeuce，我们可以把它分开来理解：映射（Mapping） ：对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping（这里体现了移动计算而不是移动数据）； 化简（Reducing）：遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。...
2018-11-02 16:52:17
337
转载 阿里数据库连接池Druid
欢迎大家使用Druid，常见问题在这里解答，希望对大家有所帮助。1. Druid是什么？Druid是Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。2. 在哪里下载druid正式版本下载： maven中央仓库: http://central.maven.org/maven2/com/alibaba/druid/ 3. 怎么获取Druid的源码Dru...
2018-10-30 13:19:51
515
原创 IDEA下使用Maven搭建web项目
工具：IntelliJ IDEA 2017.2.3技术：springmvc+mybatis+maven项目地址： https://github.com/freeflyerTang/vms-web-app.git项目截图：框架搭建参考博客：https://www.cnblogs.com/helloyy/p/6826101.html项目过程中遇到的问题及解决办法： ...
2018-10-26 16:45:47
189
转载 OLTP和OLAP
OLTP On-Line Transaction Processing 联机事务处理 是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作。 OLAP On-Line Analytical Proces...
2018-10-19 13:51:06
122
转载 机架感知(RackAwareness)
一、背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 在这种情况下， -- 希望不同节点之间的通...
2018-10-19 13:29:56
4678
原创 HDFS基本命令行操作
1）hdfs的客户端网页形式->测试用 http://192.168.1.111:50070/dfshealth.html#tab-overview命令行形式->测试用 企业级API2）查看帮助 hdfs dfs -help3）查看当前目录信息 hdfs dfs -ls / 3）上传文件 hdfs dfs -...
2018-10-16 14:31:46
366
原创 HDFS修改副本位置
vi etc/hadoop/hdfs-site.xml 修改配置文件，新增副本位置配置 <property> <name>dfs.namenode.secondary.http-address</name> <value>hdfs112:50090</value&...
2018-10-15 11:58:36
977
原创 HDFS自动批量的启动脚本
修改配置文件slaves（配置集群服务器） 执行命令 start-dfs.sh 启动集群 stop-dfs.sh 停止集群 主机启动之后，发现有一个副本存在，修改副本位置，参考https://blog.csdn.net/flyer_tang/article/details/83056939 ...
2018-10-15 11:24:56
472
原创 05-HDFS集群
集群环境配置说明：hdfs111（192.168.1.111）----主机，namenodehdfs112（192.168.1.111）---- datanodehdfs113（192.168.1.111）---- datanode 准备工作 启动虚拟机主机192.168.1.111，执行以下操作：关闭防火墙 设置主机名 配置ssh免密登录 安装JDK搭建HD...
2018-10-12 17:21:43
128
原创 Linux安装JDK
JDK下载 官网下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html jdk-8u141-linux-x64.tar.gz网盘下载 链接: https://pan.baidu.com/s/1O7EWQlJCx0AGsiLqGX26z...
2018-10-12 17:21:16
103
原创 Linux修改主机名
hostname 查看主机名永久修改主机名的两种方式（1）第一种方式 vi /etc/hostname 编辑hostname reboot 重启生效（2）第二种方式 hostname set-hostname ...
2018-10-12 16:53:11
129
原创 Linux关闭防火墙
防火墙相关命令如下：firewall-cmd --state 显示centOS7防火墙状态 systemctl stop firewalld 关闭防火墙 systemctl disable firewalld 禁止开机自启动 ...
2018-10-12 16:38:58
2427
1
原创 04-Linux常用命令
整理了一些Linux常用基础命令，欢迎指正。 四个热键 首先记住四个热键，学会这四个键，受益一辈子。 Tab --- 命令补齐功能 Ctrl+c --- 停掉正在运行的程序 Ctrl+d --- 相当于exit，退出 Ctrl+l --- 清屏（作用同 clear）...
2018-10-11 13:13:38
131
原创 03-Linux系统目录结构
# 显示目录下的所有文件ll以下是对这些目录的解释： /bin： bin是Binary的缩写, 这个目录存放着最经常使用的命令。 /boot： 这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。 /dev ： dev是Device(设备)的缩写, 该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文...
2018-10-10 14:40:41
126
原创 02-Linux安装
引言：本文介绍的是通过虚拟机方式安装Linux。环境：本机环境：windows 10 64 bit 内存：8GB 1600MHZ CPU：Core i5 7200U 安装VMware WorkstationVMware下载：链接: https://pan.baidu.com/s/1Qg8WsGIovMMXbCYov4b2Ww 提取码: mhmf 安装步骤：链接: https...
2018-10-10 13:39:28
129
原创 01-Linux简介
Linux介绍 Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。 该操作系统的内核由林纳斯·托瓦兹于1991 年10 月5 日首次发布。 Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix...
2018-10-10 11:10:27
120
原创 Java中成员变量、构造方法、代码块执行顺序剖析
今天，测试了一下java中成员变量、构造方法、代码块等的执行顺序，代码如下：package com.carol.entity;/** * @author Carol Tang * @version 1.0.0 * @date 2018-09-13 10:37 * @description 测试java中各代码的执行顺序 **/class G_Member{ G_Mem...
2018-09-13 13:41:57
1018
转载 理解spring
一、spring知识点梳理我们经常说的Spring其实指的是Spring Framework（spring 框架）。 Spring的核心就是IoC（控制反转）和AOP（面向切面编程）。 ***下面主要针对IoC进行剖析讲解，IoC简单理解就是控制对象创建的角色由程序员反转为Spring IoC容器。 Spring IoC容器本质上就是创建类的实例的工厂...
2018-08-22 11:17:20
339
原创 win10环境下安装nodejs
前言：由于项目前端使用vue编写，需要安装nodejs，所以将安装步骤记录在此，便于其他有需要的小伙伴参考。具体安装步骤如下：step1：下载nodejs nodejs官网下载地址：http://nodejs.cn/download/ 可以根据自己系统下载相对应的安装包，我这里是windows x64的，下载的是node-v10.8.0-x64.msis...
2018-08-17 16:10:21
8696
原创 jupyter增加多版本python内核
由于python代码有的需要在python2.7版本执行，有的需要在python3版本执行，所以需要安装多个python环境。 前提：已经安装了anaconda和python3（安装步骤参考：https://blog.csdn.net/flyer_tang/article/details/80363669） 目的：为jupyter再添加python2.7版本内核环境 安装步骤如下：...
2018-07-31 16:10:43
9874
3
原创 java输出菱形
方式一：实心菱形 int num=5;//定义菱形边长 //将菱形分为上下两部分 //上半部分找规律（第一行：1个*，4个空格；第二行：3个*，3个空格；第三行：5个*，2个空格...） for (int i = 1; i <= num; i++) { //控制空格 for...
2018-07-31 11:01:41
5586
1
原创 不同方式输出九九乘法表（java）
方式一： System.out.println("打印正方形");//正方形for(int i=1;i<=9;i++){//外层循环控制行 for(int j=1;j<=9;j++){//内存循环控制列 System.out.print(j+"*"+i+"="+(i*j)+"\t"); } System.out.println();...
2018-07-30 14:44:01
7595
4
原创 Oracle入门到精通
由浅入深，通俗易懂学会Oracle地址：https://download.csdn.net/download/flyer_tang/10516290
2018-07-03 14:34:17
476
1
原创 scott用户表结构
在Oracle的学习之中，重点使用的是SQL语句，而所有的SQL语句都要在scott用户下完成，这个用户下一共有四张表，可以使用：SELECT * FROM tab;查看所有的数据表的名称，如果现在要想知道每张表的表结构，则可以采用以下的命令完成：DESC 表名称;1、 部门表：deptNo列名称类型描述1DEPTNONUMBER(2)部门编号，最多由2位数字组成2DNAMEVARCHAR2(1...
2018-06-06 17:25:56
668
转载 彻底的卸载干净oracle 11g
1.关闭oracle所有的服务。可以在windows的服务管理器中关闭；2.打开注册表：regedit 打开路径： <找注册表 ：开始->运行->regedit> HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ 删除该路径下的所有以oracle开始的服务名称，这个键是标识Oracle在windows下注册的各...
2018-06-05 11:41:31
212
原创 Python科学计算库-Numpy
代码包含Python科学计算库-Numpy的基础语法、应用等，通俗易懂，内附练习题和答案，可快速上手 下载地址：https://download.csdn.net/download/flyer_tang/10437713
2018-05-25 16:03:00
290
原创 Python源代码-零基础入门
使用anaconda的jupyter notebook进行代码开发，代码涵盖了Python基础语法、函数等，通俗易懂，后附练习题和答案，帮助零基础快速入门源代码地址：https://download.csdn.net/download/flyer_tang/10431783...
2018-05-23 16:24:19
588
原创 TypeError:'str' object is not callable 问题解决办法
采用列表生成式，代码如下：L = ['tang','yu','di',123]s = ','.join([str(n) for n in L])# [n for n in L]为列表生成式s错误原因：之前将str 声明为变量，如：str = ‘tang’，由于str() 是Python的内置函数，所以不能声明变量。解决办法：删除str变量，重新restart，再执行代码片段，成功输出。...
2018-05-23 11:10:55
18935
原创 pip install 安装库出现的问题以及解决办法总结
一、出现pip版本不符可以更新版本查看pip版本二、pip命令下载库失败一般由于网络或其他问题导致安装扩展库不成功，可以通过下面的地址，下载对应的whl文件。python扩展库地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/例如：下载xgboost库，cp36代表python3.6版本，32/64表示32或者64位，找到符合自己的然后下载在安装包所在的文...
2018-05-18 15:23:37
41357
3
原创 Python零基础入门（一）
【为嘛Python这么火】简单：有任何语言基础学python简直So esay！实用：能用一行代码，何必用十行可扩展：你能想到的扩展库他都有（Numpy,Pandas,Matplotlib,Scikit-Learn,tensorflow等）大家都在用：各大公司开源工具库都有python接口，并且是主流。 总结：人生苦短，我用Python！【Python简介】 Python的创始人为G...
2018-05-18 14:40:19
655
1
原创 Anaconda 下 Jupyternotebook 更改默认启动路径方法 (win10,anaconda4.4.10 for python 3.6.4)
* 基于win10系统，安装的是anaconda4.4.10 for python 3.6.4#查看anaconda版本conda -V#查看python版本 python version解决办法一： 首先如果使用anaconda直接安装jupyter notebook的话，直接在windows的cmd中输入jupyter notebook是没有用的，参见下图：&amp;l...
2018-05-18 12:58:40
2026
1
转载 redis数据结构
【redis数据结构 – 简介】redis是一种高级的key:value存储系统，其中value支持五种数据类型：1.字符串（strings）2.字符串列表（lists）3.字符串集合（sets）4.有序字符串集合（sorted sets）5.哈希（hashes）而关于key，有几个点要提醒大家：1.key不要太长，尽量不要超过1024字节，这不仅消耗内存，而且会降低查找的效率；2.key也不要太...
2018-05-15 16:03:11
663
转载 redis学习入门（windows环境）
【redis是什么】redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。redis的官网地址，非常好记，是redis.io。（特意查了一下，域名后缀io属于国家域名，是british Indian Ocean territory，即英属印度洋领地）目前，Vmware在资助着redis项目的开发和维护。【redis的作者何许人也】开门见山，先看照...
2018-05-15 12:33:27
333
原创 免安装版mysql 5.7.22 （win10）安装方案
1. mysql下载官网下载mysql非安装版https://dev.mysql.com/downloads/mysql/ (根据系统选择对应的版本)2. 解压文件在%YOUR_MYSQL_HOME%/bin文件夹下创建my.ini文件[mysql]# 设置mysql客户端默认字符集default-character-set=utf8 [mysqld]#设置3306端口port = 33...
2018-05-14 11:49:38
1576
转载 如何使用IntelliJ IDEA创建Spring Boot项目
今天小编带大家学习一下如何利用Spring Boot快速搭建一个简单的web应用，以前使用Spring会伴随着大量的XML配置文件以及复杂的Bean依赖关系，Spring Boot在开发过程中大量使用“约定优先配置”的思想来摆脱Spring框架中各种繁琐的配置。在开发工具方面我们使用IntelliJ IDEA，项目的打包和依赖的第三方工具会使用像Maven或Gradle这样的构建系统，下面小编就带...
2018-05-11 16:14:12
3542
转载 Eclipse 导入svn项目组件
1）svn2eclipse:http://subclipse.tigris.org/update_1.8.x2）m2eclipse:http://subclipse.tigris.org/m2eclipse/1.0① 将第二个路径复制到 Eclipse打开的 help--Install New Software--②一直下一步③在D:\development\maven\conf\settings...
2018-05-11 10:52:28
260
转载 使用Sonatype Nexus搭建Maven私服后如何添加第三方JAR包？
http://mvnrepository.com/http://maven.nuxeo.org/nexus/登录Nexus后，点击右侧的“Repositories”，显示当前Nexus所管理的Repository，默认情况下Nexus为我们创建了以下主要的Repository：1、PublicRepositories，这是一个Repository Group，该Repository Group包...
2018-05-11 10:41:04
425
转载 解决安装plsql查询数据显示中文乱码的问题
配置环境变量： NLS_CHARACTERSET=ZHS16GBKNLS_LANG=AMERICAN_AMERICA.ZHS16GBK
2018-05-11 10:34:48
628
Python入门代码-零基础学Python
2018-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人