搁浅的csdn-CSDN博客

原创 Python连接大数据平台HDFS传输文件

Python连接大数据平台HDFS传输文件一、Python连接大数据平台HDFS传输文件：一、Python连接大数据平台HDFS传输文件：1、实现代码如下：import hdfshdfs_ip = "ip:50070"try: client = hdfs.Client(hdfs_ip) //上传前hdfs指定路径下文件列表 print(client.list(...

2019-10-31 11:51:15 1157

原创 SpringBoot拦截器的实现

SpringBoot拦截器的实现一、编写拦截器：二、编写登录接口：此方法为（一）拦截器中2.的Map一、编写拦截器：1、首先需要确定拦截器的位置，拦截器拦截当前目录以及所有子目录（递归）。package com.test.interceptor;import org.springframework.context.annotation.Bean;import org.springfram...

2019-10-31 11:22:28 927

原创 PLSQL安装、PLSQL汉化

PLSQL安装、PLSQL汉化、激活一、准备工作：二、开始安装：三、导入数据：一、准备工作：1、点击下载PLSQL，本次安装的PLSQL版本为12.0.7，建议安装64位。2、下载PLSQL时，版本旁边会有个“Language pack”的链接，点击后左侧选择“Chinese”即可下载汉化包。3、注册码PLSQL Developer 12.0.7 注册码product code： 4v...

2019-09-04 20:01:54 2244

Flume安装配置以及参数详解一、Flume基本概念：二、Flume基本结构：三、Flume的安装配置：四、数据传输的配置：五、使用Flume过程中遇到的问题：一、Flume基本概念：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据...

2019-08-05 11:26:28 652

原创 Kafka基本原理和Kafka架构

Kafka基本原理和Kafka架构一、什么是Kafka：二、Kafka的架构：一、什么是Kafka：1、什么是Kafka？2、扩展：消息队列：二、Kafka的架构：1、Kafka的架构：温馨提示：该文章为本人自己创作，转载请标明出处。感谢各位！！！谢谢大家！！！本人联系方式：QQ：961094233邮箱：[email protected]...

2019-07-22 20:52:58 1326 1

原创 Python连接kafka的示例

Python连接kafka的示例一、Python编写kafka生产者代码：二、Python编写kafka消费者代码：三、实现过程中本人遇到的问题：一、Python编写kafka生产者代码：#!/usr/bin/env python3# -*- coding: utf-8 -*-# @Time : 2019/7/11 9:21# @Author : ShenJianFenimp...

2019-07-19 16:46:12 3708

原创服务器本地文件加载到CarbonData与简单sql编写记录

服务器本地文件加载到CarbonData与简单sql编写记录一、加载文件到CarbonData：二、hdfs和sql的一些简单操作：一、加载文件到CarbonData：1、首先可以传送文件到大数据平台，命令如下：scp -r -P 端口号主机名:/本地目录/完整的文件名 ~/服务器目录/2、服务器上传本地文件到HDFS，命令如下：hdfs dfs -put ~/服务器本地目录/完整的...

2019-07-19 16:29:29 681

原创大数据flume的概念原理和flume与kafka的简单对比

大数据flume的概念原理和flume与kafka的简单对比一、flume的基本概念原理：二、flume与kafka的简单对比：一、flume的基本概念原理：1、Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种...

2019-07-19 14:47:03 599

原创大数据flume的简单使用示例

大数据flume的简单使用一、flume的下载安装配置：二、flume使用的简单示例：一、flume的下载安装配置：1、首先下载flume，然后解压至指定目录下。2、重命名apache-flume-1.9.0-bin文件夹为flume，然后修改conf文件夹下的log4j.properties文件。修改如下：flume.root.logger=-flume.root.logger=INF...

2019-07-19 14:15:15 401 1

原创 python爬虫的简单实现与scrapy框架的了解

（一）python爬虫的简单实现1、首先了解python爬虫的一些简单工具2、编写简单的python爬虫代码：3、python爬虫scrapy框架了解：1、首先了解python爬虫的一些简单工具1、python语法的学习，推荐python菜鸟教程，廖雪峰官网等。2、python开发工具推荐使用pycharm，python环境推荐安装Anaconda，很多基础依赖不需要再下载安装，可以直接使用...

2019-07-18 19:38:09 253

原创 git命令的基本使用

（一）git命令的基本使用1、从远程仓库拉取代码到本地2、提交本地代码到远程仓库：3、遇到的问题：1、从远程仓库拉取代码到本地大家好！在我使用 git进行代码版本控制时所遇到很多问题。所以在此写了该文章，作为一个笔记或者指南，希望对大家有帮助。1、首先打开git命令框，进入到想要存放项目的文件夹下。2、git clone XXX (默认拉取XXX项目的master分支下的代码)。3...

2019-07-18 11:50:56 245

原创 SpringBoot项目搭建LayUI框架，以及引入LayUI框架js、css的问题总结

SpringBoot项目搭建LayUI框架，以及引入LayUI框架js、css的问题总结一、SpringBoot项目搭建LayUI框架：二、引入css、js所遇到的问题：三、造成引入js和css问题的原因：一、SpringBoot项目搭建LayUI框架：1、首先在官网下载LayUI前端文件，解压。2、将解压后的文件夹里找见存放css和js的layui文件夹，将整个文件夹复制粘贴到src/ma...

2019-05-14 12:10:23 12031 3

原创（二）Eclipse+Maven+SpringBoot通过创建Maven项目添加依赖搭建SpringBoot项目，完成简单的增删改查操作。

（二）Eclipse+Maven+SpringBoot通过创建Maven项目添加依赖搭建SpringBoot项目，完成简单的增删改查操作。1、在上次搭建的SpringBoot项目基础上继续编程2、首先实现generator逆向生成3、创建一个简单的查询所有的例子：4、完整的项目目录结构5、总结使用Maven创建Springboot项目，完成简单的查询所有的功能1、在上次搭建的SpringBoot...

2019-05-13 16:28:11 2245 8

原创（一）Eclipse+Maven+SpringBoot通过创建Maven项目添加依赖搭建SpringBoot项目

Eclipse+Maven+SpringBoot通过创建Maven项目添加依赖搭建SpringBoot项目创建Maven项目添加依赖成为SpringBoot项目运行完成后可以得到如下结果：完整的项目目录结构总结使用Maven创建Springboot项目创建Maven项目添加依赖成为SpringBoot项目大家好！在我第一次创建 Maven项目添加依赖成为SpringBoot项目所遇到很多问...

2019-05-13 13:48:56 9092 1

搁浅的博客