- 博客(141)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Ubuntu：开启虚拟环境virtualenv
1.安装 virtualenv sudo apt install virtualenv 2.安装 virtualenwrapper sudo apt-get install virtualenvwrapper 3.验证 source /usr/share/virtualenvwrapper/virtualenvwrapper.sh./virtualenvwrapper.sh 4.创建虚拟环境 mkvirtualenv [环境名称] 5.切换到指定虚拟环境..
2020-11-30 13:23:56
886
原创 大数据：Hadoop：集群搭建(2.0+)
方案规划 方案，版本 三个集群 软件版本基本配置软件安装软件公共配置(复制虚拟镜像)软件特定配置集群初始化测试
2020-11-18 01:07:09
236
原创 大数据：kafka：shell操作
创建主题 bin/kafka-toipcs.sh --zookeeper 集群地址 --create --replication-factor 副本数量 --partitions 分区数量 --topic 主题名 查看主题列表 bin/kafka-topics.sh --zookeeper 集群地址 --list 查看主题详情 bin/kafka-topi...
2020-11-05 10:05:34
263
转载 大数据：canal介绍
canal 译意水道/管道/，主要用于 MySQL 数据库增量日志解析，提供增量数据订阅和消费canal 工作原理canal 模拟 MySQL slave 的交互协议，伪装成MySQL slave ，向 MySQL master 发送dump 协议 MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal ) canal 解析 binary log 对象(原始为 byte 流)----->kafka等...
2020-10-27 00:11:51
631
原创 大数据：canal：Message数据格式和解析
message{id，Entry}Entry { 1. HeaderlogfileName [binlog文件名] logfileOffset [binlog position] executeTime [ binlog里记录变更发生的时间戳] schemaName [数据库实例] tableName [表名] eventType [insert/update/delete类型]2. entryType [...
2020-10-26 14:40:11
4765
1
原创 大数据：canal：配置文件 + 模板
canal--common参数参数 参数说明 默认值 canal.id 每个canal server实例唯一标识，保证每个不同即可，暂无实际意义 1 canal.ip server绑定的本地主机IP信息，默认当前主机 无 canal.port server提供socket服务的端口 11111 canal.metrics.pull.port 11112 canal.zkServers canal server...
2020-10-26 11:05:59
438
原创 大数据：kafka：消费者程序
1.maven项目：依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.1.0</version> </dependency> <dependency> <group
2020-10-21 13:55:18
251
原创 web前端：Maven_Tomcat插件 + 使用
发现最新的只有7，貌似过时了不维护了，还能用 <plugin> <groupId>org.apache.tomcat.maven</groupId> <artifactId>tomcat7-maven-plugin</artifactId> <version>2.2</version> <configuration&
2020-09-30 16:23:54
104
原创 数据库：数据库练习表格
仅作为个人数据库测试使用，节省时间SET FOREIGN_KEY_CHECKS=0;-- ------------------------------ Table structure for stu-- ----------------------------DROP TABLE IF EXISTS `stu`;CREATE TABLE `stu` ( `id` int(11) NOT NULL AUTO_INCREMENT, `stu_num` int(11) DEFAULT
2020-09-18 14:01:39
700
原创 Scala基础：模式匹配
Scala的模式匹配类似Java的条件选择，但scala匹配的类型更多，功能更强1.值匹配 == Java def matchTest1(x:Int): Any = x match { case x if (60 <= x && x < 99) => "优秀" case 100 => println("你是个人才") case _ => "继续努力吧" } 2.数组匹配3.列表匹配4.类型匹配5.异常处
2020-09-15 11:09:28
96
原创 Scala基础：面向对象（待补充）
Scala封装和Java类似，scala的类也具有方法和属性，构造器。 基本定义如下： class Person { //属性 val id = 20 var gender:String = _ val name: String = "aoteman" //方法 def speak(): Unit = { println("hello,world!") } }占位符使用时必须指定变量占用的类型 使用 var 修...
2020-09-14 18:04:18
168
原创 大数据：图数据库介绍--v1.0
数据库数据模型大体分为两类：关系型数据库 和 非关系型数据库分类一：关系型数据库代表：Oracle、MySQL、SqlServer分类二：NoSQL非关系型数据库 分为四种键-值存储库（Key-Value-stores） BigTable实现（BigTable-implementations） 文档库（Document-stores） 图形数据库（Graph Database） 图形数据库最受关注，主要代表 Neo4J ,大数据的发展趋势方向...
2020-09-10 15:34:27
595
原创 大数据：spark：创建操作 + 转换操作
parallelize和makeRDD相同点：都是从集合中创建RDD不同点：parallelize可以指定分区数，也可以默认系统分区数； makeRDD会为对象创建最佳分区（固定：由系统决定）
2020-09-08 14:58:09
184
原创 大数据：Scala：数据结构：数组 + 列表
数组：在使用Array声明定长数组 用圆括号区别Java [ ]方式一： val 数组名 = new Array[数据类型]（长度）//声明一个长度为4的整型数组，每个数组元素初始化为0val intArray = new Array[Int](4) //给第1个元素赋值为1intArray(0) = 1方式二： val 数组名 = Array（元素1,元素2,元素3.......元素n）//快速声明和赋值val intValueArr = Array(1,2,...
2020-09-07 18:40:48
229
原创 Web应用：解决Date类型前台转换错误的情况
实体类：对应数据类型上添加注解 @DateTimeFormat(pattern = "yyyy-MM-dd")//页面写入数据库时格式化 @JsonFormat(pattern = "yyyy-MM-dd", timezone = "GMT+8") private Date create_time; @DateTimeFormat(pattern = "yyyy-MM-dd")//页面写入数据库时格式化 @JsonFormat(pattern = "yyyy-M
2020-09-01 10:00:11
259
原创 Scala基础：常用函数
1.filter 过滤函数表达式： list.fillter(条件表达式)作用：对集合遍历过滤，返回满足条件元素的新集合 val list0 = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) val list1 = list0.filter(x => x*x) val list2 = list0.filterNot(x => x +x) println(list1) //List(2, 4, 6, 8,10) prin...
2020-08-25 11:19:39
534
原创 Scala基础：控制结构介绍
选择1. if...else... if (条件判断) { 执行语句1 } else { 执行语句2 }2. if...else if...else... if (判断条件1) { 执行语句1 } else if (判断条件2) { 执行语句2 } else { 执行语句3循环1. while...
2020-08-25 10:09:17
112
原创 大数据：Hadoop：MapReduce实现WordCount
注意:1.Java语言编写，数据类型需要用Hadoop自带的数据类型！！ 2.三个文件：map，reduce，main(driver) 需要的jar包 $HADOOP_HOME/share/hadoop/common/ $HADOOP_HOME/share/hadoop/common/lib $HADOOP_HOME/share/hadoop/mapredudce $HADOOP_HOME/share/hadoo
2020-08-24 14:38:40
176
原创 大数据：Spark案例：根据日志获取最大访问网页
目标需求：根据网站访问日志的到访问量最高的页面数据格式：import org.apache.spark.{SparkConf, SparkContext}//需求：根据网站访问日志的到访问量最高的页面object MyWebLogCount { def main(args: Array[String]): Unit = { //开发过程采用local模式，消除bug再打包部署 //定义一个SparkConf（配置参数） val conf = new.
2020-08-24 14:08:25
466
1
原创 大数据：实时计算spark streaming案例
import org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{Seconds, StreamingContext}//object相当于Java中的static静态object NetworkWordCount { def main(args: Array[String]): Unit = { //创建一个Spark.
2020-08-24 13:45:03
294
原创 web前端：datables单元格颜色
根据单元格数值范围设置颜色$('#example').dataTable( { "columnDefs": [ { "targets": 3, "createdCell": function (td, cellData, rowData, row, col) { if ( cellData < 1 ) { $(td).css('color', 'red') } } } ]} );...
2020-06-29 14:11:43
529
原创 web前端：常用xml开头
web.xml<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://xmlns.jcp.org/xml/ns/javaee" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd" ver
2020-06-29 13:26:31
1343
原创 web前端---前端处理JSON数据
1.JavaScript中处理JSON数据var obj = '{ "id" : "001", "name" : "senven"}'；js(字符串)对象转为JSON对象var myJSON = JSON.parse( obj )JSON对象解析为字符串var obj = JSON.stringify( myJSON )json字符数组转化为json数组var ...
2020-02-15 18:52:57
2651
原创 Java框架：框架分层介绍+ po vo
基本分层：表现层、控制层、逻辑层、DAO层 、数据库表现层：页面展示 HTML、jsp、js 控制层：将请求从页面传到后台的代码 Controller 逻辑层：处理请求的代码 Service ServiceImpl DAO层 ：操作数据库代码 Dao、DaoImpl；mapper、mapper.xml 数据库：存数据软件 mysql SqlServer...
2020-02-15 17:28:29
791
原创 软件操作：IDEA操作
IDEA修改git账号密码1.system setting -->passwords 2.控制面板-->用户账户-->管理您的凭据-->windows管理凭据 (一般不需要，只到第一步然后重启IDEA即可) 3.重启IDEA...
2019-12-16 15:49:43
600
原创 web前端：BootStrap
Bootstrap ：一个用于快速开发 Web前端框架。基于 HTML、CSS、JavaScript 容器： 按钮： 图标： 图片： 导航条： 表单： 路径导航： 巨幕： 模态框： 下拉菜单： 进度条： ...
2019-12-05 16:41:57
174
原创 Java框架：Mybatis 和 Hibernate 区别
Mybatis技术特点：优点： 通过直接编写SQL语句，可以直接对SQL进行性能优化，代码可维护性强 学习门槛低和成本低，容易上手缺点： 不支持数据库无关性，数据库移植性差。 需要编写结果映射。 Mybatis应用场景：需求复杂多变的互联网项目，例如电商项目Hibernate技术特点：优点： 标准的orm框架，...
2019-11-05 22:16:40
154
原创 Java框架：Mybatis：延时加载 + 缓存
延迟加载==懒加载==按需加载：mybatis中，resultMap 标签的association标签(模型)和collection标签(集合)都具有延迟加载功能配置：在全局配置文件中 <!--配置允许懒加载--> <settings> <setting name="lazyLoadingEnabled" value="t...
2019-11-05 18:46:49
190
原创 Java框架：Mybatis：逆向工程
逆向工程：通过数据库中的单表，自动生成java代码下载地址：https://github.com/mybatis/generator/releases使用方法：1.创建简单项目/maven 2.导包/pom.xml添加依赖 3.创建generator配置文件 4.main方法运行 5.复制生成的代码到工程generator.xml<?xml version="1...
2019-11-05 16:44:09
359
原创 Java框架：Mybatis：Mapper代理开发方式 + 动态SQL + 关联查询
Mapper代理的开发方式： 只需要编写mapper接口，Mybatis会根据映射文件自动生成动态代理实现类。 开发规范：mapper接口的全名对应 mapper映射文件的namespace的值相同 mapper接口的方法名对应 mapper映射文件中的statement(select,insert,delete)的id相同； mapper接口的方法参数只能有一个，且类型要和ma...
2019-11-04 02:09:49
357
原创 Java框架：Mybatis：入门
发展介绍：https://github.com/mybatis/mybatis-3/releasesMyBatis是apache的一个开源项目iBatis, 实质上Mybatis对ibatis进行一些改进。 MyBatis是一个持久层框架，它对jdbc操作数据库的过程进行封装；开发者只需要关注SQL本身，不需要去处理例如注册驱动、创建connection、创建statement、手动设置参数...
2019-11-04 00:27:46
150
原创 Java框架：Spring Boot ：打包
注意：配置程序运行主入口App.class 的位置<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId>...
2019-10-29 01:48:31
151
原创 Java框架：Spring Boot ：日志处理
SpringBoot + 整合Log4j1.屏蔽SpringBoot的logging <!-- 排除springboot自带的logging 日志--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-star...
2019-10-29 01:13:01
169
原创 Java框架：Spring Boot ：多数据源事务管理
多个数据源存在着事务管理问题，事务只影响自己的数据源，解决方案：使用 springboot + jta+atomikos分布式事务管理步骤：1.添加jta事务依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot...
2019-10-28 23:35:40
453
原创 Java框架：Spring Boot ：配置多数据源
1.数据源扫描的mapper路径要对应：分包配置，两种包格式 2.数据源读取对应的配置名称要对应 3.主配置数据源和主事务一定加 @Priamry 目录结构：分包配置 步骤：1.创建两个/多个数据库 2.resources/application.properties 配置多个数据源...
2019-10-28 16:51:59
186
原创 Python进阶：爬虫---URL处理
URL编码发送请求(汉字)时需要进行转码 例如：原地址：http://www.oschina.net/search?scope=bbs&q=C语言 编码后：http://www.oschina.net/search?scope=bbs&q=C%E8%AF%AD%E8%A8%80 语言：%E8%AF%AD %E8%A8%80 (三个%代表一个汉字)UR...
2019-10-28 01:40:15
1277
原创 Java框架：Spring Boot ：mybatis + Druid数据库连接池 + Spring JDBC
SpringBoot + mybatis1.添加依赖 和 build(xml文件打包) <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </depen...
2019-10-28 01:29:02
165
microsoft visual c++14.0
2018-08-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人