- 博客(346)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 Twitter开源流式计算框架Apache Heron源码解析专题【更新】
以下文章是对Apache Heron中的部分源码进行解析和文章，来更好的理解Heron底层的运行机制和代码实现。文章的顺序如下：Heron CLI中update命令实现背后的源码解析 Heron Topology提交过程源码解析（待完成） Heron任务调度机制源码解析（待完成） Heron RoundRobinPacking Algorithm源码解析（待完成） 从Heron CLI...
2019-11-21 20:16:10
296
原创 新一代流式计算平台Apache Heron专题【更新】
声明：均为原创文章，转载请注明出处！Heron相关基础概念Apache Heron基础内容介绍（待完成）本地及集群环境搭建Heron单节点环境为单机环境中的配置过程，高可用集群环境配置使用了Aurora+Mesos+Zookeeper+HDFS的真实可用的Heron流式计算环境。基础过程Ubuntu16.04 配置集群SSH无密码登录 Ubuntu16.04常用操作和命...
2019-11-10 11:54:03
706
原创 流式计算Apache Heron专题【旧版】
流式计算 - Apache Heron专题本文主要介绍Apache Heron的诞生，相关概念，集群环境搭建，任务调度机制，packing algorithm的解析以及与流式计算生态环境中的其他组件（如，kafka）的集成等内容。以为大家学习和了解Heron这一新一代流式计算系统平台提供一些资料参考。文章内容主要来自于自己学习实践过程中的积累和总结。Apache Heron相关内容介绍...
2019-02-09 17:52:10
571
原创 Java类静态方法的mock实现
Mockito 3.4.0mock常见静态方法待测试类：package com.taobao.vip.shop.biz.sqyk.manager;import com.taobao.vip.shop.biz.sqyk.util.TairUtil;/** * Created by yitian.zyt on 2021/6/30 */@Slf4j@Componentpublic class SqykChannelBenefitManager { public static
2022-02-02 23:53:38
8258
原创 Git出现Failed to connect to github.com port 443:Operation timed out问题解决
问题描述：在idea中使用git命令或者IDEA的vcs-> git工具时，出现下面截图所示问题。问题解决：查看git config配置: git config --list其中未发现配置过http/https的代理，尝试在命令行中输入如下命令，进行代理的重试：git config --global --unset http.proxygit config --global --unset https.proxy命令执行完成后，git命令行中git pull/pu.
2021-07-19 19:25:41
6069
原创 Lombok@Accessors实验注解
@AccessorsAccessor的中文含义是存取器，@Accessors用于配置getter和setter方法的生成结果，下面介绍三个属性。fluentfluent的中文含义是流畅的，设置为true，则getter和setter方法的方法名都是基础属性名，且setter方法返回当前对象。如下：@Data@Accessors(fluent = true)public class User { private Long id; private String name;
2021-05-06 17:24:30
421
原创 Mockito核心源码分析总结
Mockito核心源码分析总结Mockito使用示例在开始看mockito的源码之前，首先看一下下面两个mockito的使用示例。简单使用示例 @Test public void mockitoTest(){ // 1.生成一个mock对象 List<String> mockedList = Mockito.mock(List.class); // 查看mock对象的类名: $java.util.List$$Enha
2021-02-28 15:01:36
1330
原创 MaxCompute SQL Script执行时脚本未绑定项目问题解决
问题描述打开之前创建的MaxCompute Studio创建的项目，执行其中的SQL Script脚本文件（.osql）时，出现如下的异常信息：问题解决该问题是由于执行该sql script时，sql脚本文件没有绑定到maxcompute project。这里根据提示，可以看到出现该问题的SQL Script文件的右上角有如下显示：点击上面的右上角的“Set target project”，可以选择该Script脚本文件可以绑定的MaxCompute Project：修改完.
2020-06-29 14:47:27
858
1
原创 ElasticSearch Java SQL API基本使用
ElasticSearch Java API使用ElasticSearch的Java API中可以通过官方的java.sql和javax.sql包使用JDBC，来进行ElasticSearch中的SQL相关操作。本文对这里的两种API进行说明，具体内容见：ElasticSearch API Usage。本文内容仅是使用API进行ElasticSearch进行连接，不包括ElasticSea...
2020-05-04 10:46:24
2785
原创 ElasticSearch安装与基础使用入门
ElasticSearch安装与基础使用入门关于ElasticSearch是什么，可以参考ES的官方文档中的介绍：Elasticsearch Introduction，中文版请见：ElasticSearch功能简介和系统介绍。本文针对了解ES可以做什么之后，来介绍如何安装ES以及使用ES进行一些基本操作（使用REST APIs进行数据存储、搜索和分析），作为ES的入门内容。本文的内容主要包...
2020-04-30 15:12:21
415
原创 ElasticSearch功能简介和系统介绍
ElasticSearch简介本文针对ElasticSearch进行简单的介绍，包括ES的功能，相关概念和基本结构。该部分内容参考自：ElasticSearch Introduction官方文档。Elasticsearch是Elastic Stack的核心分布式搜索和分析引擎。 Elastic Stack技术栈中，Logstash和Beats用于收集、聚合和丰富数据，并将数据存储在Elas...
2020-04-30 14:59:40
5546
原创 MaxCompute JDBC使用说明和实例
MaxCompute JDBCMaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口，可以通过标准的JDBC编程基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。使用说明文档见：MaxCompute JDBC概述。...
2020-04-27 20:22:00
3593
原创 MaxCompute Java SDK介绍
MaxCompute Java SDK介绍MaxCompute提供了Java SDK，可以对实例、资源、表、函数等几个方面进行操作。使用SDK调用MaxCompute产生的计算、存储等费用与直接使用MaxCompute产生的费用一致。较为常用的MaxCompute核心接口详情请参见SDK Java Doc。使用Maven管理配置新SDK的版本，Maven的配置示例如下：<dep...
2020-04-27 20:04:56
1215
原创 MaxCompute使用LogView查看Job信息
MaxCompute LogViewLogview是MaxCompute Job提交后查看和Debug任务的工具。通过Logview可看到一个Job的如下内容：任务的运行状态。 任务的运行结果。 任务的细节和每个步骤的进度。查看Job logview的方法odpscmd客户端命令在使用odpscmd客户端执行sql命令时，Job提交到MaxCompute后，会生成Logvie...
2020-04-27 11:39:31
1471
原创 MaxCompute用量明细账单分析最佳实践
MaxCompute用量明细账单分析最佳实践MaxCompute中计算资源的计费方式分为包年包月和按量计费两种，产品每天会以Project为维度进行计费（账单会在第二天上午6点前生成）。用量详情账单字段说明查看自己的MaxCompute用量详情，可以到控制台中如下菜单进行查询并导出到本地：账单明细字段如下：项目编号：当前账号或子账号对应的主账号的MaxCompute Pro...
2020-04-25 21:52:39
701
原创 MaxCompute Studio开发Java UDF最佳实践
MaxCompute Studio开发Java程序在使用MaxCompute Studio开发工具之前，需要首先完成IDEA中MaxCompute Studio开发环境的搭建，具体见：MaxCompute基础开发环境搭建。MaxCompute Studio上Java程序开发流程如下：创建MaxCompute Java Module。 开发Java程序。可以开发不同的Java程序： 开...
2020-04-25 11:44:51
1495
原创 MaxCompute分析IP来源最佳实践
MaxCompute分析IP来源最佳实践本文章主要介绍使用MaxCompute分析IP（示例数据）来源，主要包括四个步骤：IP地址库数据下载 表创建与数据上传 编写Java UDF函数 使用UDF编写SQL这里和官方文档的不同在于，使用了Java来实现MaxCompute的UDF，并且使用MaxCompute Studio来进行函数资源的上传和创建（MaxCompute Studi...
2020-04-25 10:44:41
426
原创 MaxCompute SQL数据开发最佳实践
MaxCompute SQL最佳实践MaxCompute SQL最佳实践是在开发文档的内容基础上，提供的一些实践性的使用指南，具体的内容见：MaxCompute SQL最佳实践文档，这里选出了一些重要且常用的内容进行说明。内容包括：快速掌握SQL写法 分组取出每组数据的前N条 SQL实现多行数据转一条 MaxCompute SQL中的JOIN ON条件快速掌握SQL写法数据集准...
2020-04-22 17:55:05
829
原创 MaxCompute SQL大数据公开数据集实战
MaxCompute公开数据集简介目前阿里云MaxCompute已经免费向全部用户开放了多种公用数据集，包括：股票价格数据 房产信息 影视及其票房数据 TPC-DS数据集这些公开数据现已免费开放给用户，并已经完成了数据分析前序较复杂的数据获取、上传、清洗等过程，可以直接进入数据分析阶段。因此可以直接使用这些数据集来进行一定的MaxCompute的学习以及数据的分析过程。具体的Max...
2020-04-20 11:17:13
1267
原创 MaxCompute SQL概述及DDL常用命令
MaxCompute SQL概述MaxCompute SQL适用于海量数据（GB、TB、EB级别）、离线批量计算的场合。MaxCompute作业提交后会有几十秒到数分钟不等的排队调度，所以适合处理运行批作业：一次作业批量处理海量数据，不适合直接对接需要每秒处理几千至数万笔事务的前台业务系统。MaxCompute SQL采用的是类似于SQL的语法。它的语法是标准语法ANSI SQL92的一个...
2020-04-18 16:43:47
3811
原创 MaxCompute SQL中select语句使用详情
SELECT语法介绍本文介绍MaxCompute SELECT语法格式及使用SELECT语法执行嵌套查询、排序操作、分组查询等操作的注意事项。在进行操作之前构建操作示例表sale_detail以及insert测试数据：---------------------------------------数据表和数据准备---------------------------------------...
2020-04-18 16:42:13
3026
原创 MaxCompute SQL中insert语句使用详情
MaxCompute insert语句使用本文介绍使用INSERT OVERWRITE和INSERT INTO两种命令更新表数据，主要内容包括：insert into table ... values ...语句 insert into/overwrite ... select ...语句 Insert多路输出（MULTI INSERT） 输出到动态分区（DYNAMIC PARTIT...
2020-04-17 22:24:00
7678
原创 MaxCompute基本概念和数据类型
MaxCompute基本概念MaxCompute的核心概念主要包括：项目、表、分区、生命周期、资源、函数、任务、任务实例（实例）、ACID语义等。MaxComopute常用术语表参见：MaxCompute术语表。项目（Project）项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界...
2020-04-17 11:17:36
10763
原创 MaxCompute数据开发快速入门
MaxCompute数据开发快速入门该快速入门演示一个使用MaxCompute对银行贷款购房人员进行分析的完整过程。包含如下步骤：创建并查看表 导入数据 运行SQL并导出数据 编写MapReduce在进行该部分内容前，需要完成：MaxCompute基础开发环境搭建。命令的运行可以选用odpscmd客户端，也可以使用IDEA MaxCompute Studio（该工具的使用见：Ma...
2020-04-16 21:56:35
1480
原创 MaxCompute基础开发环境搭建
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。这篇文章来对MaxCompute的基础开发环境进行搭建，来为开发提供基础。开通MaxComputeMaxCompute的开通需要具有阿里云的账号，账号的申请和MaxCompute的开通这里参见官方文档：开通MaxCompute文档。开通完成后可以在自己的控制台中找到MaxCompute已经创建...
2020-04-15 17:39:05
2234
原创 Mac中Word 2016导出PDF附带书签目录结构
说明Mac中的Word 2016文档在另存为PDF中没有“选项”这个功能可以使用，因此默认导出的PDF文件没有Word中的目录作为的书签。下面为可以携带书签的PDF导出过程。Mac中Word 2016导出PDF附带书签目录结构具体过程1. 在word文档中选择另存为PDF，默认的选项如下：如果使用“最适合打印”的选项进行导出，则就不会带上word中的目录书签了。2. 选择上...
2020-04-08 10:17:58
11171
10
原创 图书馆数据库资源访问方法
说明该文章为个人所在学校的图书馆资源使用说明，各个学校图书馆数据库资源使用情况不同，请根据所在学校的使用说明进行使用。作者声明：仅限个人参考使用，不作为其他用途。访问路径1. 进入学校图书馆页面：http://www.lib.xju.edu.cn/NTPT-web/，并进入“数据库资源”。2. 进入后，在下面页面中随便点击一个数据库资源，例如这里选择CNKI：3....
2020-04-05 13:30:40
1891
原创 硕士毕业论文Word文档常用格式设置
一些说明该文章使用的Word版本为Mac版的Word 2016，相关的选项和Win版的Word 2016可能有些出入，但应该都能找到对应的选项，功能是一致的。本文的目录结构：1.通用页面设置2.分节页码设置分节页码设置步骤3.分节页眉设置分节页眉的设置步骤4.自定义目录设置自定义目录设置步骤目录字体不同于对应标题字体的设置目录连接线不同的问题...
2020-03-21 22:01:58
4958
原创 AJAX以及跨域情况下POST请求出现CSRF问题的解决方案
CSRF是什么？AJAX中处理CSRF的解决方案系统和环境描述：JSP页面 AJAX POST请求 Spring Boot开启Security（会自动开启CSRF机制） 请求出现403问题简单的禁用CSRF在继承了WebSecurityConfigurerAdapter的Spring管理类的configure方法中加入http.csrf().disable()代码即可...
2020-03-07 17:26:49
4871
1
原创 Java 8使用Stream API进行集合处理实例（Lambda表达式）
Stream API简介官方对Stream API给出的定义：A sequence of elemets supporting sequential and parallel aggregate operations。所以Java 8中引入的Stream API是一个用来处理数组和集合的API。该API具有如下的一些特性：Stream API不是数据结构，没有相关的内存存储。 不支持索...
2020-03-06 15:07:03
1618
原创 Java 8 Lambda表达式和Stream API详细教程和使用实例
Lambda表达式介绍Lambda表达式是Java 8中新增的新功能之一，使用lambda表达式可以替代只有一个抽象函数的函数式接口的实现，告别匿名内部类并使代码简单易懂。同时配合Stream API，可以提升对集合的迭代、遍历过滤等操作的并行性和便捷性。Lambda表达式的官方文档可见：https://docs.oracle.com/javase/tutorial/java/javaOO/l...
2020-03-06 15:07:00
1798
1
原创 AJAX跨域问题解决方案
AJAX跨域问题解决方案遇到的问题在使用ice进行ajax前后端通信的过程中出现了如下的跨域错误信息：跨域问题理论因为浏览器的同源策略，前端经常要面临跨域问题，同源策略/SOP（Same origin policy）是一种约定，由Netscape 公司 1995 年引入浏览器，它是浏览器最核心也最基本的安全功能，如果缺少了同源策略，浏览器很容易受到 XSS、CSFR 等攻击。简单来说，所...
2020-03-04 20:42:15
311
原创 阿里Ice实现与Spring Boot间的前后端通信实例
实例概述本文提供一个使用阿里Ice前端框架（封装React）与服务Spring Boot项目进行相互通信的项目实例。具体项目环境可参见：阿里ICE前端工程创建过程。该实例中不对Spring Boot项目的创建和使用进行介绍，仅提供相应的Controller方法作为与React前端工程通信的API。该实例具有的相关组件组成的页面如下：UserCreateForm：提供表单信息进行Post请求...
2020-03-04 13:55:15
1738
原创 React中使用axios发送请求的常用方法
React中安装并引入axios依赖在React项目中使用axios请求，首先需要安装axios：npm install axios --save然后在react文件中使用typescript方式导入axios依赖：import axios from 'axios';使用axios进行GET请求axios中使用GET请求时有两中方式：一种是使用axios.get的方...
2020-03-04 13:49:55
14201
原创 阿里Ice中实现组件和页面间跳转并进行参数传递
阿里Ice中组件跳转的几种方式阿里的飞冰（ice）是对React的封装实现，提供了便捷的React开发模式和最佳实践。在最近对Ice的学习和使用过程中需要使用到组件间和页面之间的跳转功能。目前Ice中可以使用如下几种不同的方式来实现组件或页面之间的跳转功能。使用<Link />标签进行组件跳转。 使用withRouter在组件内方法中实现页面跳转。 使用history AP...
2020-03-03 20:54:17
1291
原创 MyBatis中Enum字段参数解析问题解决
基础Class和TypeHandlerMyBatis操作的基本User对象结构如下：@Data@Alias(value = "user")public class User implements Serializable { private static final long serialVersionUID = -4947062488310146862L; pri...
2020-03-03 16:49:15
3127
原创 React官方文档中可搜索产品数据表格的设计与实现
项目来源及简介该学习项目来自React官方文档中的“React哲学部分”（https://react.docschina.org/docs/thinking-in-react.html）。该文档为读者提供了一个用于介绍React学习理论的实例项目：可搜索产品数据表格。并对该项目从设计方面进行了讨论和分析，但文档中没有给出相应的实现代码，应该是给React学习者提供一个实际练手的机会。借此学...
2020-03-02 15:40:45
722
原创 React使用React.Fragment避免多<div>嵌套
React多组件并列存在的问题在使用React的自定义组件时，时常需要将多个自定义组件进行并列显示。而React在version-15之前，render 函数的返回必须有一个根节点否则将会报错。而此时常见的解决方法及为使用div将多个并列的自定义组件进行包裹起来。但这样一方面会增加页面渲染的负担，另一方面有时这种方式不是想要的结果。例如如下的方法：class ProductTable e...
2020-03-01 15:43:52
1281
1
CentOS6.4 SSH Telnet服务器配置
2016-01-07
Mac中Java安装自动更新后版本依然为老版本
2020-02-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人