田昕峣 Richard-CSDN博客

本文档描述了 Clickhouse 集群在三台物理主机上的 “3分片2副本” 的配置及搭建方法。使用该方法进行 Clickhouse 的集群搭建，即可在保障充分并行利用 3 台机器算例的同时，对每个 shard 进行跨主机的备份，为 Clickhouse 服务高可用和错误恢复机制提供了底层技术支撑。

2023-06-27 17:15:25 2646 3

原创 Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat

# Hudi 0.10.0 集成 Hive 时的异常及解决方法: java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat

2022-10-31 16:15:38 3139 2

原创 Clickhouse 单机版及 Clickhouse 集群的安装及搭建

本文详细描述了如何搭建 Clickhouse 单机版及 Clickhouse 集群。

2022-09-30 17:47:05 2289

原创 HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)

HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)

2022-09-16 17:55:33 4165 7

原创 Apache Hudi 使用文件聚类功能 (Clustering) 解决小文件过多的问题

Apache Hudi 利用 Clustering 功能合并小文件增加查询效率

2022-08-26 18:03:52 1679

原创使用Python统计连续日期

输入为一串日期的长字符串，每个日期之间使用 "," 分隔开。days_str = '''2021-11-17,2021-11-19,2021-11-20,2021-11-21,2021-11-23'''统计连续出现日期的最大天数。 def calculate_consecutive_dates(dates_str: str): max_consecutive_days = 0 temp_flag = 0 dates_l...

2021-11-29 15:35:17 1560

原创 Hadoop 3.2.2 安装指南 (基于 Ubuntu)

简介0.准备工作由于 Hadoop 是基于 Java 进行开发的，因此我们需要安装与其 version 相匹配的 JRE 和 JDK。目前， Apache Hadoop 3.x 的版本已经完全支持 Java 8。由于 Ubuntu 的 OpenJDK 8 同时包含了 JRE 和 JDK，因此我们只需要下面的命令就可以将它们同时安装：# 升级 aptsudo apt update# 安装与 Hadoop 3.2.2 相匹配的 openjdk-8sudo apt install openjd

2021-09-02 10:46:42 751

原创 C# 学习笔记：C# 中的四种循环方式 (原理 + 代码)

作者信息：Richard Tian (from the University of Sydney) 码字不易，转载请注明出处和作者联系方式(如下)即可。Github:https://github.com/XinyaoTianLinkedIn:https://www.linkedin.com/in/xinyao-tian-548b451b0/Zhihu:https://www.zhihu.com/people/winchester-26假设现有一个 array，我们希望能够遍历它之中...

2021-01-25 17:00:20 3025

原创算法研习：Validate Subsequence

Solution:using System;using System.Collections.Generic;public class Program{ public static bool IsValidSubsequence(List<int> array, List<int> sequence) { // Write your code here. int targetIndex = 0; for (int i = 0; i < arr..

2021-01-25 09:35:17 132

原创算法研习: Two Number Sum

Solution: public class Program { public static int[] TwoNumberSum(int[] array, int targetSum) { // Write your code here. // set index of the first element for (int i = 0; i < array.Length; i++) { // set index of the se..

2021-01-25 08:38:40 105

原创利用 Docker 快速启动 MongoDB 并进行配置

我们知道，在 Linux 服务器上安装配置数据库是一件很费力的事情。幸运地是，现在出现了容器技术，使得我们可以轻松快捷地启动数据库服务。启动 MongoDB 的 docker 命令如下# 请先在操作系统中创建 /home/mongodb 目录，作为持久化容器内数据的挂载点# $ mkdir /home/mongodb docker run -d -v /home/mongodb:/data...

2019-07-31 16:47:09 3190 2

原创 “故障注入 Sidecar”——自己设计并实现的“故障注入微服务”，非常欢迎各位大佬批评指正!

项目背景目前，本人正在中科院软件所的微服务研究组从事部分研究工作。由于本人所在科研小组的研究内容( 微服务自动扩缩容相关 )，需要经常使微服务应用处于"高 CPU 利用率" 和 "高内存使用"的状态。因此，为了方便导师和实验室的各位师兄进行实验，本人特地开发了一个可以注入进 Pod 中的错误注入容器，来模拟上述的高负载状态。导师和师兄们使用后对我的工作给予了肯定，因此我准备将开发过程和简单...

2019-06-22 17:01:42 4070 1

翻译服务网格是什么？( What is a Service Mesh? ) 翻译自Nginx官网

阅读前的小说明：由于工作需要研究Service Mesh，故本人翻译了Nginx官网的一系列有关Service Mesh的文章，以便日后查阅，也方便各位参阅。希望能借此文章，与各位大佬们多多交流，谢谢。此外，由于本人的英文功底着实较为薄弱，因此文中若如果出现部分翻译不当或翻译错误，也希望大家批评指正，不吝赐教！原文链接( Nginx 官方网站 )：https://www.nginx.com...

2018-12-26 11:17:12 19433 5

原创【docker 数据持久化】容器中的 file-system 目录挂载 bind-mounts 使用方法+代码示例

【docker 数据持久化】容器中的 file-system 目录挂载 bind-mounts 使用方法+代码示例Step1 在Host操作系统创建一个权限为777的目录Step2 从dockerhub上拉镜像Step3 将镜像中欲挂载的目录先cp到主机目录上Step4 万事俱备！开始使用挂载命令进行挂载Fin 结尾再提几句...感谢大家的阅读，祝您今天心情愉快！我们知道 docker 的 fi...

2018-12-18 19:04:55 892

原创 K8s Rest API 基础概念&基本功能说明 v1.11

K8s 实用 api 速查首先，需要在K8s集群获取一串用于认证的token。这里省略这个步骤。以下命令中的所有如下格式的命令，均替换为完整的token才能够执行。-H "Authorization: Bearer ey...Xg" 查询Pods的基本信息通过使用k8s-api接口，查询Pods的基本信息。返回一个json格式的长文件。curl -k -v -X GET...

2018-10-22 18:10:20 2244

原创 Kubernetes(K8s) API概念理解&常用API使用方法速查 v1.11

在保证k8s集群成功运行的情况下，可以在任何一台联网的主机上向上文指定的IP+port发起HTTP请求，来查看k8s集群的各种信息情况。K8s REST API 设计思想由于k8s的Api是基于REST的设计思想，因此，不同种类的HTTP请求也就对应了不同的操作。比较常用的对应关系是：GET（SELECT）：从服务器取出资源（一项或多项）。GET请求对应k8s api的获取信息功能。因...

2018-10-22 14:38:35 12641

原创【从零开始/亲测国内外均可】基于阿里云Ubuntu的kubernetes(k8s)主从节点分布式集群搭建——分步详细攻略v1.11.3【清空节点篇】

~本安装教程的目录共3节均为原创穿在请注明作者及出处感谢~1.准备工作篇2.主从节点篇3.节点清空篇【本篇】~ -----------~先说重点：正确的清空节点的姿势如下：$> sudo su#> kubeadm reset#> rm -rf $HOME/.kube /etc/kubernetes 绝对不单单是kubeadm rese...

2018-10-09 16:19:13 676

原创【从零开始/亲测国内外均可】基于阿里云Ubuntu的kubernetes(k8s)主从节点分布式集群搭建——分步详细攻略v1.11.3【主从节点篇】

~本安装教程的目录共3节均为原创穿在请注明作者及出处感谢~1.准备工作篇2.主从节点篇【本篇】3.节点清空篇~ -----------~ 接上一节，我们已经在全部的节点上安装了17.03版本的docker-ce；v1.11.3版本的kubeadm、kubectl和kubelet 现在，准备工作已经结束了，我们终于可以开始安装k8s的主节点了！安装并配置...

2018-10-09 16:13:47 2107 11

原创【从零开始/亲测国内外均可】基于阿里云Ubuntu的kubernetes(k8s)主从节点分布式集群搭建——分步详细攻略v1.11.3【准备工作篇】

从零开始搭建k8s集群——香港节点无墙篇【大陆节点有墙的安装方法我会在每一步操作的时候提醒大家的注意，并告诉大家如何操作】 ~本安装教程的目录共3节均为原创穿在请注明作者及出处感谢~1.准备工作篇【本篇】2.主从节点篇3.节点清空篇~ -----------~ 由于容器技术的火爆，现在使用K8s开展服务变得越来越广泛了。本攻略是基于阿里云主机搭建的一个单...

2018-10-09 15:04:45 3285

原创 Kubernetes学习笔记——k8s创建Pod和ReplicaSet的工作流程

k8s集群运行的核心——etcd数据库k8s集群有个显著的特点，就是几乎任何操作都不会直接执行；其做法是，将各种操作或执行结果、组件状态的信息都汇总入etcd数据库，然后再由各个组件通过不断地读取数据库，完成相应的操作。这就是k8s集群最核心的工作原理。由于密集的etcd数据库I/O操作，因此一般k8s集群的性能瓶颈往往会出现在数据库读写处。这样做的好处是程序员只需要给出每个Pod的最终状...

2018-09-14 18:44:02 8677

原创 Kubernetes学习笔记——对Service的理解

上次我们总结了ks中的两个概念——Pod和ReplicaSethttps://blog.csdn.net/weixin_38070561/article/details/82705671有了这两组概念的基础，我们就理解ks中的Service了。啥是Service？上一节我们说了ReplicaSet负责k8s中用于提供"高可靠性"的多份备份。虽然ReplicaSet保...

2018-09-14 17:35:00 420

原创 Kubernetes学习笔记——k8s基本概念初探

啥是kubernetes？众所周知，kubernetes(以下简称k8s)是google基于Blog进行改进后，开源出来的一款“容器管理应用”。由于近几年来容器技术的火爆，许许多多的服务都不会直接部署在linux主机或各大云厂商的虚拟机上；利用Docker，将每个服务做成一个Image，把他们跑在各自的Container中。这样做的好处有非常多，比如环境配置隔离、服务启动快、移植便捷等等。...

2018-09-14 15:06:02 2941 1

原创 Ubuntu系统shell脚本执行python时提示 ImportError: No module named xxx

Ubuntu系统shell脚本执行python时提示 ImportError: No module named xxx码字不易，转载请注明出处和作者，谢谢。在Ubuntu16.04系统上已经成功安装了Anaconda并配置好相应的库后，在shell中输入 python xx.py 可以成功执行但是在shell脚本中，输入完全相同的命令 python xx.py 却会报错。...

2018-08-01 18:35:57 7207 2

原创 Ubuntu利用crontab+shell脚本实现Scrapy每日定时爬取网站

Ubuntu利用crontab+shell脚本实现Scrapy每日定时爬取网站原创文章、码字不易，转载请注明出处和链接，谢谢！ 1.环境保障自己利用scrapy编写的智联招聘网站“大数据职位”爬虫https://github.com/XinyaoTian/zhilian_Spider利用git的clone命令将github上的命令克隆至服务器的/root下。该项目的克隆位置...

2018-07-31 17:11:14 1855

原创使用python中的pyhdfs连接HDFS进行操作——pyhdfs使用指导(附代码及运行结果)

【原创】pyhdfs使用指导——附代码及运行结果码字不易，转载请注明出处，谢谢！hdfs官方文档：http://pyhdfs.readthedocs.io/en/latest/pyhdfs.html#pyhdfs.HdfsClient 1.HdfsClient类pyhdfs中的HdfsClient类非常关键。使用这个类可以实现连接HDFS的Namenode，对HDFS上的文件进...

2018-07-30 18:07:36 28888 4

原创 5G技术分析及趋势预测——物联网前沿关键技术发展趋势分析

开启万物互联的“5G”时代——物联网前沿关键技术发展趋势分析《物联网导论》课程报告北京工业大学 XinyaoTianJune/1st/2018码字不易，转载和引用请注明作者及出处，谢谢。在前不久结束的 MWC 2018 上，5G 成了全球的一个热门话题，而国内对 5G 的关注度也是异常地高涨。5G(the 5th-Generation)，是“第五代移动通信网络”的简称。大众对于5G来临的亢奋情绪...

2018-06-01 14:52:47 10249

知行合一

原创【原创】啥是位图 (Bitmap) 有啥用? - Bitmap (位图) 与其在数据领域提升查询性能的底层原理

原创【Redis 速通】Redis 在 Linux 上的单机服务快速搭建与部署（附完整流程步骤及命令代码）

原创一文速通 StarRocks 数据库：核心概念、架构与特性

原创使用 OpenSSL 工具撰写 Bash 脚本进行密码明文的加密与解密

原创通过源代码修改使 Apache Hudi 支持 Kerberos 访问 Hive 的功能

原创 Clickhouse 用户准入控制与权限分配附主要配置步骤细节及示例 (主要参考 Clickhouse 官方文档)

原创 Clickhouse 3分片2副本集群搭建方法附基本原理概念和详细搭建步骤 (单节点多实例部署方法)