爱上雪茄-CSDN博客

原创 Android 的系统架构

在Android中，开发者可以使用Java作为编程语言来开发应用程序，也可以通过NDK使用C/C++作为编程语言来开发应用程序，也可使用SL4A来使用其他各种脚本语言进行编程（如：python、lua、tcl、php等等），还有其他诸如：Qt（qt for android）、Mono（mono for android）等一些著名编程框架也开始支持Android编程，甚至通过MonoDroid，开发者还可以使用C#作为编程语言来开发应用程序。Android 的系统架构和其它操作系统一样，采用了分层的架构。

2023-12-24 15:19:07 343

原创 Linux管理面板1Panel

整个界面简洁清爽，后端使用GO开发，前端使用VUE的Element-Plus作为UI框架，整个面板的管理都是基于docker的。：通过 Web 端轻松管理 Linux 服务器，包括应用管理、主机监控、文件管理、数据库管理、容器管理等；1Panel 是一个现代化、开源的 Linux 服务器运维管理面板。官网： https://1panel.cn/2.1、安装1Panel代码。2.2、安装1Panel过程。一、1Panel介绍。二、1Panel安装。三、访问1Panel。四、1Panel界面。

2023-12-24 11:40:57 393

原创安装docker和安装docker-compose步骤

1、下载:sudo curl -L "https://github.com/docker/compose/releases/v2.23.3/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose。2、授权:sudo chmod +x /usr/local/bin/docker-compose。4、卸载: sudo rm /user/local/bin/docker-compose。

2023-12-22 00:18:45 134

原创类UNIX操作系统家族发展时间线

Unix 的发展无疑是这段计算史上最重要的里程碑之一。该操作系统不仅引入了当今信息技术中一些最基本的概念，例如分层结构的文件系统，它还是许多其他系统的基础，例如 Apple的 macOS 和ioS，或开源 Linux。反过来，这导致了无数衍生产品的出现，例如 Ubuntu.Debian 或移动 Android。

2023-12-03 22:46:43 97

原创 java多线程部分知识整理

程序：是为完成特定任务，用某种语言编写的一组指令的集合，即指一段静态的代码，静态对象。进程：是程序的一次执行过程，或是正在运行的一个程序，是一个动态的过程，有它自身的产生，存在和消亡的过程。-------生命周期线程：进程可进一步细化为线程，是一个程序内部的一条执行路径

2023-12-01 19:10:20 49

原创 prometheus部署及与grafana结合应用

prometheus server 是 Prometheus组件中的核心部分，负责实现对监控数据的获取，存储以及查询。它会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。node_exporter是用于采集node的运行指标,包括node的cpu、load、filesystem、meminfo、network等基础监控指标,类似于zabbix监控系统的的zabbix-agent。3.7、启动prometheus。

2023-11-28 11:42:25 293

原创 SpringBoot引入sleuth做链路追踪

sleuth 是一个分布式跟踪系统，用于跟踪应用程序中的请求和操作。引入该依赖后,日志中会自动添加(traceid,spanid)，但是。五、启动Application应用查看traceId信息。这样springboot就成功引入sleuth入了。sleuth也可以在SpringBoot中单独使用。四、application.yml的修改。一、sleuth介绍。

2023-11-26 12:49:29 224

原创 skywalking 9.0.0开启自监控和配置集群

3.1、修改第一台服务器的application.yml。3.3、修改第二台服务器的application.yml。3.2、修改第一台服务器的webapp.yml。3.4、修改第二台服务器的webapp.yml。3.5、修改cluster，采用nacos集群。二、Skywalking支持的集群模式如下。4.2、配置 skywalking。三、Skywalking集群配置。4.1、启动prometheus。四、skywalking自监控。一、skywalking介绍。3.6、查看nacos。

2023-11-26 00:34:58 547

原创 SkyWalking 9.0.0在SpingBoot和SpringCloud中的应用

SkyWalking 是一个开源的可观测平台，用于收集、分析、聚合和可视化来自服务和云原生基础设施的数据。它是一种现代 APM(application performance monitor)，专为云原生、基于容器的分布式系统而设计。这里采用的是mysql数据库，也可以选择其他数据库，需要拷贝对应的驱动进去，例如mysql，就拷贝mysql-connector-j-8.0.33.jar到apache-skywalking-apm-bin\oap-libs目录中。3.3、启动skywalking。

2023-11-25 23:26:16 291

原创 springcloud结合链路追踪工具之Zipkin,sleuth

Spring Cloud Sleuth提供了一套完整的服务跟踪的解决方案。它会将服务与服务之间的调用给记录起来。可以快速的知道调用用户服务，到底涉及到了哪些微服务，方便我们快速排查问题！1.2、Zipkin 是一个分布式链路追踪系统。它有助于收集解决服务架构中的延迟问题所需的时间数据。2.1、下载zipkin-server-2.24.3-exec.jar后直接启动。1.4、zipkin源码下载地址。1.5、zipkin服务下载地址。二、 Zipkin服务启动。一、介绍Zipkin。

2023-11-25 17:39:58 37

原创 ChatGLM3在windows10上部署与调试

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。一、ChatGLM3介绍。二、ChatGLM3下载。

2023-11-24 15:20:40 1904

原创单机安装ceph

Ceph在一个统一的系统中独特地提供对象、块和文件存储。Ceph 高度可靠、易于管理且免费。Ceph 的强大功能可以改变您公司的 IT 基础架构和管理大量数据的能力。Ceph 提供了非凡的可扩展性——数以千计的客户端访问 PB 到 EB 的数据。ceph存储集群相互通信以动态复制和重新分配数据。二、ceph配置数据源。

2023-11-21 00:15:59 97

原创通过tengine-3.1.0访问fastdsf

是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。3.1、下载fastdfs-nginx-module-1.23模块。3.3、解压缩fastdfs-nginx-module。二、tengine-3.1.0下载。3.2、解压缩tengine。3.3、安装tengine。一、tengine介绍。三、tengine安装。

2023-11-20 22:35:29 110

原创 fastdfs-6.10.0安装

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。使用FastDFS能够很容易搭建出一套高性能的文件服务器集群，实现文件上传、下载等服务。3.6、安装fastdfs-6.10.0.tar.gz。3.4、安装libfastcommon-1.0.70。3.5、安装libserverframe-1.2.0。3.1、安装gcc，gcc-c++二、fastdfs软件下载。四、修改fastdfs配置。一、fastdfs介绍。五、启动fastdfs。

2023-11-20 21:52:36 165

原创 apache-cassandra-3.11.16 在windows10上部署出现的异常

根据这个分析，发现D:\bigdata\apache-cassandra-3.11.16\lib\sigar-bin这个下面有个dll。把sigar-amd64-winnt.dll改为sigar-amd64-winntt.dll再重新启动，就可以了。后面在cassandra.bat中加jdk环境变量，还是不能启动。再查看hs_err_pid656.log的错误。1、下载cassandra之后，放到D盘。2、配置cassandra的环境变量。3、启动cassandra。

2023-11-18 16:21:29 341

原创 apache-cassandra-4.1.3单机部署及集群部署及简单操作

是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，用于储存特别大的数据，集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。是一套开源分布式Key-Value存储系统。这样单机版本的cassandra安装完成了。一、apache-cassandra介绍。二、apache-cassandra下载。六、进入cassandra。五、启动cassandra。选择一个自己喜欢的版本。四、修改python。

2023-11-17 23:04:32 708

原创通过代码启动dolphinscheduler-3.2.0伪集群

3.4、dolphinscheduler-alert-server模块。4.5、dolphinscheduler-alert-server模块。3.1、dolphinscheduler-master模块。3.2、dolphinscheduler-worker模块。4.2、dolphinscheduler-master模块。4.3、dolphinscheduler-worker模块。3.3、dolphinscheduler-api模块。4.6、dolphinscheduler-ui模块。

2023-11-17 09:21:59 133

原创通过代码启动dolphinscheduler-3.2.0单机版

DolphinScheduler 是一个分布式的开源调度系统，它提供了一种可视化、可扩展、高可用的任务调度和数据处理方案。进入dolphinscheduler-ui，执行npm install,执行完成之后，通过npm run dev启动ui。进入dolphinscheduler-standalone-server代码启动StandaloneServer。一、apache-dolphinscheduler介绍。3.1、启动dolphinscheduler单机版。三、启动dolphinscheduler。

2023-11-17 09:05:32 126

原创 apache-dolphinscheduler-3.2.0集群部署

DolphinScheduler 是一个分布式的开源调度系统，它提供了一种可视化、可扩展、高可用的任务调度和数据处理方案。3.2、修改dolphinscheduler_env.sh配置。一、apache-dolphinscheduler介绍。三、apache-dolphinscheduler配置。四、apache-dolphinscheduler安装。3.1、修改install_env.sh配置。4.2、执行stop-all.sh。4.1、执行install.sh。4.8、node4节点。

2023-11-17 08:50:20 596 1

原创 apache-dolphinscheduler-3.2.0伪集群启动，采用mysql数据库

Apache DolphinScheduler 是一个分布式的开源调度系统，它提供了一种可视化、可扩展、高可用的任务调度和数据处理方案。3.2、进入/usr/local/bigdata/apache-dolphinschedulerW/bin/env。2.1、下载apache-dolphinscheduler。一、apache-dolphinscheduler介绍。三、apache-dolphinscheduler配置。四、apache-dolphinscheduler启动。3.8、查看启动进程。

2023-11-17 08:34:06 236

原创 apache-dolphinscheduler-3.2.0 单机启动及改为mysql存储

DolphinScheduler 是一个分布式的开源调度系统，它提供了一种可视化、可扩展、高可用的任务调度和数据处理方案。2.1、下载apache-dolphinscheduler。2.3、dolphinscheduler_env.sh配置。一、apache-dolphinscheduler介绍。二、apache-dolphinscheduler配置。3.1、启动dolphinscheduler。3.3、访问dolphinscheduler。三、dolphinscheduler操作。2.2、H2配置文件。

2023-11-17 08:09:24 637 1

原创安装stable-diffusion

Stable Diffusion是2022年发布的深度学习文本到图像生成模型,它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词(英语)指导下产生图生图的翻译。3.1、创建stable-diffusion虚拟环境。一、stable-diffusion介绍。二、stable-diffusion下载。

2023-11-15 01:36:38 319

原创 windows上本地部署ChatGLM2-6B

是智谱AI及清华KEG实验室发布的中英双语对话模型。3.2、进入ChatGLM2-6B。二、下载ChatGLM2-6B。一、ChatGLM-6B介绍。这样LLM大模型就跑起来了。3.4、下载model。

2023-11-15 00:27:28 378 1

原创 canal 1.1.7实现多库多表写mysql和es

是阿里开源的一个增量数据变更收集的工具，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费的一种中间件。启动canal.deployer-1.1.7中的startup.bat。2.2.1、在canal下创建order1，order2。order1的instance.properties配置。order2的instance.properties配置。三、启动canal.adapter-1.1.7。canal.properties的配置。2.1、下载canal.deploy。

2023-11-14 22:03:01 339

原创 python WARNING: There was an error checking the latest version of pip 【已解决】

一、这个是版本需要升级。 There was an error checking the latest version of pip

2023-11-13 22:44:38 96

原创采用miniconda3安装Tensorflow和PyTorch GPU及Pycharm的配置

这个特性使得模型的构建更灵活，更容易调试，并且能够支持更复杂的模型。在当前虚拟环境下，启动python后，输入import tensorflow as tf 验证tensorflow是否安装成功。4.8、安装pytorch，我们选择cuda 11.8,这个根据自己机器来选定，我们这里只是测试。我们这里没有安装CUDA，如果安装了，就会显示True。四、安装Tensorflow和PyTorch。4.5、安装Tensorflow-gpu。4.7、安装scikit-learn。三、安装miniconda3。

2023-11-13 17:01:35 295

原创采用miniconda3安装Tensorflow和PyTorch CPU及Pycharm的配置

这个特性使得模型的构建更灵活，更容易调试，并且能够支持更复杂的模型。在当前虚拟环境下，启动python后，输入import tensorflow as tf 验证tensorflow是否安装成功。四、安装Tensorflow和PyTorch。3.2、直接按提示安装miniconda3。4.3、安装Tensorflow。4.4、验证Tensorflow。4.7、安装PyTorch。一、Tensorflow介绍。三、安装miniconda3。4.8、安装pyTorch。4.9、验证pyTorch。

2023-11-13 16:18:47 148

原创 datax操作

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。二、datax框架设计。

2023-11-13 00:19:10 91

原创在linux安装hadoop集群下执行hive任务

三、上面是安装hadoop集群和hive的方法。这样就可以看到在hadoop上执行的任务了。4.6、hadoop查看任务。一、安装hadoop。4.4、执行统计任务。

2023-11-12 02:06:45 51

原创在linux上部署hadoop-3.3.6，hbase-2.5.6 ，apache-zookeeper-3.8.1集群

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）HBase是一个分布式、可扩展、支持海量数据存储的NoSQL数据库。底层物理存储是以Key-Value的数据格式存储的，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。一、hadoop介绍。

2023-11-12 00:33:23 214

原创在linux下hadoop集群 DataNode不能启动的情况

注意：服务器的时间需要统一。正常情况下是不允许多次格式化的。这只是在测试环境上才可以这样玩。生产环境需要把VERSION里面的数据拷贝到datanode里面.正常启动后是这样的。最后重启把namenode和datanode里面数据删除掉。重新格式化，再启动hadoop集群，就解决了。这里也没有节点数据，而是空的，这个图是正常的。找了很久原因，发现是datanode没有启动。一、格式化文件之后，重新启动hadoop集群，发现 DataNode不能启动了。

2023-11-11 17:25:17 317

原创在linux下hadoop 3.3.6部署集群

Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）6.1、在主节点启动hdfs，./start-dfs.sh。6.2、在主节点启动yarn，./start-yarn.sh。6.4、在node2节点jps查看。6.5、在node3节点jps查看。4.2、在hadoop创建目录。6.3、在主节点jps查看。一、hadoop介绍。六、hadoop启动。七、查看hadoop。

2023-11-11 16:04:46 262

原创 Linux搭建Kafka集群，KRaft集群搭建

KRaft 运行模式的 Kafka 集群，不会将元数据存储在 Apache ZooKeeper中。即部署新集群的时候，无需部署 ZooKeeper 集群，因为 Kafka 将元数据存储在 controller 节点的 KRaft Quorum中。在kafka的3.0及以上的版本，不建议在生产环境中使用。4.1、生成集群uuid，整个集群中的唯一ID。一、KRaft 模式介绍。4.2、格式化存储目录。4.3、启动kafka。

2023-11-10 23:13:28 164

原创 windows10上配置kafka集群

Kafka是由Apache开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有行为记录数据。2、server.properties配置。1、zookeeper配置。三、kafka集群配置。

2023-11-10 22:05:28 179

原创 windows上使用kafka.3.6.0

Kafka是由Apache开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有行为记录数据。2、server.properties配置。4.1、启动zookeeper。1、zookeeper配置。5.3、查看具体某个队列。4.2、启动kafka。5.5、消费队列的数据。5.2、查看所有队列。5.4、向队列发数据。

2023-11-10 21:12:16 182

原创 linux下spark和hadoop结合，单机版

3.2、修改spark-defaults.conf。3.1、修改spark-env.sh。结合hadoop执行任务。一、安装hadoop。三、修spark配置。

2023-11-10 18:01:23 59

原创 linux下spark做集群

是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、 Hive引擎，以及Storm流式实时计算引擎等. Spark主要用于大数据的计算。进入/usr/local/bigdata/spark-3.5.0-bin-hadoop3/sbin中执行 ./start-all.sh。3、拷贝spark-defaults.conf。四、把配置好的spark拷贝到其他。1、拷贝spark-env.sh。三、spark配置文件的修改。六、查看启动成功后的界面。二、服务器及环境准备。

2023-11-10 15:28:38 86

原创 linux安装单机版spark3.5.0

是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、 Hive引擎，以及Storm流式实时计算引擎等. Spark主要用于大数据的计算。直接进入bin里面，启动./spark-shell。在配置spark之前，需要安装scala。三、spark环境变量配置。

2023-11-10 15:21:35 320

原创 linux下安装flink 1.18集群

Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。四、在flink下面创建logs，data，在data下面创建zk和tmp。五、修改 flink-conf.yaml配置文件。

2023-11-10 14:09:03 451

原创 linux下安装flink 1.18

Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。进入flink的bin下面，输入./start-cluster.sh 就启动了。在flink下面创建data，在data下面创建zk和tmp。远程就可以访问了，访问地址是http://ip:8081。3.3、配置flink-conf.yaml。3.1、配置环境变量。

2023-11-10 12:04:50 396