- 博客(26)
- 收藏
- 关注
RSS订阅原创 centOS 不能上外网怎么下载依赖 (通过挂载镜像)
问题我们在服务器上部署系统环境的时候，常常会遇到找不到该命令:bash:.....:command not found或者在安装一些软件平台时缺少各种依赖。恰巧这个服务器不能连接外网，依赖之间更是一环套一换，将离线包上传安装更是套娃操作。心态直接搞到爆炸。解决方法用一个集成所有软件的镜像挂载到系统上，并配置成下载源，这样就可以直接使用命令 yum install 直接下载了。首先你需要下载一个包含所有软件组件的镜像，就是带Everything ISO。这里附加一个网址，自行下载：ht
2022-02-16 18:53:25
1240
2
原创 securityCRT ssh远程开启mysql，断开连接后，mysql服务就停止服务
问题描述：ssh远程连接服务器，在服务器中开启mysql服务，在正常断开ssh 连接后，重新连接口查看mysql的状态发现，mysql的状态：重新启动mysql，也可以正常启动，在不断开远程的时候都是可以正常使用的。尝试了很多的方法，比如重新卸载重装，更换版本，都没有解决问题。期间还尝试后端启动的方式：./mysqld_safe &启动时添加nohup等等还是会出现mysql停服的情况。nohup service mysql start &解决：最后找到的问题原因是因为服
2021-09-18 08:59:46
463
原创 sqoop增量从sqlserver导入到hive表中
1、走过的弯路网上很多的博客介绍的是增量从某个数据库导入hive，其实就是使用类似于这种的sqoop语句，sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect "jdbc:sqlserver://IP地址:1433;database=TS_Test" --username sa --password Test6530 --table data --target-dir '/user/hive/wareho
2021-08-28 16:04:59
1148
1
原创 使用JSON.toJSONString 导致的变量变多不准确。
今天在使用阿里的JSON将一个集合转换成一个json格式的字符串，但是，查看结构却发现不是自己想要的结果，具体的过程请看下面：首先，我定义了一个实体了swdz:static class SWDZ { public String pk_id; public String minecode; public String minename; public String station_code; public String add
2021-08-10 21:13:13
1327
原创 RabbitMQ教程
RabbitMQ 学习笔记rabbitMQ基本结构：broker: 消息队列服务进程，此进程包括两个部分 Exchange和queueExchange：消息对列交换机，按照一定的规则将消息路由转发到某个队列，将消息进行过滤。Queue：消息队列，存储消息的队列，消息到达队列并转达给指定的消费方。producer：消息生产者，也就是生产方客户端，生产方客户端将消息发送到MQConsumer:消息消费者，即消费者客户端，接受MQ转发的消息。消息发布接受流程：-----------发送消息1
2020-11-17 09:25:44
1111
1
原创 opentsdb在Hbase的存储结构
1、opentsdb介绍opentsdb是基于Hbase的分布式、可伸缩的时间序列数据库。主要用途：就是做监控系统提供最高毫秒级精度的时间序列数据存储，能够长久保存原始数据并且不失精度提供很强的写入能力，支持大并发的数据写入。opentsdb 的简介就不过多的介绍。2、OpenTSDB存储相关的概念在opentsdb中存储的结构是以下面的结构写入的：{ "metric": "单位的名字", "timestamp": db.TIME, "value":
2020-11-09 15:02:11
1691
2
原创 哔哩哔哩视频下载神器
是不是在B站上看到好看的视频，想下载却发现没有下载的入口？这里推荐一个下载神器。我这里使用的是Google浏览器作为案例。下载地址https://cdn.jsdelivr.net/gh/the1812/Bilibili-Evolved@master/bilibili-evolved.user.js点击下载安装。基本使用当你重新打开bilibili时，在网页中可以看到两个按钮当你浏览视频时，在视频播放的界面，我们点击一个按钮就会有下载视频，下载弹幕等功能，点击下载视频按钮：选择视频相
2020-10-31 21:06:04
2965
4
原创 利用spm12将dicom医学图像格式转成NII格式
废话不多说，直接上干货，一、首先下载spm12国外的下载源，比较慢，这里有百度网盘，需要的直接下载：链接：https://pan.baidu.com/s/1ZGQMSY1d8LTTa8Fyj1bNVQ提取码：yz1b二、将spm路径设置添加到matlab路径中，在matlab的命令端输入命令：注意将目录替换成你spm的所在路径addpath G:\spm\spm12回车，然后输入 ：spm点击选择PET&VBM然后选择dicom import双击dicom输入路
2020-09-18 10:15:22
6968
18
原创 cloudera manager手动安装flink、livy parcel出现哈希验证失败
问题：最近用cloudera manager 搭建的hadoop大数据处理平台，因为需求要安装livy、flink,然后自己就手动制作了flink 和livy parcel，（网上有很多的教程）这里我遇到的问题是下载parcel出现哈希验证失败:一开始总是怀疑是parcel的hash值与parcel.sha的hash值不一样，但是我仔细查看了一下，是没有问题的，这里就按照flink为例：FLINK-1.10.2-BIN-SCALA_2.12-el7.parcel.shamanifest.json
2020-09-11 17:18:58
1479
原创 利用hive查看Hbase的数据
利用hive查看Hbase的数据通过建立hive的一个外部表，建立Hbase与hive的关联关系，CREATE EXTERNAL TABLE meter_record (KEY STRING,ID STRING,CUSTID INT, METERID STRING, DATAVALUE STRING, DATATIME STRING, SYSTEMID TINYINT, RECORDTIME TINYINT, RECORDMANID STRING) STORED BY "org.apache.hado
2020-08-04 17:36:52
2057
原创 orcal实例启动异常
最近在一台电脑上安装了两个实例，其中一个可以正常访问，但是另一个没有启动。1、首先检查实例的服务有没有启动这里的EA是我的实例的名字，要保证以上两个服务正在运行，2、手动启动启动oracle实例：启动命令端，输入set ORACLE_SID=（你的数据库实例名），点击回车，继续输入‘sqlplus/nolog’，点击回车键。然后在sql输入栏中输入：conn /as sysdba，回车。然后我在sql输入栏中继续输入startup，发现出现错误，ORA-01078: failure in
2020-08-04 13:17:03
607
原创 plsqldev1207x64.msi下载免费免费
我自己花钱买的，免费分享，，只要一个赞，这些东西都得需要钱，这是的。哼！链接：https://pan.baidu.com/s/1mQ-N6MuO2QOwxVchPah2EQ提取码：t9ae
2020-04-07 21:08:37
1901
1
原创 Spring注解@resource出现错误
最近在使用spring框架的注解@resource时出现错误，但是使用@Autowired @Qualifier("acountDao1")是可以运行的但是使用@resource（“acountDao1”）就出现错误，一开始是不不补全，网上说缺少依赖，再maven添加了： <dependency> <groupId>javax.annotation...
2020-02-19 13:56:47
2688
1
原创 mysql-connector-java-5.1.40-bin.jar包
mysql-connector-java-5.1.40-bin.jar链接: https://pan.baidu.com/s/1XKqJApY_5XDliEL5UYOp_w 提取码: m2a2欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识...
2019-08-25 18:45:53
11488
11
原创 线性最优解java实现+Cplex java调用
一：cplex的使用：1.1 导入cplex.jar,包的地址：https://pan.baidu.com/s/1Q0Bv24EQdelV2rY-IrLoZQ 提取码：xn141.2 将cplex1290.dll （地址：https://pan.baidu.com/s/1sQXqYTSJWywwaZt5AHVkZQ 提取码：nm0l）添加到VM option中，这里以IDEA为例，同...
2019-07-05 21:16:45
30966
9
转载 SecureCRT的安装与破解（远程控制软件SecureCRT）
在Windows环境下，使用SecureCRT可以很方便地对Linux主机进行管理这里我总结了安装的详细过程，供大家参考学习：这里我安装的是SecureCRT8.1.0 64位的版本，以下是32位和64位的安装程序，请根据自己的需要下载：SecureCRT 32位：链接：https://pan.baidu.com/s/1j_GF5mU6XOxnTBdOZC5pTg 密码：8mscSecur...
2019-06-27 10:43:15
4966
3
原创 java中list.add添加元素覆盖之前的问题
1 **在码代码时，发现一个问题：**使用 list<object> list=new Arraylist<object>(); list.add(object)；出现之前添加的元素被最后的元素覆盖。类似于：ArrayList<Object> list = new ArrayList<Object>();Object obj;f...
2019-06-22 13:09:13
13258
6
原创 在IDEA中利用Junit测试单元
作用：Junit测试单元，主要运用于对程序进行专业化测试。默认情况下IDEA已经安装了Junit插件，但无法自动生成JUnit测试代码. 如果需要自动生成测试代码，需要安装JUnitGenerator V2.0 插件。安装方法：File–>settings–>Plguins–>Browse repositories–>输入JUnit–>选择JUnit Genera...
2019-06-21 10:22:40
2388
原创 如何将一个本地的工程上传到GItHub
1 首先你应该有一个GitHub的账号，这里就不赘述，另外创建一个项目，在入图片描述在这里插入图片描述在上图填写你要创建的项目的名称，注意如果你想创建一个文件夹就要在文件名后添加一个"/"，这样就会创建一个文件夹（工程）。复制仓库地址后面会用到2 然后就去下载一个git，可以网上搜索git下载，会有很多教程，下面是官网地址：https://git-scm.com...
2019-06-19 20:24:33
1597
转载 Hadoop-感知网络布局和机架的设计
转发https://blog.csdn.net/haboop/article/details/897864221.数据分块HDFS作为Hadoop中的一个分布式文件系统，而且是专门为它的 MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储...
2019-06-16 20:48:05
1377
原创 删减DataNode（decommissioning）与增加DataNode
删减DataNode（decommissioning）有时你想讲Hadoop集群中的某个节点进行升级或者删除。当然你可以杀死节点从而让从集群剥离，但是非常不建议这么做，HDFS的设计非常有弹性的，让一两个节点离线不会影响操作的正常进行。NameNode会检测到节点的死亡，并开始复制那些低于预定的副本数的数据块，为了让操作更加的顺畅和安全，特别是删除大批DataNode时，应该使用Hadoop的退...
2019-06-16 20:29:39
1952
原创 提取论文中公式神奇（写论文的福音）
写论文还在愁怎么写复杂的公式吗，想引用其他的论文的公式，发现都是这样的P(Xi)=1N∑j=1N1(2π)n/2∣C∣n/2exp(−12(Xj−Xi)TC−1(Xj−Xi))P\left(X_{i}\right)=\frac{1}{N} \sum_{j=1}^{N} \frac{1}{(2 \pi)^{n / 2}|C|^{n / 2}} \exp \left(-\frac{1}{2}\le...
2019-06-14 20:26:37
24421
8
转载 Hadoop中Join+BloomFilter实现链接不同来源的数据
转自https://qindongliang.iteye.com/blog/2057266。散仙，在上篇文章中了，测了使用半链接的方式，来实现的表join，注意中间存储小表的key，是用HashSet实现的，也就是把数据存在内存里，在map侧，进行key过滤后，然后再Reduce侧，实现join，但如果数据量非常大的情况下，HashSet来存放海量的key可能就会出现OOM的情况，这时候，我们就...
2019-06-14 19:08:46
1653
原创 Hadoop-提高性能（调优）方法
1. 通过combiner来减少网络的流量Combiner可以减少在map和reduce阶段之间的数据量，较低的数据传输量可以较好的较少运行时间。2 减少输入数据量这个有点牵强，但是对于有某些分布特征的数据来说可以通过采样的方式进行输入数据缩减。对于某些分析应用而言，这是一个可行的选择，抽样降低到的是精度，而不是准确性。3使用压缩即使在map和reduce之间使用了Combiner,在m...
2019-06-14 08:39:42
2550
转载 用IsolationRunner 重新运行出错的任务
用IsolationRunner 重新运行出错的任务引用：https://blog.csdn.net/cwyspy/article/details/10004995https://blog.csdn.net/cffyh/article/details/6549065基于日志文件的调试是通过普通的历史记录来重建事件，有时，事件并不能提供足够的信息让我们可以追溯失败的原因，但是Hadoop有一个...
2019-06-13 15:31:52
1378
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人