自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(52)
  • 资源 (6)
  • 收藏
  • 关注

原创 为什么央行降息降准,会导致债券价格上涨?

为什么央行降息降准,会导致债券价格上涨,债券基金的收益会上升?降息降准,其实就是传说中的“印票子”,也就是央行增加货币供应的主要手段。所以,其实就是问,货币多了是怎么导致债券价格上涨的?这个问题涉及到了债券价格变化的机制。主要分两步:第一步:我们要明白央行降息降准是什么意思,“降息降准”的背后,要做什么样的政策操作。第二步:再来说说这样的操作会带来什么样的市场反应,特别是债券价格的反应。降息是什么意思?就是指中央银行降低银行间市场的目标利率。就是央行通过在银行间市场去购买债券,抬高债券价格,债

2020-07-14 15:19:07 5696

原创 买基金--避免踩坑

中国基金业中不规范的行为有三类:1、基金之间哄抬股价的“抬轿子”;2、基金经理损公私肥,牟取暴利的“老鼠仓”;3、基金经理和上市公司之间勾结的利益输送;三个原则识破上述不规范行为“查底牌”“识前科”“破迷信”第一个坑:抬轿子—基金之间的利益输送(基金之间粉饰业绩)比如说,一家基金公司旗下有好几支基金,一个基金先买入某个股票,然后其他基金再持续的买入这只股票,推高股价。那么先买入这只股票的基金业绩自然就上去了,净值也自然就提高了,这就相当于是“坐轿子”,而后面解盘的基金就相当于“抬轿子”。

2020-07-14 14:19:37 346

原创 IDEA使用maven打war包,出现lib中jar包不全

下面这张截图可以看出,lib中的只有一个jar包,而且根本运行不起来。解决方法:删除第三步中,红色字体的部分再去打包

2020-07-09 11:05:49 2478

原创 公募/私募基金

QDII基金是公募基金的一种,它的全称是国内合格机构投资者赴海外投资基金(Qualified Domestic Institutional Investors,QDII),也就是说如果你想买港股,或者看好美股等境外证券市场的发展,但是又没时间或者资格自己直接去购买投资,这时候就可以选择QDII基金,QDII基金是在各国货币之前没有实现完全可兑换,有限度的允许境内投资者投资境外市场的一种过渡性投资产品。...

2020-07-09 10:58:42 304

原创 快速挑选靠谱货基

挑选基金1、投资者结构:60%以上的散户型基金2、基金规模:100-400亿的规模3、历史业绩较好4、手续费较低查看基金的渠道天天基金网好买基金网同花顺挑选流程首先把机构持有量大于40%的剔除小于100亿和大于400亿的基金剔除剩下的基金再按照前面6个月的历史业绩排名最后挑选出手续费、各种杂费最低的大概剩下来10支可选择的货币基金申购赎回小窍门1、一般是T+1赎回,也有T+2,T+3赎回,那就意味着你要两三天之后才能赎回,这种流动性更差2、基金交易是按照工作日来计算的,一般

2020-07-07 14:10:42 1421

原创 logstash-过滤ES数据到新的ES

背景:过滤ES集群中特定类型的某个时间段的数据到新的ES集群具体操作下:###类型TCCinput{ elasticsearch { hosts => "10.10.x.x:9200" index => "cqct_20200508_03" query => '{"query":{"bool":{"must":[{"range":{"optime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_n

2020-06-24 10:21:52 1041

原创 初识图数据库Neo4j

说明:此篇博文是之前总结的,忘记参考是哪篇博文了,若作者介意请联系1、简介NEO4J最有效率的功能就是能够快速查询出任意2个节点的最短链接途径,此功能也填补了一些当前主流数据库的空白。NEO4J高效的遍历算法,查询速度快。2、下载地址(社区版)https://neo4j.com/download-center/#community3、解压tar包tar –zxvf neo4j-community-3.5.13-unix.tar.gz4、修改配置文件neo4j.conf#load csv时.

2020-06-24 10:13:58 306

原创 吐血实践-TiDB离线安装

在内网安装TiDB,测试安装了很久,终于实践成功,整理成章,便后查看

2020-06-23 16:40:24 3189 1

原创 ElasticSearch数据迁移报错记录

迁移步骤遇到的问题1、创建仓库报错{“error”:{“root_cause”:[{“type”:“repository_verification_exception”,“reason”:"[my_backup] [[mu3vPb-eTBeom4ElNsSeoQ, ‘RemoteTransportException[[node-1][10.10.77.100:9300][internal:...

2020-06-23 16:03:05 4208 1

原创 HDFS中存储了10多T数据如何升级?

一、背景安全扫描出hadoop2.8.3有安全漏洞,由于公司要求等保三级,我想到最便捷的方式就是升级版本。根据安全扫描报告决定升级到2.9.2。HDFS中有之前花了时间精力迁移的10多T数据,不想再重新迁移二、解决方案hadoop2.8.3的配置和文件不要改动,主要停止相关的进程。1、 修改core-site.xml,将临时路径修改为hadoop2.8.3对应的路径2、修改hdfs-site.xml ,将data和name的路径修改为hadoop2.8.3对应的路径其他的配置文件都是按

2020-06-22 14:37:12 250

原创 将ElasticSearch5.1的50+T数据迁移至ElasticSearch5.6

一、背景将ES-5.1.1版本中的50多T的数据迁移到ES-5.6.12版本中,且两个集群在同一局域网。此文档基于centos7系统,实际操作根据系统进行调整。参考:https://www.cnblogs.com/reblue520/p/6784497.htmlhttps://blog.csdn.net/warrah/article/details/78978244采用方式: 使用nfs创建共享文件夹二、NFS准备工作5.1.1版本ES集群:10.10.77.100、10.10.77.101

2020-06-22 10:45:43 957

原创 ES5.6.12客户端连接报错Caused by: java.lang.ClassNotFoundException: org.elasticsearch.http.AbstractHttpServe

ES客户端连接报错问题解决搜索了一下网上说是没有添加 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>5.6.12</version> </dependency>可是我添加了还是报一样的错误一般报这个错误无非就是缺少依赖包或者是

2020-05-29 10:16:33 4233 1

转载 某个文件夹执行命令完全卡死解决方法

参考:https://blog.csdn.net/u010801696/article/details/78490103某个文件夹执行命令完全卡死(ctrl+z,ctrl+c等都不能用)表现:1.在文件夹执行ls等命令卡死;2.在服务器任何地方执行df -h卡死(sudo fdisk -l管用);3.cd 文件夹卡死;产生原因:该文件夹中有一个服务挂载在该文件夹某一目录下,因突然关机等...

2020-05-08 17:13:00 1019

翻译 apache synapse学习-XPath functions and variables

Custom Functionsget-property functionget property函数从给定作用域的消息上下文中检索属性。如果未指定作用域,则从默认synapse作用域检索属性。语法:get-property(String scope, String propertyName)get-property(String propertyName)支持的作用域:defau...

2019-07-30 18:55:03 168

翻译 apache synapse学习-属性设置

属性设置-Generic PropertiesPRESERVE_WS_ADDRESSING默认情况下,ESB将一组新的WS-Addressing头添加到从ESB转发的消息中。如果在消息上将此属性设置为“true”,ESB将在不更改其现有的WS-Addressing头的情况下转发它。<property name="PRESERVE_WS_ADDRESSING" value="true"/...

2019-07-30 15:01:36 1968

原创 logstash应用4:ElasticSearch--HDFS

工具:logstash5.1.1应用:将ElasticSearch中的实时采集到的数据同步到HDFS作为历史数据存储初级版本脚本:input{ elasticsearch { hosts => "10.10.77.104:9200" index => "cqct_20180508_06" #query => "*" }}output...

2019-03-19 15:56:25 1107 3

原创 Logstash报错java.lang.OutOfMemoryError: Java heap space解决

应用场景:使用logstash工具将mysql的数据表同步到ElasticSearch报错内容:java.lang.OutOfMemoryError: Java heap space解决方法:一开始我还以为是ElasticSearch的问题。free -h 查看了下内存使用情况,free的内存只有1.5个g了,后来发现ElasticSearch占用内存过大。于是就修改了ElasticS...

2019-03-19 11:13:00 5191

原创 logstash应用3:mysql--ElasticSearch

工具:logstash5.1.1应用:将mysql数据表中的数据同步到ElasticSearch1、确保es是可以连接上并且是健康的2、在将数据同步到es之前,要事先创建好对应的index3、运行脚本,脚本如下:input { jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql...

2019-03-19 11:12:45 116

原创 logstash应用1:mysql--本地

工具:logstash应用:将mysql中的数据同步到本地文件中。注意:path => “/home/tmp/output.txt”path的值要指定到文件,而不是文件夹input { stdin{} jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql-connecto...

2019-03-18 20:03:00 186

原创 logstash应用2:mysql--hdfs

工具:logstash5.1.1hdfs:hadoop2.8.3应用:将mysql中的某个表同步到hdfs系统中。input { stdin{} jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql-connector-java-5.1.47-bin.jar" jdbc...

2019-03-18 19:51:02 314

原创 使用Idea连接oracle的方法

&lt;dependency&gt; &lt;groupId&gt;com.oracle&lt;/groupId&gt; &lt;artifactId&gt;ojdbc8&lt;/artifactId&gt; &lt;version&gt;12.2.0.1.0&lt;/version&gt; &lt;/dependency&gt;编译mvn inst

2019-02-13 15:17:18 1617

原创 shell脚本-sqoop->HDFS

场景:将mysql库中的数据传输到HDFS中,并且按照日期作为文件名来存放数据,方便数据的读取与处理如图所示:以日期来命名文件夹,存储当天的数据首先介绍一下shell脚本中的三个引号的适用与区别单引号(‘’)–所见即所得var1=‘helloworld’var2=’${var1}helloworld’echo $var2输出结果:${var1}helloworld双引号...

2019-02-13 14:32:02 535

原创 Sqoop1.4.7数据迁移

Sqoop配置安装请参考本人发布的《Spark集群及相关生态链部署文档》https://download.csdn.net/download/wzz87/109548301、数据迁移简单版将mysql数据库中的表直接上传到HDFS中,并删除已经有的表,以逗号为分隔符./sqoop import --connect jdbc:mysql://10.x.x.x:3306/cqct --use...

2019-02-13 14:29:21 285

原创 多台机器进行时间同步rpm方式

5台机器进行时间同步接触大数据以来,越发觉得机器之间同步的重要性,若是不同步,时常会产生服务启动有误或启动不成功等。最近在搭建测试环境,偏偏这虚拟机等配置也需要自己来搭建,可恨的是又是离线又是红帽,那yum也不能用啦,时间同步真真是花费了我不少时间。好吧,打开很多网页一个一个方法试过来吧。10.10.0.201 server(作为参照物,其他机器的时间同步此机器上的时间)10.10.0...

2019-01-12 00:28:15 814

原创 Spark之初学-01

Spark简介Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台,在2010年开源,目前是Apache软件基金会的较高级项目。随着Spark在大数据计算领域展露头角,也获取了越来越多的关注。2014年11月,Spark在Daytoya Gray Sort100TB Benchmark竞赛中打破了由Hadoop MapReduce保持的排序记录,Spark利用1/10的节点数,把...

2018-09-21 15:18:48 293

原创 Hive、Hbase的介绍

HiveHive是基于Hadoop之上的数据仓库,可以通过使用类SQL的语句HQL来查询存放在HDFS上的数据;HQL是中类SQL语言,这种语言最终被转化为Map/Reduce,但是hive不能用于交互式查询;适用于海量离线数据的全量查询分析;Hbase...

2018-09-10 15:21:21 146

原创 Spring Boot启动报错

报错信息: Error starting ApplicationContext. To display the conditions report re-run your application with ‘debug’ enabled. 2018-07-13 17:40:42.844 ERROR 6612 — [ restartedMain] o.s.b.d.LoggingFailureA...

2018-07-13 17:48:39 678

原创 IDEA一个窗口显示多个项目

IDEA中的项目概念与eclipse是不同的,IDEA的项目等同于eclipse中的workspace。Idea的module等同于eclipse中的project。所以我们要实现在一个项目倒入多个module。具体操作如下: File–&gt;Project Structure Import Module,然后选中自己要导入的项目即可 参考文献: https://blog.c...

2018-05-08 09:35:16 17852 1

原创 运行Dubbo案例报错--java.lang.ClassNotFoundException: org.apache.log4j.Level

解决方法将pom.xml配置文件中关于log4j的版本由原先的1.2.17版本改为1.2.16 &lt;log4j.version&gt;1.2.16&lt;/log4j.version&gt; &lt;dependency&gt; &lt;groupId&gt;log4j&lt;/groupId&gt; &lt;artifactId&gt;log4j...

2018-05-03 15:24:57 2079

原创 关系型数据库和非关系型数据库

**关系型数据库和非关系型数据库** 关系型数据库:其数据表示二维表,结构稳定,不易修改。 代表: Oracle、MySQL、SQLServer等 优点:查询能力高,适合操作复杂查询;表具有逻辑性,易于理解;一致性高,由于高并发,在数据同步时采用锁来保证数据的可靠性,在处理数据点的时候对表进行封锁保证其他操作不能改变当前查询范围内数据的值。复杂查询,可以用SQL语句方...

2018-03-13 15:20:01 404

原创 传输多个文件中断,shell脚本实现续传

背景:上篇博客记录了本人的需求shell脚本第一版本,但是传输过程中不知道什么原因中断了,3000+个数据文件只成功传输了1680个,但是又不能重新启动之前的脚本,会出现重复传输,也很耗时间。因此就想到从1681个开始传。假设 /test/tmpcsv/下面有文件 …… c_1677.txt c_1678.txt c_1679.txt …… c_1680.txt c_1681.t...

2018-03-06 16:27:08 1698

原创 shell脚本批量上传数据到阿里云的odps

需求:将一个硬盘中的3000+个数据文件上传到odps上1、安装odps客户端并进行相关的配置 配置文件在odpsclient/conf/odps_config.ini project_name= access_id= access_key= end_point= tunnel_endpoint= 2、单一文件的上传 进入...

2018-03-05 16:45:17 1001

原创 结构化、非结构化和半结构化数据

一直对结构化、非结构化和半结构化数据三个数据类型的概念有点模糊不清,今天特意花点时间网上查找了一番,继而,来此处进行一通总结。**结构化数据** 结构化数据可以使用关系型数据库来表示和存储,如MySQL、Oracle、SQL Server等,表现二维形式的数据。可以通过固有键值获取相应信息。一般特点是:数据以行为单位,一行数据表示一个实体的信息,每一行数据的属性是相同的。结构化的...

2018-02-25 22:23:44 20866

原创 Linux中,maven的依赖jar包报错ArtifactTransferException: Failure to transfer

在解决maven的ArtifactTransferException: Failure to transfer报错问题上的一些总结先说说我做了什么操作而报的错我在maven项目的pom.xml里面添加了如下依赖jar包        &lt;dependency&gt;            &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt;     ...

2018-02-25 21:35:29 267

原创 数据库总结

由于近期实习涉及到阿里云大数据开发套件的使用,主要涉及到odps、ads、rds、ots相关数据库的操作,所以针对性的做一些总结,并将阿里云中产品与实际产品对应分析。其中ots没有使用过,这里为了对比分析,容易理解也有列出来。阿里云中的Maxcompute(原odps)其实就是hive,扮演数据仓库的角色,适合存储轨迹类历史数据,适合存储的数据量大,适合海量数据的处理,适合对数据进行离线分...

2018-02-24 19:18:27 951

原创 kafka官方文档解读

Kafka是一种分布式的,基于发布/订阅的消息系统。Kafka目前主要作为一个分布式的发布订阅式的消息系统使用,由Scala写成。1、Kafka消息传输流程整体架构 图1其中:Producer:生产者;Broker:kafka的服务器;Consumer:消费者;Zookeeper:对整个Producer、Broker、Consumer进行协调。Producer: Producer-生产者将

2018-02-11 13:17:37 857

原创 最近想使用IDEA,本以为带有maven插件的IDEA用起来会很容易

IDEA配置maven和eclipse无太多差别,此文仅为记录 此链接详细讲述了IDEA开始使用的各项配置 在此谢过!

2018-01-19 17:01:29 390

原创 maven与jdk不匹配问题

maven与jdk不匹配问题请参考以下链接为另一博主的mave与jdk对应的版本 mave与jdk对应的版本问题描述: 环境变量里面配置的是1.7 java -version却一直显示的jdk1.8版本,很是郁闷后来在同事的帮助下,找到了原因 就是path中的这个路径,C:\Programdata\Oracle\Java\javapath; 因为这个路径默认使用的是jdk1.

2018-01-19 15:06:56 1919

转载 (转)having和where区别

“Where” 是一个约束声明,使用Where来约束来之数据库的数据,Where是在结果返回之前起作用的,且Where中不能使用聚合函数。“Having”是一个过滤声明,是在查询返回结果集以后对查询结果进行的过滤操作,在Having中可以使用聚合函数。在说区别之前,得先介绍GROUP BY这个子句,而在说GROUP子句前,又得先说说“聚合函数”——SQL语言中一种特殊的函数。例如SUM, CO...

2017-08-18 17:20:27 279

原创 docker安装报错处理

安装docker toolbox 报错 问题: Virtual Box没有成功安装的原因解决方法按照以下链接 这里写链接内容最后重新启动docker

2017-07-27 16:18:56 678

传输到hdfs数据,进行压缩

对hdfs进行压缩配置,将要上传到hdfs中的数据实现压缩,需要进行以上配置,此资源为编译好的,只要在安装好hadoop的基础上按照操作步骤一步一步进行即可实现

2019-02-13

Spark集群及相关生态链部署文档

hadoop2.8.3 Spark 2.1.0 hbase 2.0.1 JDK 1.8 zookeeper 2.4.9 hive 2.3.3 sqoop 1.4.7

2019-02-13

redis,解压即用

将redis.zip 解压之后,修改redis.conf配置文件,进入到src目录下,运行redis-server 指定配置文件,便可以启动redis数据库

2019-02-13

反编译工具

因为使用jd-gui这个反编译工具,无法对某些类进行反编译,因为找到luyten这个反编译工具,与大家分享。

2018-12-20

ELK5.0部署安装,elasticsearch、logstash、kibana。。

ELK5.0部署安装,elasticsearch、logstash、kibana。。

2018-07-27

eclipse.exe

eclipse.exeEclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)

2015-12-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除