- 博客(7)
- 收藏
- 关注
RSS订阅原创 随记（一）
spring cloud： eureka(服务发现)：每新建一个模块都要指定eureka服务的ip:port(这就是注册)。eureka服务之间也可以相互注册，可以实现容灾的效果。 eureka: client: service-url: defaultZone: http://peer2:8762/eureka,http://peer1:8761/eurek...
2019-08-09 11:13:13
93
原创 在用Pytohn编程遇到的坑
no.1reshape(n,-1) == reshape(-1,n).T ？答案：当然是false。我理所当然的以为，只有矩阵的行数和列数能保持不变，里面对应得数据就应该是一样的。然而并没有想象那么简单。看看下面实验就知道了。import numpy as npz = np.array([[1, 2, 3, 4],[5, 6, 7, 8],[9, 10, 11, 12],[13, 14...
2019-05-12 12:21:50
235
原创 BigData & AI常用词汇（后续更新）
BigDataHA (High Available) ： 高可用OOM (：out of memory) ：内存溢出DAG (Directed Acyclic Graph) ：有向无环图AIsupervised learning ：监督学习Structured ：结构化Structured Data：通常指的是有实际意义的数据。例如房价预测中的size，#bedrooms，p...
2019-05-06 15:34:08
350
原创 生产对接测试遇到的坑
背景生产环境都是部署在云服务器上，数据存储在云数据库中。默认配置可能和测试环境不一致。所以在没有提前了解其默认配置的话，作相应的修改，可能就遇到一些坑。这里主要这次架构升级所遇到的坑。进入主题数据库连接问题### Cause: org.apache.ibatis.transaction.TransactionException: Error configuring AutoCommit...
2019-05-06 15:29:33
354
原创 json无法反序列化（日期格式导致）
背景在项目对接中，有可能json对象里面的日期是这样的：2019-04-28T19:49:28.0000000 。JSONArray在反序列化成指定对象时，会报错。这里我们考虑采用以下方法上代码import com.alibaba.fastjson.parser.DefaultJSONParser;import com.alibaba.fastjson.parser.JSONLexer;...
2019-05-05 17:46:16
7174
1
原创 Flume搭建应用
应用背景现处于新零售行业的一家公司。商城和CRM每天会产生大量的业务数据。我们需要将这些数据进行简单处理，转存到hive数据库中，供其它部门同事使用。架构设计webApi+kafka+flume+hdfs，这里主要记录一下flume的使用。Flume搭建这里采用3 agent + 2 Collector模式，详情参考区别我们需要处理的不是单个表数据，而是多张表。那么问题来了，我怎么将...
2019-04-30 16:10:16
150
原创 传统方式部署Java web项目到Linux服务器
传统方式部署Java web项目到Linux服务器搭建环境JDK安装Tomcat安装部署项目其他操作搭建环境这里仅采用JDK+Tomcat作为运行环境，暂时不考虑负载均衡等问题。JDK安装通常在本地下好对应版本的jdk，然后通过xftp，将压缩包拷贝到服务器上。也可以在Linux上通过命令直接下载。前提是，在服务器上有安装过wget软件包。wget https://download.o...
2019-04-30 15:08:20
498
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人