- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scrapy中运行一段时间报错pymysql.err.InterfaceError: (0, '')
今天早上一起来，发现两三个节点的scrapy疯狂报错，错误信息为： 2019-07-12 21:48:44 [twisted] CRITICAL: Rollback failedTraceback (most recent call last): File "/home/anaconda3/envs/python36/lib/python3.6/site-packages/twiste...
2019-07-13 10:51:15
1405
4
原创 pymysql.err.DataError: (1406, "Data too long for column 'url' at row 1")
今天把一个超级长的url存入mysql中出了点问题，报了下面这个错误，然后把varchar设置成了text和blob也没有卵用。pymysql.err.DataError: (1406, "Data too long for column 'url' at row 1")然后在stackoverflow找到了这个：https://stackoverflow.com/questions/159...
2018-11-01 11:12:12
11714
原创 upsert在mysql中的实现（附spark应用）
upsert概述以及在mysql中的实现spark写入mysql使用upsert总结upsert概述以及在mysql中的实现 upsert是update和insert的合体，这里暂时不对其具体的语义进行探讨，简单对其做一个定义，基本功能为：存在时更新，不存在时插入，简单的解释就是，当某种条件成立时使用update，条件不成立时使用insert。 在很多场景下，我们少不了使用...
2018-10-18 09:06:01
1798
2
原创 记一次CDH集群被下矿机
今天一上线看到集群cpu跑到100%，心里也是一跳，该不会是被下矿机了吧 top一下，果不其然有个占进程占了大部分的cpuPID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 23429 yarn 20 0 4121432 985.4m 39116 S 1226.7 1.5 ...
2018-05-04 17:01:46
2928
1
原创 spring 通过maven profile配置不同的环境
spring 通过maven profile配置不同的环境多环境的配置,网上看到的都太繁琐,后来自己配置了一个简单的,供大家参考首先配置profile环境profiles> profile> id>localid> properties> dev.environment>localdev.environment>
2018-01-11 17:46:18
1092
1
原创 spark利用maven profile不同环境下配置不同的依赖
因为在日常测试和生产中因为某些问题,需要配置很多不同包的依赖来对应不同的环境,java的maven的profile可以很好地帮我们解决这一问题以spark 的kafka包为例这里有两个环境,一个local,一个product.我这里需要将不同的依赖导入profiles> profile> id>localid>
2017-12-27 18:36:52
2464
原创 spark 通过ip地址查询所在地（JAVA版）
spark streaming 通过ip地址查询所在地（JAVA版）spark streaming 通过ip地址查询所在地JAVA版前言 准备工作代码时间下载链接参考代码前言 最近项目有一个用户地域分析的需求，现在知道ip字段，需要在spark中通过用户的ip查找归属地，我们这里将ip直接转换成对应城市的字符串首先我们需要一份ip库，字段格式如下：1.0.1.0|1.0.3.25
2017-12-08 17:17:15
1069
原创 CentOS7下Cloudera ManagerCDH-5.11安装配置详解
最近一直在研究spark的实时计算，公司说最近可能会用CDH来替代Apache的hadoop，于是研究了一下怎么使用Cloudera Manager来安装CDH（以前一直都是手动安装的，不得不说Cloudera Manager实在是方便了很多），最方便的是不用考虑各种hadoop生态圈的版本问题，大赞在网上看到了一些安装教程都太老旧了，按照上面的配置，自己安装的时候还出了不少岔子,于是自己写了
2017-05-10 16:34:32
2518
2
原创 Method createStream([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.uti
最近spark编程时遇到的一个错误：py4j.Py4JException: Method createStream([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.util.ArrayList, class java.util.ArrayList, class org.apache.spark.s
2017-05-08 16:12:26
1194
原创 将Centos7的yum配置为阿里云的镜像（完美解决yum下载太慢的问题）
最近在研究一些深度学习框架和大数据可视化的应用，经常会编译一些文件，而yum的默认地址下载太慢，所以用国内比较稳定的阿里云源。参考http://mirrors.aliyun.com/help/centos?spm=5176.bbsr150321.0.0.d6ykiD话不多说，上命令1、备份mv /etc/yum.repos.d/CentO
2017-02-17 16:02:30
22860
3
ip库，国内外均有，2017
2017-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人