- 博客(22)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Mac OS通过docker安装CDH
1. 从官网下载镜像，大概4.4G，建议用迅雷，直接用docker拉取经常中断2. 解压并加载到本地镜像库 tar -vxf cloudera-quickstart-vm-5.13.0-0-beta-docker.tar.gz docker import cloudera-quickstart-vm-5.13.0-0-beta-docker.tar cdh:5.13.03. 修改...
2019-11-10 10:22:01
2048
1
原创 springboot整合elasticsearch及热更新字典及同义词
整合dao层ItemRepositorypackage com.futhead.es.dao;import com.futhead.es.model.Item;import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;import java.util.List;publ...
2019-09-15 23:25:52
1908
原创 win10上使用docker初体验
这两天没事，开始在windows上捣腾docker，虽然踩到些坑，但用起来确实很方便1. 安装参考Install Docker Desktop for Windows下载地址一路next就可以，如果有其他环境问题的提示，按照提示修改如果一切没问题，打开命令行，输入docker run hello-world看到如下内容则表示安装成功2. 登录这里需要的事...
2019-05-26 12:33:40
7934
3
原创 command 'x86_64-linux-gnu-gcc' failed with exit status 1
今天再ubuntu16.04上安装fabric3时抛了异常distutils.errors.DistutilsExecError: command 'x86_64-linux-gnu-gcc' failed with exit status 1具体如下：Complete output from command python setup.py egg_info: c/_cffi...
2019-05-10 19:45:24
3337
原创 用Python徒手写一个web开发框架
自从转行做码农以来，零零碎碎总会参与web开发相关的工作，但一直都没系统地学习一下，现在处于离职前夕，刚好有时间，跟着廖雪峰大神《Python教程》的实战教程，从头开始写一个web开发框架，以理清其中的脉络。Web App骨架整个框架建立在asyncio的基础上，而异步IO的现实是用的协程模型，跟传统子程序(即函数，通过栈实现，一个线程就是执行一个子程序，最终一层一层返回给程序入口)相比，...
2019-05-05 18:20:46
782
原创 常见反爬策略的解锁方法
用selenium模拟登录不能通过验证js检测window.navigator.webdriver值比如淘宝登录，当用selenium驱动浏览器，发现无法通过滑块验证，如下图当然可以修改这个值就可以绕过去。简单粗暴的直接赋值是不行的，如window.navigator.webdriver = undefined正确的写法是这样的：Object.definePr...
2019-04-27 20:37:03
1715
原创 教女朋友用Python快速绘制图表
安装anaconda3下载anaconda3下载地址：https://repo.anaconda.com/archive/Anaconda3-5.3.1-Windows-x86_64.exe安装一路next, 在安装完成时提示是否加入到环境变量，两个复选框都勾选，如图所示看到这个，就安装完成了验证安装按下windows + R 键，输入cmd, 回车，如图所示...
2019-04-27 16:13:59
1157
1
原创 通过auto.js控制手机开发环境搭建
1. 安装模拟器推荐网易的mumu模拟器，下载页http://mumu.163.com/双击安装，安装前会检测运行环境，根据反馈自行修改配置安装完成后启动模拟器2. 安装auto.js到auto.js官网https://hyb1996.github.io/AutoJs-Docs/#/下载Auto.js apk文件，通过模拟器右下角的安装按钮安装，安装成功后打开app，拉开...
2019-04-14 23:45:15
20264
8
原创 python编程常用技巧
批量处理文件时，同时有压缩文件和未压缩文件import pandas as pdimport osimport zipfilefor path in os.listdir(DATA_PATH): if path.endswith(".csv"): df = pd.read_csv(DATA_PATH + "/" + path, dtype=str) elif path.end...
2019-04-02 16:10:35
213
原创 浏览器实现restful接口的post请求
某客户的部署环境只有内网，但需要访问外网的第三方API，有台可以访问公网的机器搭了apache代理，代理添加了域名白名单，之前写的用requests直接访问失败，应该是requests用的是http1.0协议，而apache白名单过滤用的是http1.1协议。浏览器默认是http1.1协议，可以通过模拟浏览器发起请求方法一：使用seleniumrequests实现from selen...
2019-03-20 17:33:26
4678
原创 破解某电商js签名api
抓取某电商的产品信息，数据是通过api异步加载的，api有5个参数，有个sign的参数是签名，下面，就一步步演示下如何自己生成签名1. 找出签名的js一般的网站习惯把sign方法放在发起请求的js文件中，如下图的xdomain.js文件中然而，打开找了下，没有。以我多年的失败经验，这段js应该写到主页的html文件中，打开看一下，果然在里面2. 调试签名过程js...
2019-03-19 18:46:47
1160
原创 python配置有权限代理解决方案
代理配置：proxy_url = "http://{}:{}@{}:{}/".format(proxyUser, proxyPass, proxyHost, proxyPort)proxies = {'https': proxy_url, 'http': proxy_url}1. requestsresponse = requests.get(url, proxies=proxi...
2019-03-12 19:10:35
641
原创 win10子系统Linux试用体验
同事推荐了win10内置的linux子系统，试用了一段时间，分享下体验亮点：这个东西确实很好用，解决了开发环境与部署环境不一致的问题。各种服务可以直接装在Linux上，代码也可以直接切到开发目录运行，省去了发布和环境不一致的问题 解决了开发中的编码问题，Windows默认编码GBK， 而Mac和Linux都是UTF-8，因Python的方法参数有些有默认值，可以不传，从代码库上拉下来的代...
2019-03-05 15:52:50
534
原创 实时流处理开发调试环境搭建
写在前面的话上周发现了windows10上面的liunx子系统，感觉这东西真的太好了，然后昨天尝试着在(ubuntu16.04)上面搭建实时流环境，各个组件安装基本顺利，但在联合部署时踩到比较大的坑，把程序打包后提交到yarn上面，一直报错，大概意思是资源不够，一直倒腾到晚上7点多，无果，切换到Ubuntu16.04真实环境上重新来了一遍。结论，windows子系统的定位是开发环境，所以最好不...
2019-03-04 16:53:18
475
原创 Java通过代理访问网络
在一些安全性较高的系统中，应用部署在内网环境中，但难免有些外部的接口需要调用，常见的安全策略是搭一个代理，所有的外网访问都通过代理通道，做到可控。这里提供一种用okhttp3的实现方法第一步，引入jar依赖<!-- https://mvnrepository.com/artifact/com.squareup.okhttp3/okhttp --><dependen...
2019-02-28 11:42:41
1546
原创 选择某种颜色字母的验证码破解方法
现在有不少网站的验证码都变成了“请输入验证码图片中蓝色文字”这种形式，如下图大部分打码平台并不支持这种形式，所以得自己手动做些处理，基本思想：划归，即把这种验证码图片处理成打码平台可以打码的样子。首先，看下页面元素发现这个图片是转码成base64的一张png图片，所以，第一步，把这个base64字符串及需要的颜色抓出来def get_base64str_co...
2019-02-27 11:49:12
3341
5
原创 Java与Python中的正则匹配
Java实现import java.util.regex.Matcher;import java.util.regex.Pattern;public class Test { public static void main(String[] args) { String content = "我要匹配这句话中的“Hello Word”这句短语"; ...
2019-02-25 09:49:35
577
原创 linux系统下使用selenium驱动Chrome
写在前面：开始使用的是xvfb + PyVirtualDisplay + firefox(60.0,centos7默认yum源的版本，ubuntu16.04安装了65.0也也试过)，遇到一个比较大的坑，再模拟登录dowjones.com这个网站后，截图正常，做了一些操作，然后再截图，发现截的图只有很小一块，如下图所示不管是调整窗口最大化还是设置尺寸，都不能解决问题，最终只能放弃，改换g...
2019-02-22 19:17:18
1753
1
原创 win10找不到xlstat4
打开迅雷影音播放电影时提示找不到xlstat4.dll文件到https://cn.dll-files.com/xlstat4.dll.html下载xlstat4.dll文件拷贝到 C:\windows\system32目录下重启电脑
2019-02-01 10:49:07
810
原创 win10搜索框突然不能搜索本地应用
参考《解决win10状态栏的搜索框无法搜索本地应用或无反应》1. 打开资源管理器，输入powershell并回车2. 运行修复命令Get-AppXPackage -Name Microsoft.Windows.Cortana | Foreach {Add-AppxPackage -DisableDevelopmentMode -Register "$($_.InstallLocat...
2019-02-01 10:32:53
10243
原创 如何巧妙的避开办公室的监（tou）控（kui）工具大势至而不被管理机发现
先看一下这个东西能干啥功能挺多的， 不过这个东西最让人不爽的就是当你输一些被监控的敏感字符时，会强制关掉当前的应用，比如在浏览器输入FTP，QQ等，他就立刻干掉浏览器，让你的思维戛然而止。其次，CPU占用率较高，因为要实时监控你的输入，所以有个进程会一直运行，性能不好的电脑会有明显的输入延迟，严重影响正常办公。打开任务管理器，看看进程试试右键结束它，你会发现可以干掉，但比较有趣...
2018-12-24 10:11:23
3877
6
原创 HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat解决方法
用Spark SQL写入hive-hbase 表报错java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat at org.apache.spark....
2018-08-13 19:33:05
3683
10
spark-hive_2.11-2.1.4-SNAPSHOT.jar
2018-08-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人