- 博客(27)
- 收藏
- 关注
RSS订阅原创 Mac 终端/Iterm通过跳板机转发端口
MacBook P~r~o上，Iterm通过跳板访问其他服务背景：本机访问跳板机( 需要通过 跳板机端口)# 在本地时ssh -p 跳板端口 root@跳板IP只有在跳板机上才能访问目的地的某服务,比如是 目的地IP:目的地端口的服务，而本地不能直接访问该访问该服务，而Mac没有Windows里那种软件可以直接配置跳转，所以需要一条命令。假如通过本地10086端口，Iterm上敲的命令如下ssh -p 跳板机端口 root@跳板机IP -L 127.0.0.1:10086:目的IP:目的端
2022-04-01 10:47:31
1981
原创 Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系
–jars：提供系统中没有的包 运行时将包分发到worker指定目录例如/var/run/spark/work不会加载到executor的classPath多个包用逗号分隔spark.{driver|executor}.extraClassPath多版本的相同类被加载进ClassLoader，link的时候发生错误时，用了指定版本只需要指明包名即可，不需要指明路径该依赖包具有最高优先级，但只能指定一个包yarn-client模式下，–jars不会把包拷贝到本地，所以需要使用绝对
2021-11-12 12:05:32
4177
原创 org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to toAttribute on unresolve
执行形如下列的spark sql：select xxx from TABLENAME WHERE x=1 having CONDITION = 1报错：org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to toAttribute on unresolved object, tree: ArrayBuffer(a).* at org.apache.spark.sql.catalyst.analysis.
2021-11-05 18:04:45
4342
原创 spark on k8s 打镜像 COPY failed: stat /var/lib/docker/tmp/docker-builde...xxx
spark2.4源码通过 ./build/mvn -Pkubernetes -DskipTests clean package编译以后有一个jar包需要打到镜像里，进入 spark/resource-managers/kubernetes/docker/src/main/dockerfiles/spark/Dockerfile在COPY 那几栏里添加CP /路径/xxx.jar /opt/spark/jars报错：COPY failed: stat /var/lib/docker/tmp
2021-10-19 14:46:23
267
原创 win10 64用sift 报 No such file or directory: 'empire.sift'
Traceback (most recent call last): File “XX.py”, line 49, in l1,d1 = read_features_from_file(‘empire.sift’) File “X.py”, line 21, in read_features_from_file f = loadtxt(filename) F...
2018-03-25 01:13:08
1349
原创 阿里云centos7安装yii框架
1.主要安装过程没什么可说的，直接按照官网（http://www.yiiframework.com/download/ ，或者中文站 http://www.yiichina.com/download）进行，主要分为以下 several steps：step one : 安装composer： 参考：https://getcomposer.org/download/ 依次在终端执行
2017-06-20 01:35:17
4235
原创 【py交易】算法竞赛入门经典6.3.1 小球下落 python
题目： 分析： 1.深度为D的开关二叉树共有2^D -1 个开关，从上到下，从做到右排序1,2,3,…,2^D-1 2.最开始，这课开关二叉树上的所有开关都是关闭状态，假设为off状态，当有一个小球经过以后，开关由off状态变为on状态 3.举个例子（不举），假设D=4，则共有15个开关，顺序如图上。 1）第一个小球下落的时候，首先经过开关1，因为开关1是off状态，所以小球往左走
2016-12-06 00:02:55
1364
原创 【py交易】算法竞赛入门经典6.1.2 铁轨python
题目： 分析：（看过代码以后才有思路） 1.最简单的情况莫过于以A的顺序（直接）进入B或者以A的逆序进入B（需借助C） 2.除了1 的情况，都是比较复杂的，需要借助时不时的借助C，看懂书中的那段循环代码很重要（如图）， 主要的思想如下： 假设A和C都有火车： 先看A，如果此刻**A的第一辆与此刻**B的第一辆相同，则就从A直接开到B 否则
2016-11-28 09:56:21
718
1
原创 【py交易】算法竞赛入门经典6.1.1卡片游戏 python
题目： 分析： 1.算法很简单，但是也有个小陷阱，输入n，如果python字典开的跟n一样大的话，后面会有问题（也就是书中用的c语言访问非法内存的问题） 2.假如n = 7,初始化字典为的key为1~7，value为1~7，队首front = 1，队尾rear = 8（比原始的往后一位） 1）输出 key为1的值：1，然后删了，队首后移一位变为2，把这队首赋值给队尾key=8 的值，然
2016-11-27 17:39:01
633
1
原创 【py交易】算法竞赛入门经典5.4.4 多少块土地 python
分析： 1.题目不是太懂，看了一下网上的一些文章，其实跟题目讲的基本一样，所以还是不太懂。画个图比划比划就好多了 2.简单多面体的欧拉公式，记住就ok， V-E+F = 2 (Vertex,Edge,Face) 其中，这个Face是包含了椭圆面外的无限大平面，所以最后F = 2-V+E-1 = E-V+1，求出边数和定点数即可得出答案 3.最优方案：不会让任何3条线交于一点，这个提示很重要
2016-11-26 12:24:22
751
原创 【py交易】算法竞赛入门经典5.4.3果园里的树 Python
分析： 1.可借助三角形的有向面积计算，原理不懂，但是有公式，记住就可： 如果 》0，则说明ABC三点呈现逆时针排列，<0反之，=0共线 2.三个点为A、B、C，三个点的x最大值是maxX，最小值是minX，y最大值是maxY，最小值是minY，虽然x和y属于1到99，但是x只需要遍历minX-maxX，y只需要遍历minY-maxY的整数点就可以了 3.假设任意一个点为P，则三角形内的
2016-11-24 00:44:00
500
原创 【py交易】算法竞赛入门经典5.4.2 因子和阶乘 Python
题目： 分析：0.825除以2，除不尽（共0次）；除以3，能除尽，再除以3，除不尽（共1次）；除以5，能除尽，再除以5，能除尽，再除以5，除不尽（共2次）。。。所以为01201 1.输入一个数，计算这个数的阶乘，需要一个计算阶乘的函数:factorial，用到了递归 2.需要一个素数集，用isPrime函数 3.要用到键值对的存储结构，py可以用字典类存储，声明方法是 dick =
2016-11-23 00:07:18
670
原创 Mac的mysql出现Table 'AAA' is marked as crashed and should be repaired
在用mac爬数据的时候电脑卡了，于是强制关闭计算机，重新再跑爬虫的时候，出现了 Table 'AAA' is marked as crashed and should be repaired 的提示，AAA是我操作的表，此时这个表是可以进行一些简单的操作的，比如说 select * from AAA limit 1,或者select count(*) from AAA,，但是多加一些条件
2016-05-02 13:22:44
748
原创 Java 爬虫 菜逼教程 00
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-04-09 16:55:47
423
原创 导入java项目
导入java项目 在包资源管理器处右键，选择“现有项目到工作空间中”，然后选择所动摇导入的文件夹，完毕！ 项目上可能有红色感叹号，是因为eclipse版本不一致导致的，或者是里面所需要的 jar包为导入 配置构建路径，删除所有错误的包，如果系统库也错误而的话，删除后：添加库--jre系统库其他的库，找到删除的jar文件所在的地方，然
2016-04-09 13:02:08
593
原创 mysql数据库导出的方法
数据库导出的方法：dos下；进入mysql为bin文件夹下 cd wamp/bin/mysql/mysqlXXX/bin 执行语句： mysqldump -u 用户名 -p数据库名>导出的名称.sql
2016-04-09 13:01:13
285
原创 java动态数组 2.0
数组中，按键值对存储数据，用到了Map……缺点：不能按存入顺序存储（要用其他方法）所需要的的：java.util.HasnMap;Java.util.Map;Java.util.Set; 声明 ：Map map = new HashMap;//用的少Map map = new Map; 用的多，String可为其他对象，如I
2016-04-09 12:58:19
361
原创 java动态数组
java中不能用动态数组，比如Int[] arrTest = newint[100];以后arrTest的下标最多只能为 99了，因为数组在声明的时候已经分配了固定的存储空间了，如果填不满数组，则未填写的地防范有可能会出输出 null；而非php中的可以一直增加；解决此问题，要用到 Vector类用法 Vector vTest = newVector();要添加
2016-04-09 12:56:25
336
原创 Syntax error, parameterized types are only available if source level is 1.5 or greater
Syntax error, parameterized types are only available if source level is 1.5 or greater窗口--首选项--java--编译器--（右上角）配置特定项目的编译器---选择项目--把‘use xxx’的勾去掉，选择所需数字即可
2016-04-09 12:54:47
388
原创 java项目、包、类
Java项目->包->类：你把项目理解成一个大容器，里面有多个包（其实就是文件夹），包用于分类管理你写的类文件。01新建一个java项目xxA，在workspace文件夹里有xxA文件夹02.xxA文件夹里有 setting+bin+src文件夹和 .classpath and .project文件03.新建一个包mmA，则在bin文件夹和src文件夹里有mmA文件夹0
2016-04-09 12:52:32
2059
原创 安装eclipse并汉化
安装eclipse并汉化01.下载并安装eclipse（kepler版本）02.官网下载语言包：http://download.eclipse.org/technology/babel/babel_language_packs找到kepler的，然后Chinese，下载带有 eclipse-zh的zip文件，解压，把plugins,features文件夹复制到eclipse文件夹下
2016-04-09 12:50:32
283
原创 安装jdk/jre:
01.安装jkd.exe，安装在 x:\Java\jdk1.8.0_11(新建java文件夹，再新建jdk1.8xx文件夹，安装在这里)；02.安装jre.exe，在Java文件夹下再新建jre文件夹，安装在这里。03.配置：（计算机-属性，高级系统设置）1）新增或编辑系统变量：JAVA_HOME，值为【jkd】的路径【x:\Java\jdk1.8.0_11】2）新增或编
2016-04-09 12:49:16
436
原创 fiddler无法监测eclipse，httpclient提交表单中文乱码
fiddler无法监测到eclipse的java网络请求是因为未设代理解决方案： HttpClient client =new HttpClient(); client.getHostConfiguration().setProxy("127.0.0.1", 8888); Httpclient提交表单的时候中文乱码：PostMe
2016-04-09 12:46:59
716
原创 更改wamp的mysql密码
再开一个dos窗口，同样切到mysql bin目录下，D:\Program Files\MySQL\MySQL Server 5.6\bin>mysql -u rootmysql，回车Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 1Server ve
2016-04-09 12:43:18
705
原创 Eclipse中出现-访问限制由于对必需的库XX具有一定限制，因此无法访问类型
在项目上点击右键，找到构建路径。然后选择配置配置路径。按如下步骤来配置：1点击库选项2把系统库扩展开来3点击访问规则4编辑访问规则5 分辨率设为可访问6规则模式设为**7选择ok按钮 来自 http://blog.csdn.net/zhouyong0/article/details/7587937>
2016-04-09 12:39:15
1315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人