- 博客(217)
- 收藏
- 关注
RSS订阅
原创 扩展欧几里得（待深入理解）
扩展欧几里得扩展欧几里得：已知整数a、b，扩展欧几里得算法可以在求得a、b的最大公约数的同时，能找到整数x、y（其中一个很可能是负数），使它们满足贝祖等式 ax+by=gcd(a,b);#对于给定的一个a，b必然存在x，y使得ax+by=gcd(a,b);扩展欧几里得，其实实际上是欧几里得算法的一个扩展。扩展欧几里得算法可以用来计算模反元素(也叫模逆元)代码实现：int gcd(i...
2019-03-14 19:56:26
261
1
原创 记忆化搜索概述
记忆化搜索概念记忆化搜索（search），算法上依然是搜索，但具有dp的性质。记忆化搜索综合了搜索和dp的特点。记忆化搜索概念：记忆化搜索按自顶向下的顺序求解，每求解一个状态，将它的解保存下来 （根据得到的求解的状态方程，保证了每求的一个解都是当前最优的），再次遇到这种状态的时候，直接返回这种状态的解，不必再重新求解。（搜索可以剪去一些不必要的状态，动态规划有最优思想，记忆化搜索综合两...
2019-03-04 15:39:36
416
原创 数据在计算机中存储形式
数据在计算机中存储形式考虑到使用二进制等等进行编程，需要了解数据在计算机中的存储形式。数据在计算机中都是以二进制码存储的。对于数，是以二进制的补码存储的。对于有符号的数，其范围是-128~127因为补码 0000 0000代表0所以补码 1000 0000被定义为-128其他的补码各自代表一个八位二进制的数字。举例：4 原码： 0000 0100 反码： 0000 0100 补码...
2019-03-02 16:46:12
9705
原创 与char变量的再次会晤
与char变量的再次会晤#char型变量+ASCII码+字符#坚持看完，巩固字符的学习这次我想说的是，有关char变量与ASCII码以及参与数学运算和逻辑运算的关系。这次我请来了ASCII码，才得以顿悟赋值给字符型变量单个字符和ASCII码（数字）的关系。终于从懵逼中解脱。ASCII码分为控制字符和打印字符，这次与char型打交道，我请来了ASCII码中的打印字符。（因为我跟控制字符从...
2019-03-01 15:20:07
137
原创 动态规划概述
动态规划思想动态规划概念：（dynamic programming）求解决策过程最优化的数学方法动态规划思想：把多阶段过程转化成一系列单阶段问题，利用各阶段之间的关系，逐个求解动态规划分类：线性动规 区域动规 树型动规 背包动规动态规划的基本解题思路：以时间划分阶段，分成子问题，使其拥有最优化子结构。（简而言之，对于原问题，它的一个最优策略的子策略总是最优的，称为其满足...
2019-02-26 17:09:36
128
原创 Pytest
Pytest 会自动搜索当前目录及其子目录中的测试文件，并执行其中的测试用例。在上面的示例中，Pytest 会运行。如果有断言失败，Pytest 将显示失败的详细信息，您可以根据提示进行调试。在测试用例函数中，我们使用。文件中，编写测试用例函数以测试您的代码。语句断言函数的返回值与预期结果是否相等。的文件，并在其中编写测试代码。在上面的示例中，我们定义了一个。在你的项目中创建一个名为。函数，并编写了一个名为。函数，并显示测试结果。
2023-06-05 19:18:32
836
原创 The following signatures couldn‘t be verified because the public key is not available: NO_PUBKEY 165
百度千篇一律的解决方案，搞不定，Google也有些拉垮的方式。
2023-05-11 11:03:45
163
1
原创 PySpark - python package的测试
PySpark提供了一种将python环境剥离到镜像之外的一种方式，众所周知，在docker的优化方案中，减小镜像的体积能够节省资源、提高效率，这是一种“极大程度上”能够优化镜像的方式。在这篇博文中，我主要使用conda打包python的方式测了一下在k8s集群上的client/cluster模式提交任务。......
2022-07-27 14:13:02
712
原创 编译pycrypto为egg文件
编译pycrypto为egg文件1. get source code & uzipwget https://files.pythonhosted.org/packages/60/db/645aa9af249f059cc3a368b118de33889219e0362141e75d4eaf6f80f163/pycrypto-2.6.1.tar.gz2. build egg filepython -c "import setuptools; exec(open('setup.py').read
2022-05-24 13:50:52
189
原创 Apache parquet介绍
什么是parquetparquet是为了数据的高性能存储和索取而生的列式数据存储格式，同时parquet提供了高效的数据压缩和编码方案来增强处理复杂数据块的性能。Reference：what-is-parquetApache Parquetparquet特性开源免费无语言论数据格式基于列的数据格式：节省空间且提高了分析查询的速度高性能数据压缩和解压缩支持复杂的数据类型和高级的嵌套数据类型parquet带来的好处存储任何类型的大数据（结构化数据、图片、视频、文档）为不同数据
2022-03-28 15:46:53
3318
原创 scp sock5
scp sock5scp -o "ProxyCommand=nc -X 5 -x proxy_host:proxy_port %h %p" local_filename remote_uer@remote_host:remote_path
2022-01-18 10:04:22
515
原创 memcpy
memcpy#include<stdio.h>void memcpy_defined(char *target, const char *src, int n){ // TODO is '\0'? // copy data from src to target char *temp_src = src; char *temp_target = target; while(n--){ *temp_target = *temp_src;
2022-01-12 18:17:30
159
原创 ERROR TaskSchedulerImpl: Ignoring update with state FINISHED
ERROR TaskSchedulerImpl: Ignoring update with state FINISHEDERROR TaskSchedulerImpl: Ignoring update with state FINISHED for TID 870 because its task set is gone (this is likely the result of receiving duplicate task finished status updates) or its execut
2021-12-02 10:16:59
1582
转载 dockerfile ubuntu 18.04 执行条件语句
参考链接转自 拓宽视野 - 基于ubuntu 18.04 dockerfile 文件内执行条件语句bash下的DockerfileFROM ubuntu:18.04RUN ln -fs /bin/bash /bin/sh #切换 sh 为bashRUN if [ -d "/opt/" ]; \ then \ export START='普通'; \ else \ echo "不存在"; \ fi \ &&
2021-08-09 11:02:15
796
原创 spark - Caused by: java.net.UnknownHostException: XXX
spark Caused by: java.net.UnknownHostException: XXXException in thread "main" java.lang.reflect.UndeclaredThrowableException at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1761) at org.apache.spark.deploy.S
2021-08-03 14:30:45
1505
2
原创 org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout does not exist in the JVM
org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout does not exist in the JVM我使用pex打包python环境运行我的python脚本，但是出现这个错。解决方案是：# 比如spark的版本是3.0.0，pyspark的版本也要是3.0.0pex 'pyspark==3.0.0' pandas -o test.pexpyspark要与spark的版本一致！...
2021-07-26 21:55:43
1514
原创 pyspark - 简介
pysparkPySpark 是 Python 中 Apache Spark 的接口，PySpark支持Spark的大部分功能支持使用python API编写spark程序提供了PySpark shell，用于在分布式环境中交互式的分析数据Spark SQL and DataFrameSpark SQL是Spark的一个结构化数据处理模块，它提供了一个称为 DataFrame 的编程抽象，也可以充当分布式 SQL 查询引擎Streaming运行在 Spark 之上，Apache Spar
2021-07-26 21:13:55
835
原创 spark - 提交app
应用提交spark-submit命令的作用是在集群上启动应用，它可以通过统一的界面使用所有 Spark 支持的集群管理器，因此您不必特别为每个应用程序配置。绑定应用程序的依赖如果应用依赖于其他项目，则需要将它们与应用程序一起打包，以便将代码分发到 Spark 集群。为此，需要创建一个包含代码及其依赖项的程序集 jar（或“uber”jar），sbt 和 Maven 都有程序集插件。创建程序集 jar 时，将 Spark 和 Hadoop 列为提供的依赖项；这些不需要捆绑，因为它们是由集群管理器在运行
2021-07-26 18:55:45
611
原创 spark - 如何写spark脚本以及简单运行
spark - 快速开始首先，通过spark的交互式shell介绍API(Python/Scala)，然后介绍怎么使用java/python/scala来写应用程序。首先从spark官网下载spark的打包版本，由于我们不会使用 HDFS，您可以为任何版本的 Hadoop 下载一个包。注意，在 Spark 2.0 之前，Spark 的主要编程接口是弹性分布式数据集（RDD）RDD：弹性分布式数据集RDD & DataSet在 Spark 2.0 之后，RDD 被 Dataset 取代
2021-07-26 17:03:50
2425
原创 spark-集群模式概述
集群模式概述简单介绍spark如何运行在集群上，以便更容易理解所涉及的组件。通读应用程序提交，了解如何在集群上启动应用程序。组件Spark 应用程序作为集群上的独立进程集运行，由主程序（称为driver）中的 SparkContext 对象协调。具体来说，要在集群上运行，SparkContext 可以连接到多种类型的集群管理器（Spark 自己的独立集群管理器 Mesos 或 YARN）跨应用程序分配资源。连接之后，spark会在集群的节点上获取executors，这些executors进程为您的应
2021-07-26 00:47:55
609
原创 spark
spark概述spark是apache下的大数据处理分析引擎。它提供了 Java、Scala、Python 和 R 中的高级 API，以及支持通用执行图的优化引擎。它还支持丰富的高级工具集：SQL 和结构化数据处理的 Spark SQL用于机器学习的 MLlib用于图形处理的 GraphX用于增量计算和流处理的结构化流安全默认情况下，spark种的安全性是关闭的。这意味着很容易受到攻击；有关安全一节的讲解下载下载链接Spark 将 Hadoop 的客户端库用于 HDFS 和 YARN
2021-07-26 00:08:47
183
1
原创 统一的大数据分析引擎：Spark
spark是一个统一的大数据分析引擎。spark优点：快速：Apache Spark 使用最先进的 DAG 调度器、查询优化器和物理执行引擎，为批处理和流数据实现了高性能易用：超过80种的高级操作，使得spark很容易创建并行应用；可以很好的与python、java、R、SQL交互。结合SQL、流、以及复杂的分析Spark 支持一系列库，包括 SQL 和 DataFrames、用于机器学习的 MLlib、GraphX 和 Spark Streaming。 您可以在同一个应用程序中无缝组合这些库
2021-07-25 23:33:53
594
原创 k8s - SVC(Service)
ServiceSVC用来做服务发现k8s定义了这样一组抽象：一个Pod的逻辑分组，一种可以访问它们的策略 - 通常称为微服务。这一组Pod能够被Service访问到，通常是通过Label Selector每一个svc可以理解为是一个微服务svc提供4层负载均衡，没有7层能力，但有时我们需要更多的匹配规则来转发请求，这点上4层负载均衡是不支持的。也就是说，svc只能够通过ip和端口进行转发，不能通过域名和主机名来实现负载均衡通过Ingress可以使SVC具有7层负载均衡的能力se
2021-06-14 19:40:44
1246
原创 k8s - 创建一个job
创建一个jobjob是k8s的名字空间级别的资源，通过创建pod来管理container，一般用来执行批处理任务template.spec.restartPolicy代表job的重启策略，这里是从不重启，即job启动的pod失败之后也不会重新启动apiVersion: batch/v1kind: Jobmetadata: name: pi namespace: stream labels: app: pispec: template: metadata:
2021-06-14 11:43:38
555
原创 容器与容器 & 容器与主机 - 通过ssh协议互联(多节点、跨主机)
容器与容器 & 容器与主机 - 通过ssh协议互联(多节点、跨主机)安装openssh-server在dockerfile中安装openssh-server，修改ssh的默认配置；...#这里我将ssh的默认端口22改成50022ARG SSH_PORT=50022RUN apt-get update --fix-missing && \ apt-get install -y openssh-server ssh# ssh client/server por
2021-06-03 13:39:45
334
原创 [linux] 拥有目录的wx权限，即可删除目录中的文件
linux的灵魂 -> “一切皆文件”删除test目录下的test.txt文件结果显示，除我以外，其他人没有test目录的任何权限ls -ald-wx------ 3 bsj staff 96 5 29 13:49 test不具备目录的r权限，没有查看test目录下文件列表的权限ls test ls: test: Permission denied但我事先知道test下具有test.txt文件，我已经获得test的wx权限，所有我可以进入test目录，以及删除tes
2021-05-29 14:10:50
279
原创 FileNotFoundError: [Errno 2] No such file or directory: ‘cmake‘
solutionexecute this command to install cmake package.apt-get install -y cmake
2021-05-24 16:26:50
4548
原创 python: 实现一个简单的日记程序
前言昨天被人问道：“你知道装饰器吗？你知道python的上下文管理器吗？（使用with语句操作上下文管理器类）”简单日记程序写过日记的小伙伴都知道，写日记的时候首先会写日期，然后去写正文。那现在都已经21世纪了，是不是可以考虑做一个日记程序呢？程序员的最终目的：把更多的事情交给程序去做。第一步，自定义上下文管理器类 - OpSqliteDB为了过滤掉复杂冗余的步骤，我选择使用轻量级的关系型数据库：sqlite3为了保持文件结构清晰，我在utils.py文件中实现了一个操作sqlite3的函数
2021-04-09 15:58:24
1943
原创 git: 查看commit记录
查看commit记录git log以树状显示commitgit log --graph --pretty=oneline --abbrev-commit
2021-04-08 10:50:23
1549
原创 git: 恐怖的无限cherry-pick
cherry-pickcherry-pick的应用场景一般是把分支B上的某次commit合并到分支A上。假设分支A和分支B具有共享代码或者文件，当在分支B上对共享的代码或者文件进行了一次新的提交之后，此时如果要从B分支合并该次新的commit到A分支，需要使用到git cherry-pick。恐怖的cherry-pick就在今天，我一头扎进了必须要使用cherry-pick的坑里。公司的某项目是多个团队共同开发的项目，也就是若干个项目都需要依赖的一个后台项目，具有测试服和正式服，分别是develop
2021-04-08 01:00:50
738
原创 git: 常用的系列型操作 - 分支 标签
分支创建新分支# 如：从master创建一个新的分支git checkout -b new_branch_name切换分支git checkout another_branch合并某分支文件到当前分支# 合并格式git merge debug file1...fileN# 假设当前在develop分支# * develop# 合并debug分支的merge.txt到当前分支git merge debug merge.txt对比当前分支与其他分支的不同# 假设当前在dev
2021-04-06 23:24:01
67
原创 mac: ssh - 服务器免密登录
Mac免密登录1. 打开系统偏好设置a. 打开共享b. 勾选远程登录2. 创建ssh文件目录mkdir ~/.ssh3. 生成ssh密钥ssh-keygen -t rsa -C "[email protected]"# 一路回车 -> Enter4. 添加到.ssh文件夹ssh-add ~/.ssh/id_rsa5. 本地向服务器copy 公钥# 替换成需要连接的地址ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]
2021-04-06 20:33:56
142
原创 网络协议 - HTTP面临的挑战：五大需求
Internet最初网络最初的目的是让人与机器之间进行信息交互。随着计算机网络的发展，浏览器的出现，使得人们可以以可视化的方式便捷的解析机器传来的数据。http面临的需求低门槛、可扩展性、分布式系统下的HyperMedia(大粒度数据)、Internet规模、向前兼容低门槛：HTTP的报文格式简单，降低了学习与使用的门槛。可扩展性：网络是在不断发展壮大的，同时面向巨量用户，HTTP需要具有超长的寿命。分布式下的HyperMedia：在复杂的网络世界中，数据多种多样，HTTP需要面对复杂数据的传输
2021-04-01 20:34:55
162
原创 网络协议 - ABNF表示的http协议
ABNF使用ABNF描述http的请求和响应，需要几个要素：start-line*header-filedCRLFSPmessage-body[]OWS1. start-line: request-line / status-line2. * 代表一个或者多个3. header-field 代表请求头/响应头字段4. CRLF 代表换行/回车 在mac系统中，CR代表换行，linux系统中LF代表换行，在windows中CRLF代表换行5. SP 代表空格6. messag
2021-03-29 23:12:10
448
原创 c语言 - 如何使用结构体和结构体指针？
正确使用结构体和结构体指针通过malloc开辟的一组地址空间是可以通过下标取值的，这段代码，使用malloc开辟一组结构体类型的地址空间，然后通过下标进行取值。创建结构体节点，直接通过.运算符赋值开辟一组结构体动态空间，通过下标的方式赋值struct TreeNode { int val; struct TreeNode *left; struct TreeNode *right;};int main(){ // 创建一个node节点 struct
2021-03-28 01:13:10
278
原创 剑指offer - 从上到下打印二叉树 - (队列 结构体)
从上到下打印二叉树从上到下打印出二叉树的每个节点，同一层的节点按照从左到右的顺序打印。例如：给定二叉树: [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7返回：[3,9,20,15,7]提示：节点总数 <= 1000解法/** * Definition for a binary tree node. * struct TreeNode { * int val; * stru
2021-03-28 01:08:08
68
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人