自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

summer089089的博客

最不容易,最难得的就是过平常的日子,做极小的事情,你仍然保持激情,保持快乐的心情,这才是得大快乐,得大自在;

  • 博客(99)
  • 收藏
  • 关注

原创 编程最核心的东西

不管是分析问题、还是处理问题。我们最重要的是把理清自己的思路,如何理清自己的思路,将自己的思路写到文档中,有的文档就可以慢慢理清楚自己的思路。自己的思维能力会越来越厉害。第二种写法巧妙应用了break。

2024-03-26 20:48:57 76

原创 python基础

s1 = {“刘能”, “赵四”, “皮长山”}s2 = {“刘科长”, “冯乡长”, “皮长山”}print(s1 & s2) # 交集print(s1 | s2) # 并集print(s1 - s2) # 差集s1 = {“周杰伦”, “昆凌”, “蔡依林”, “侯佩岑”}print(s1)s1.add(“周杰伦”) # 集合里不能有重复的数据print(s1)

2024-03-26 10:30:27 210

原创 python创建udf函数步骤

实现一个函数,传入两个datetime类型的参数,返回double类型的工作日天数。

2024-02-05 15:24:38 1071 1

原创 python转义大括号的作用

在上述代码中,我们对大括号进行了转义,输出的结果为"{Python}中使用{}表示大括号"。这种方法在字符串中附加大括号时很常见,并且在其他编程语言中也适用。{Python}中使用{}表示大括号。# 1.如何输出下面这个话。# 2.python语法。

2023-11-18 15:10:00 382

原创 python引入自己不同目录的模块

【代码】python引入自己不同目录的模块。

2023-11-18 08:44:44 210

原创 windows实现类似nc -lk8888的功能

要在 Windows 上实现类似的功能,你可以使用 ncat,它是 Nmap 项目的一部分,是 Netcat 的增强版本,并且可以在 Windows 系统上运行。这个命令与之前的 nc -lp 8888 相似,只是在 Windows 上使用了 ncat 而不是 nc。这将在 Windows 上监听 8888 端口,等待传入的网络连接。1.首先,确保你已经安装了 Nmap,因为 ncat 通常随 Nmap 一起安装。如果你还没有安装 Nmap,可以从 Nmap 官方网站(

2023-10-20 11:47:35 1054

原创 windows实现类似nc -lp 8888功能

它是 Nmap 项目的一部分,是 Netcat 的增强版本,并且可以在 Windows 系统上运行。通常随 Nmap 一起安装。如果你还没有安装 Nmap,可以从 Nmap 官方网站(打开命令提示符(Command Prompt)或 PowerShell。这将在 Windows 上监听 8888 端口,等待传入的网络连接。要在 Windows 上实现类似的功能,你可以使用。运行以下命令:ncat -l -p 8888。相似,只是在 Windows 上使用了。首先,确保你已经安装了 Nmap,因为。

2023-10-20 11:43:54 252

原创 Failed to connect to github.com port 443 after 21116 ms: Couldn‘t connect to server

下载这个项目vue-element-admin-master的依赖的时候报错。

2023-06-01 11:09:28 1403 1

原创 fatal: unable to connect to github.com

下载这个项目vue-element-admin-master的依赖的时候报错。

2023-06-01 11:04:51 1118 1

原创 Error: error:0308010C:digital envelope routines::unsupported

出现这个错误是因为 node.js V17版本中最近发布的OpenSSL3.0, 而OpenSSL3.0对允许算法和密钥大小增加了严格的限制,可能会对生态系统造成一些影响.

2023-05-29 11:38:03 1498

原创 数据建模三范式说明

要求任何字段不能由其他字段派生出来、1.原子性:属性不可分割。

2023-05-10 18:00:48 104 1

原创 mysql 递归查询 树形展示数据类型

关键字来定义一个递归公用表达式,该表达式逐层递归查询每个部门的信息,直到查询到根部门。上述代码中,我们使用了。

2023-05-08 23:37:52 646

原创 拉链表制作

拉链表适合于:数据会发生变化,但是大部分是不变化的(即:缓慢变化维。还需要保留历史数据做分析的场景)

2023-04-28 11:06:47 859

原创 windows如何黏贴历史复制内容

windows + v以后会出现 打开历史复制功能的界面,点击。

2023-04-12 09:22:28 439

原创 接口返回报错 resource notfound,plrase check path

post请求的content-type : application/x-www-form-urlencoded 但是请求体中设置的是json数据。

2023-03-11 16:53:14 2476

原创 批量查询表信息、字段信息的sql

查询结果可以导出为excle、为创建hive表、汇聚mysql的基本信息使用。

2023-02-28 17:44:00 757

原创 通过python创建一个日期维度表

3月份,是从2月21日~3月20日,也就是上月21日~当月20日。

2023-02-28 11:03:53 354

原创 如何退订kylin社区邮件

如何退订kylin社区邮件。

2023-02-02 16:09:24 133

原创 ERROR:tabula.io:Error from tabula-java

直接运行代码时,代码正常运行。写完python代码打包exe时正常,exe运行是报警。报警详情如下图打包为exe的时候tabula包没有打包进去,因此报错在打包exe时生成的xxx.spec 文件中添加和然后运行(注意:不要在运行pyinstaller ResolutionPDF.py,不然xxx.spec重新生成,之前的配置就没有生效了)打包后的exe可以正常运行......

2022-06-22 20:45:21 470

原创 pandas实现对sql server的插入更新操作

数据可能重多次插入,要求当一条数数据多次插入时,重复的数据做更新操作。建表的时候设置主键索引根据一行的数据生成一个加密后的值,将该值设置为主键列。

2022-06-17 22:40:02 1442

原创 press ESC in 1 seconds to skip startup.nsh,any other key to continue

电脑正在关机以后,开启报警 press ESC in 1 seconds to skip startup.nsh,any other key to continue。重启几次都是报这个警报,不管开机还是关机都报这个错。看网上的帖子,应该是启动的时候顺序不对,磁盘没有启动导致的。将电源断电、等2min后,在重新启动后可恢复正常!...

2022-06-17 10:13:10 18979 3

原创 群集中有 66 个 丢失块 块。群集中共有 167,804 个块。百分比 丢失块: 0.04%

集群报块丢失的原因很多,如物理磁盘损坏,节点不正常下线退役,集群高负载时如内存打满卡死,网络拥堵,系统本身问题等造成节点掉线,如cdh集群的agent和server失去联系,非正常下线,心跳超时等原因造成yarn界面出现块丢失现象检查确实块的详情3. 删除某个不重要的缺失块...

2022-06-16 10:17:53 455

原创 pymssql连接sql server报错Unable to connect: Adaptive Server is unavailable

2.报错原因没有开启启用tcp/ip协议,并且还需要启动SQL Browser Service

2022-06-15 16:24:29 8415 2

原创 python如何用logging模块将日志同时输出到控制台和文件中

具体的代码块如下用的时候只需要调用代码参考文章连接

2022-06-15 15:24:55 6007 1

原创 window电脑自带的定时任务

系统工具 – 任务计划程序 – 任务计划程序库常规 – 触发器 – 操作常规界面触发器界面

2022-06-15 14:13:50 1104

原创 impala实现类似hive的explode 函数的功能

查询kudu库的数据是基于impala查询的,有一列的数据是a;b;c这样的数据,需要转化的多行。将数据导入hive,用explode函数效率比较低利用 cross join 实现笛卡尔集,然后过滤掉多余的数据。可以实现需求A表原始数据B表数据,主要是为了求出对应的value值,有几个元素C表加上D表主要是为了1到最大元素个数的一个序列。不这样生成也行,直接通过union all也可以...

2022-06-09 10:05:30 1681

原创 nodepad++设置多文件显示单行还是多行

下图的多行显示打钩就是多个文件显示多行,否则就是都在一行显示

2022-06-08 19:40:41 638

原创 nodepad++默认换行符设置为\n

具体操作如下图

2022-06-08 19:37:11 542

原创 impala-shell 报警‘ascii‘ codec can‘t decode byte 0xe7 in position 35: ordinal not in range

执行报警2.问题原因根据报错怀疑是将dwd_t_std_crumb_event_process.sql 脚本中有中文导致的,将脚本中的中文注释去掉以后可以正常运行,但是看其他脚本也有正常的注释。确定跟注释有关经测试,主要原因是因为dwd_t_std_crumb_event_process.sql 前面第一行就有了注释导致的,运行sql的前面不能有注释。...

2022-06-06 19:25:22 249

原创 电脑蓝牙连接时好时坏

笔记本连接蓝牙键盘,偶发失灵,不能打字。打开设备管理器 控制面板-设备管理器允许计算机关闭此设备以节约电源 这里的 √ 取消。然后点击确定

2022-06-02 17:12:13 867

原创 报错return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

1.报错现象外部分区表重新建立后,查询不到数据,hdfs对应的目录是数据的执行 MSCK REPAIR TABLE crumb.dwd_t_std_crumb_event_process;修复元数据时,报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask2.报错原因从 Hive 1.3 开始,如果在 HDFS 上找到分区值中包含不允许字符的目录,MSCK 命令将抛出异常,可以在

2022-05-31 13:47:22 4534 1

原创 python的break、continue、和pass

1.breakbreak是跳出循环,如果包含双重循环的时候。只是跳出最近的一次循环;代码实例如下for i in range(10): for j in range(10): print("{}×{}={}".format(i,j,i*j),end = " "); if(i==j): break; print();执行结果如果想要直接跳出整个循环,将循环封装成方法,直接return。def test(): for

2022-05-13 11:22:06 284

原创 Outlook邮箱开启POP服务

1.登录邮箱登录邮箱地址:https://outlook.office.com点击左上角,登录outlook2.点击设置3.开启POP options

2022-05-13 10:18:46 2425

原创 Unindent does not match any outer indentation level

1.现象函数的最后一行报错Unindent does not match any outer indentation level2.解决方法知道是因为对齐的原因导致的。将函数全部重新复制一遍都不行,后面发现是下面的函数def 前面多了一个空格导致的...

2022-05-10 18:19:00 160

原创 impala执行命令报警Fail insert into Impala table WRITE access at least one HDFS path

1.现象执行命令impala-shell -f /root/bin/t_xiaoke/dwd_t_std_crumb_event_process/dwd_t_std_crumb_event_process.sql --var=execute_date="'2022-05-07'"报警详情ERROR: AnalysisException: Unable to INSERT into target table (tsales_prod.dwd_t_std_crumb_event_process) be

2022-05-07 14:45:25 1405

原创 Python、Windows系统写文件不自动添加\r

代码如下1.打开文件的时候通过 newline=‘\n’。带命参数指定结尾的换行符2.打开文件时通过这种方式的优点:with 语句句柄负责打开和关闭文件(包括在内部块中引发异常时),for line in f 将文件对象 f 视为一个可迭代的数据类型,会自动使用 IO 缓存和内存管理,这样就不必担心大文件了write_file_path1 = r"D:\crumdata\tsaleformal\collect-events20191101-EventAppId25.json"read_file_pa

2022-05-06 14:32:09 447

原创 org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured

1.现象spark程序报错后重新启动后报警22/05/05 10:26:54 ERROR executor.Executor: Exception in task 2.1 in stage 3.0 (TID 37)org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {eventshistory-0

2022-05-05 13:43:16 1915

原创 com.fr.engine.exception.SqlEngineException: 错误代码:62400001connection holder is null

1.现象帆软更新数据集报错 如下。数据集可以正常预览。 但是更新数据集就报错业务包: 推广运营类数据集名: 推广最终数据集************************************************2022-01-05 17:34:36 INFO [LockFacade] wait(1000) EXCLUSIVE Acquiring for db,dummyT_814D632022-01-05 17:34:36 INFO [LockFacade] wait(10

2022-01-05 20:15:47 2355

原创 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

1.调度正常运行时报错如下,报错详情Error: java.io.IOException: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1555360483-10.68.9.242-1591167227146:blk_1103672895_29932280 file=/user/hive/warehouse/offline.db/ods/ods_offline_o

2022-01-04 16:21:26 2092

原创 将代码打包为可执行的jar

将如下代码放入pom.xml的 标签的下即可 <build> <plugins> <plugin> <!--Spring Boot Maven plugin,能够将Spring Boot应用打包为可执行的jar或war文件,然后以通常的方式运行Spring Boot应用--> <groupId>org.springframework.b

2021-12-30 16:52:33 297

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除