- 博客(65)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 golang引用传递案例2
t1.School = "北京大学"t1.Name = "李彦宏"(*t).Name = "马云"t1.Sex = "男"
2023-01-03 19:51:59
506
1
原创 go的引用传递与值传递
fmt.Printf("%d 对应 %d \n",k,v)fmt.Printf("%d 对应 %d \n",k,v)fmt.Printf("朕的月收入 %d \n",salary[0])fmt.Printf("朕的月收入 %d \n",salary[0])
2023-01-02 09:29:29
401
1
原创 ID姓名等相同，其他几个不同的列展示出来
slect id,name,sum(value1) as value1,sum(value2) as value1,
2021-05-31 20:04:11
93
原创 xml书写sql参数包含数组，like
<if test"table.column!=null and table.column!='' ">AND <foreach collection = "table.column"iteam = "iteam"> open="("close=")"separator="or" column = #{iteam} </foreach></if>
2021-05-07 22:27:50
589
原创 截取字符串里面的内容并相加并排序
from test_table ORDER BY (NVL(regexp_substr(regexp_substr(data,'[^!@]+',1,1),'[^。]+',2),0) +NVL(regexp_substr(regexp_substr(data,'[^!@]+',1,2),'[^。]+',2),0) +NVL(regexp_substr(regexp_substr(data,'[^!@]+',1,3),'[^。]+',2),0) ...
2020-08-19 20:37:12
169
原创 Linux常用命令之获取查找重定向去重
当前目录中有多个文件,查找其中所有以 xm 结尾的文件命令find -name _*.xmShell 获取某行第几个字符怎么做？$ echo ${test:n:m}shell 如果获得本文第 10 行数据？sed –n ‘10p’ 文件名称一个文本文件名为 sample.txt，使用 shell 命令将不包含 abc 的行的数据重定向到 sample1.txtcp sampl...
2020-01-07 14:45:05
425
原创 Hive-面试之Hive数据倾斜的原因及主要解决方法
数据倾斜的原因很大部分是join倾斜和聚合倾斜两大类Hive倾斜之group by聚合倾斜分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久；对一些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进行group by的时候，会将相同的group by字段的reduce任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数据量过大时，会出现其他组...
2020-01-07 14:43:29
811
原创 使用 shell 实现 wordCount
cat 11.txt | tr ' ' '\n' | sort -k 1 | uniq -c | awk '{print $2"\t"$1}' |sort -k2 -nr|head
2019-12-10 15:24:35
301
原创 哪些方法可以对 Spark 任务进行优化
1通过 spark-env 文件，对 spark 集群进行合理的参数设置2在程序中,设置合理的 sparkconf 和 set property3计算量大时,给已经缓存了的 RDD 添加 checkpoint,以减少容错带来的开销4使用 combine 对小分区进行合并,避免过小的分区造成过多的切换任务开销...
2019-12-10 15:23:47
167
原创 只准写一行 shell 脚本,实现以下功能提取进程名包含 datastore 的进程id 并强割杀死这些进程。(提示:管道、xargs)
ps -ef | greap datastore | greap -v greap | awk '{print $2}' | xargs kill -9
2019-11-30 09:15:52
251
原创 发现磁盘空间不够，如何快速找出占用空间最大的文件？
1使用 find 命令找到大于指定大小的文件：find / -type f -size +10G输出: /usr/local/apache2/logs/access_log马上可以通过 du 命令查看此文件的大小：du -h /usr/local/apache2/logs/access_lo2让文件按大小排序du -h * | sort -n...
2019-11-30 09:15:10
3365
原创 那些命令可以查看 file1 文件的第 300-500 行的内容？
cat file1 | head -n 500 | tail -n +300Sed -n ‘300,500p’ file1
2019-11-27 15:59:04
2787
原创 如何对MapReduce 任务进行优化
1设置合理的 map 和 reduce 的个数2设置合理的 blocksize3避免出现数据倾斜4使用 combine 函数5对数据进行压缩6优化 MM 参数()7将 HDFS 上的小文件合并成 SequenceFile 大文件后再进行文件处理操作...
2019-11-20 16:39:11
189
1
原创 写一行 shell 脚本,实现以下功能提取进程名包含 datastore 的进程 id 并强割杀死这些进程。
ps -ef| grep datastore| grep -v grep | awk 'datastore' | xargs kill -9
2019-11-11 11:23:39
175
原创 Linux服务器同步时间命令
ntpdate ntp2.aliyun.comntp2.aliyun.com（为阿里服务器2如果不行可以试试ntp3.aliyun.com ntp4.aliyun.com 等等）
2019-07-24 09:23:57
7160
原创 Linux ping不通Baidu
先敲route命令 等一会如果不出现default，就敲route add default gw 192.168.189.2，192.168.189.2虚拟机的默认网关每个人的或许不一样这个自己去查询
2019-06-17 11:00:46
747
转载 Python玩转PDF
Portable Document Format（可移植文档格式），或者PDF是一种文件格式，可以用于跨操作系统的呈现和文档交换。尽管PDF最初是由Adobe发明的，但它现在是由国际标准化组织（ISO）维护的开放标准。你可以通过使用PyPDF2包在Python中处理已先存在的PDF。PyPDF2是一个纯Python包，可用于许多不同类型的PDF操作。本文将带你了解如何执行以下操...
2019-05-26 10:20:36
139
转载 正则表达式在线生成工具
https://txt2re.com/index-java.php3一、在1输入框输入想要匹配的字符串，点击Show Matches二、在2里面会显示字符串，然后点击所要匹配的字符串三、在下面会显示出相应的代码，选择自己想要的代码...
2019-05-05 14:59:39
4313
1
转载 提高python运行效率的方法
1、使用生成器，因为可以节约大量内存2、循环代码优化，避免过多重复代码的执行3、核心模块用Cython PyPy等，提高效率4、多进程、多线程、协程5、多个if elif条件判断，可以把最有可能先发生的条件放到前面写，这样可以减少程序判断的次数，提高效率...
2019-04-02 17:59:18
5077
原创 ora_22922 最简单解决方案
to_char(wm_concat(DISTINCT t.industryType)) as industryType, 替换为to_char(zh_concat(DISTINCT t.industryType)) as industryType,也就是wm_concat换成zh_concat，原因是ora语法陈旧所致11g不兼容10g的...
2019-03-28 17:24:34
1322
转载 一个猜单词的python小程序
import randomdef load_dict_from_open(data):dict={}try:with open(data,'r') as dict_data:for line in dict_data:(Cname,Ename)=line.strip().split(':')dict[Cname.decode('utf-8')]=Ename...
2019-02-24 20:48:33
564
转载 Python写出一个计算器
from tkinter import *def userinput(text): #按键返回函数 content = display.get() + text display.set(content)def clear(): #清空函数 display.set('')def dell(): #删除一字符函数 display.set...
2019-02-24 20:15:48
1571
转载 字符串转字典，字典排序
1. 将字符串："k:1|k1:2|k2:3|k3:4"，处理成 Python 字典：{k:1， k1:2， ... } # 字典里的 K 作为字符串处理(2018-5-11-lxy)1. str1 = "k:1|k1:2|k2:3|k3:4" 2. def str2dict(str1):3. dict1 = {}4. for iterms in str1.split('|'):5. k...
2019-02-22 10:49:22
436
转载 18个Python高效编程技巧
初识Python语言，觉得python满足了我上学时候对编程语言的所有要求。python语言的高效编程技巧让我们这些大学曾经苦逼学了四年c或者c++的人，兴奋的不行不行的，终于解脱了。高级语言，如果做不到这样，还扯啥高级呢？01 交换变量>>>a=3>>>b=6这个情况如果要交换变量在c++中，肯定需要一个空变量。但是python不需要，只需一行...
2019-02-20 09:21:57
112
转载 Mysql 数据库中怎么实现分页？
select * from table limit (start-1)*limit,limit; 其中 start 是页码，limit 是每页显示的
2019-02-16 19:18:05
4664
1
转载 Mongodb 与 redis 相比较
①mongodb 文件存储是 BSON 格式类似 JSON，或自定义的二进制格式。mongodb 与 redis 性能都很依赖内存的大小，mongodb 有丰富的数据表达、索引；最类似于关系数据库，支持丰富的查询语言，redis 数据丰富，较少的 IO ，这方面 mongodb 优势明显。②mongodb 不支持事物，靠客户端自身保证，redis 支持事物，比较弱，仅能保证事物中的操作按顺...
2019-02-13 17:09:05
149
转载 与关系型数据库相比，MongoDB 的优点
①弱一致性（最终一致），更能保证用户的访问速度②文档结构的存储方式，能够更便捷的获取数据。③内置 GridFS，支持大容量的存储。④内置 Sharding。⑤第三方支持丰富。(这是与其他的 NoSQL 相比，MongoDB 也具有的优势)⑥性能优越...
2019-02-13 16:55:03
346
转载 python实现多线程的常见方式
目前python 提供了几种多线程实现方式 thread，threading，multithreading ,其中thread模块比较底层，而threading模块是对thread做了一些包装，可以更加方便的被使用。一般来说，使用线程有两种模式:A 创建线程要执行的函数，把这个函数传递进Thread对象里，让它来执行；B 继承Thread类，创建一个新的class，将要执行的代码 写到r...
2019-02-12 14:41:28
472
转载 Python拼接字符串的七种方式
1、来自C语言的%方式print('%s %s' % ('Hello', 'world'))>>> Hello world%号格式化字符串的方式继承自古老的C语言，这在很多编程语言都有类似的实现。上例的%s是一个占位符，它仅代表一段字符串，并不是拼接的实际内容。实际的拼接内容在一个单独的%号后面，放在一个元组里。类似的占位符还有：%d（代表一个整数）、%f（代表...
2019-02-11 12:52:03
139
转载 模拟点击“下一页”按钮。
# start_spider(url)time.sleep(1)go_nextpage(brower)# 模拟人为浏览time.sleep(random.randint(8, 12))current += 1def go_nextpage(brower): """ 模拟人为操作, 点击【下一页】 """ next_button = brower.find_elements(...
2019-02-03 10:50:13
1577
转载 怎样在一个序列上面保持元素顺序的同时消除重复的值？
解决方案如果序列上的值都是hashable类型，那么可以很简单的利用集合或者生成器来解 决这个问题。比如：def dedupe(items): seen = set() for item in items: if item not in seen: yield item seen.add(item)下面是使用上述函数的例子:»&...
2019-02-01 13:57:25
242
原创 非固定长度的字符串用Python遍历出来
import mathfrom random import randintstr1="!"str2=""if __name__ == '__main__': while True: str2 ="" x = randint(1, 10)#姑且认为字符串长度在10个以内当然你可以写多点 for i in range(x): a =randint(32,...
2019-01-31 18:02:12
227
原创 固定长度的字符串用Python遍历出来
str1="?<>?"str2=""def Qj(): for a in range(32,127):#字母数字符号的范围 for b in range(32,127): for c in range(32,127): for d in range(32,127): str2=chr(a)+chr(b)+chr(...
2019-01-31 17:59:09
903
informatics8.6.1版的以及9.5.0版的快绝版了啊
2020-04-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人