- 博客(97)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用pip导出当前项目的依赖包（非虚拟环境中）
但是，如果不是在虚拟环境下的话，就会导出全局环境的python的环境包，可能会变得异常冗余。所以，需要一种方式在全局环境下导出当前项目的依赖包。意思是编码出现问题，实践证明，把编码从。
2023-11-04 16:16:33
406
原创 文件类型数据在SQL server数据库中进行存取
对于图片、文本等类型的文件，如何正确保存到SQL server中，同时可以正确读取？一、创建表结构首先，在SQL server中创建相应的数据表，对应文件所在列，设置数据类型为 image 类型。二、使用SQL command进行存储我们使用常规的SQL--insert/update语句可以将byte[] 类型的数据进行操作，但是存储到数据库中的实际数据为 system.byte[]，并非真实的文件数据。所以，考虑使用SQL command命令来操作byte[]类型的文件数据的存储。..
2021-10-23 09:24:19
1019
原创 C#中等待线程执行结束后继续执行其他操作
winform程序开发中，在进行多线程操作时，经常会遇到线程间操作问题：“线程间操作无效: 从不是创建控件的线程访问它。” 问题在于，在进行控件操作时，子线程（耗时操作）还在执行，相关数据、控件没有赋值等，就会出现“未将对象引用为对象实例”、“线程间操作无效: 从不是创建控件的线程访问它。”等报错，此时，我们考虑监控线程的状态，等待该线程执行结束后，再进行其他操作。Thread thread = new Thread(new ThreadStart(执行的函数));th...
2021-07-17 16:22:41
5740
原创 【老生常谈的问题】PyInstaller打包py为exe报错 “failed to excute script xxx”等一系列问题
之前遇到过此问题，也是纠结耽误了很多时间，今天详细总结下相应的解决办法。我们使用pyinstaller打包写的python程序时，使用pyinstaller -F XXX.py命令执行完，在dist文件夹下，会生成打包后的XXX.exe程序。双击执行，如果执行成功！则，出门右转！如果报错“failed to excute script xxx”等，则继续往下看。此时，我们可以使用pyinstaller -F -w XXX.py命令打包，可以发现这个命令比上边多了-w，意思是打包带有window（黑框）的
2021-04-02 15:40:40
797
3
原创 Python读取execl, 出现Unnamed列，导致处理报错ValueError: Unexpected input dimension XX, expected XX
使用pandas读取Excel的数据，如data = pd.read_excel(file)然后进行下一步的处理。但是在大数据量的情况下，容易出现Unnamed列，从而导致读取的数据和实际想要的数据维度不匹配。这时，我们对读取到的data进行如下的处理，可以删去相应的Unnamed列来解决此类问题。data = data.loc[:, ~data.columns.str.contains('^Unnamed')]...
2021-04-02 13:33:32
3452
原创 Python中的iterator 和 iterable
首先，可以从字面意思上看出，iterator是名词--迭代器，iterable是形容词--可迭代的（XXX）。这样是不是就好理解了。接下来，具体研究，到底怎么用。对于一个数据类型，可以使用Iterator判断是不是迭代器，使用Iterable判断是不是可迭代的。from collections.abc import Iterator, Iterable# isinstance(XXX, Iterable)判断XXX是否可迭代print(isinstance([1, 2, 3], Iter
2021-03-13 10:55:33
307
原创 强力删除.dll恶意文件，如360base.dll
之前无意中下载了垃圾软件，随后一直被垃圾软件恶意下载各种，包括一些删除不掉的dll文件，如360base.dll。现分享一个刚学习到的小方法：修改相关文件的后缀名，把.dll等后缀名修改为其他任意XXX，重启电脑后，就可以直接删除了。...
2021-03-06 15:42:58
9727
1
原创 URL中含有json参数的双引号的处理
URL中包含json格式的字段，字段中的key和value带有双引号“”，所以，在字符串string中处理起来就会报错，如：string url = "https:www.XXX.COM?timestamp=xxx&sign=111&data=[{"NAME":"MATH"}]";这里双引号会报错，由于双引号就近匹配原则，所以我们采用加“\”处理："https:www.XXX.COM?timestamp=xxx&sign=111&data=[{\"NAME\"
2021-02-25 09:20:24
3339
原创 使用python对两个Excel表进行数据比较，得到差异和相同的数据行。
问题描述 工作中遇到要对两个Excel表格文件进行数据对比，找出其中不同的行。例如，比较同一用户的信息是否一致，这里的信息可能是不同版本的，但是属性列是一致的，数据内容上可能不同。如下表所示：Excel 1 姓名 性别 年龄 住址 张三 男 26 北京市 Excel 2 姓名 性别 年龄 住址 张三 男 27 上海市 解决方法import pandas as pddef compare_data(d
2021-01-14 17:47:21
19457
12
原创 使用python开发GUI应用程序遇到的一系列问题
准备用Python开发一个exe应用程序。首先写出代码，然后通过pyinstaller封装成一个exe文件，之后正常来说，双击程序就可以运行了。 但是在实际开发过程中遇到了很多问题。一、首先是按照打包工具pyinstaller，支持python2、python3的所有版本。使用命令行：pip install pyinstaller在pip安装过程中，可能会因为网速或其他原因导致安装失败。所以为了提高安装速度采取了博客中的方法。二、然后cmd进入.py文件所在的文件夹，也可以在.py文件...
2020-11-28 22:51:12
435
1
原创 提升pip/pip3下载速度的方法
网上查了相关资料总结一下。一、添加下载镜像地址 -i https://pypi.tuna.tsinghua.edu.cn/simple ，例如我要按照pyinstaller，操作如下：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyinstaller二、为了以后pip安装提升速度，可以将镜像地址设置为pip的默认途径，如下：pip install pip -Upip config set global.inde...
2020-11-28 14:33:20
1061
原创 将字典数据循环保存为本地JSON文件 （python）
任务在工作中遇到一个问题，需要将字典数据保存到本地，决定保存为json格式文件。注意：本任务中的字典数据是循环生成的，这就要求循环保存到json中。此外，需要将字典数据中的字符串保存为utf-8，并且自动换行，易于查阅。解决办法一、先看将单个字典保存到json文件。#导包import jsondic = {'女': 0, '男': 1}js = json.dumps(dic, ensure_ascii=False) fileObject = open('本地地址+要保存的文件名.jso
2020-11-28 11:21:12
2687
原创 将数据集的属性信息df.info()打印的结果保存在list （python）
任务工作中遇到的问题，记录一下。这里，需要将pandas读取数据集时，如pd.read_csv()或pd.read_excel()等，使用df.info()可以查看数据信息，我们要将打印的内容保存下来，进行下一步的处理。由于df.info()自动打印在控制台，并不保存，所以这里需要考虑解决问题的办法。解决方法# 读取Excel文件data = pd.read_excel(r'文件地址+文件名.xlsx')# 获取数据列名，并保存为listcol = data.columns.toli
2020-11-28 11:20:44
4603
4
原创 SQL通配符总结
通配符是指可替代字符串中的任何其他字符的通用符号，常用于数据库中的检索，主要有以下四种：%，指可替代字符串中的0个或多个字符。 _，指可替代字符串中的1个字符。 [字符列表]，指字符列表中的任一字符如果相等即等价。 [^字符列表]或者[!字符列表]，指不在字符列表中的任一字符即等价。例如，现有Person表：ID Name Address City 123 Tom Changan Street Beijing 456 John Xinh
2020-09-04 15:40:42
1883
原创 批量修改文件夹中的文件名（python）
同学工作上遇到一个问题：修改每个文件夹下的文件名，将其改为所在文件夹名，比如文件夹A下的文件a.jpg，文件b.mp4修改为A.jpg和A.mp4。注：每个文件夹内的文件类型均不相同。解决方法如下（Python）：# -*- coding:utf-8 -*-import os# 获取文件的扩展名def get_file_extension(filename): arr ...
2020-02-19 23:21:44
547
原创 .ipynb文件转.py文件的方法
github上下载的代码是.ipynb文件（Jupyter环境下），使用不方便，我们可以通过以下方法进行转换成.py文件：1、首先在.ipynb文件所在路径下，在路径导航栏键入“cmd”，回车键直接进入cmd命令提示符界面。2、然后键入jupyter nbconvert --to script xxx.ipynb （xxx.ipynb为需要转换的文件）3、在该目录下生成转换后的...
2020-01-09 09:46:49
1313
1
原创 在TensorFlow2.XX上运行1.XX版本，出现的问题
在TensorFlow2.XX上运行1.XX版本报错：AttributeError: module 'tensorflow' has no attribute 'XXX'等。在网上找到相关解决方法。如：（https://blog.csdn.net/flowingfog/article/details/93597697）解决方式:使用import tensorflow.compat....
2020-01-02 10:29:52
1591
原创 成功安装Keras遇到的AttributeError: module 'tensorflow.python.keras.backend' has no attribute 'get_graph'等问题
通过pip3 install keras成功安装Keras后，测试报错--AttributeError: module 'tensorflow.python.keras.backend' has no attribute 'get_graph'。网上查了相关资料发现是TensorFlow与Keras的版本兼容问题。一、首先看一下已安装的TensorFlow和Keras版本。首先，按住w...
2019-12-11 16:37:13
2041
转载 动态规划：最长回文子串 & 最长回文子序列
一、题目所谓回文字符串，就是一个字符串，从左到右读和从右到左读是完全一样的，比如 “a”、“aba”、“abba”。对于一个字符串，其子串是指连续的一段子字符串，而子序列是可以非连续的一段子字符串。最长回文子串 和 最长回文子序列（Longest Palindromic Subsequence）是指任意一个字符串，它说包含的长度最长的回文子串和回文子序列。例如：字符串 “ABCDD...
2019-08-17 16:51:19
289
原创 （面试）打印二叉树的所有最右节点--python
打印二叉树最右侧节点其实是改自二叉树的层次遍历，多了一步，即输出每一层的末尾节点。如下题，输出最右侧节点结果应为[3,20,7]。首先看二叉树的层次遍历，使用队列（queue）来存储二叉树的节点， 具体代码层次遍历实现：def levelOrder(self, root: TreeNode) -> List[List[int]]: ...
2019-08-14 15:31:13
1382
原创 （面试）MySQL中INT(5)和VARCHAR(20)中括号内的数字表示什么，以及VARCHAR与CHAR的区别
一、首先，INT类型数据的字节大小是固定的4个字节，但是int(5)和int(11)区别在于，显示的数据位数一个是5位一个是11位，在开启zerofill(填充零）情况下,若int(5)存储的数字长度是小于5的则会在不足位数的前面补充0,但是如果int(5)中存储的数字长度大于5位的话，则按照实际存储的显示(数据大小在int类型的4个字节范围内即可）,也就是说int(M)的M不代表数据的长...
2019-08-12 11:49:33
2590
原创 LeetCode上二叉树深度的相关题目总结
一、二叉树的最小深度（LeetCode111题）def minDepth(self, root: TreeNode) -> int: if root: if root.left and root.right: return 1 + min(self.minDepth(root.left),self.minDep...
2019-08-11 21:14:26
263
转载 java实现单链表常见操作
转载自：https://www.cnblogs.com/bjh1117/p/8335108.html一、概述： 本文主要总结单链表常见操作的实现，包括链表结点添加、删除；链表正向遍历和反向遍历、链表排序、判断链表是否有环、是否相交、获取某一结点等。二、概念：链表： 一种重要的数据结构，HashMap等集合的底层结构都是链表结构。链表以结点作为存储单元，这些存储单元可以是不连...
2019-08-10 10:44:31
170
原创 Python--实现二叉树的遍历操作
一、首先二叉树的定义：class TreeNode: def __init__(self, x): self.val = x self.left = None self.right = None 构建一棵二叉树：class Node(object): def __init__(self, val): self.val...
2019-08-01 15:35:22
192
原创 python--使用两个栈实现队列
问题：用两个栈来实现一个队列，完成队列的Push和Pop操作。分析：栈的特性是“先进后出”，队列为“先进先出”。思路：入队：直接把新元素压入stack1即可。 出队：根据队列先进先出的性质，由于先进入队列的元素被压倒stack1的栈底，要想实现先入队列的先出队，需要将stack1中的元素逐个弹出并压入stack2，经过弹出和压入之后最先进入的元素就处于st...
2019-08-01 14:22:16
273
原创 独热编码（One-Hot Encoding）总结
背景：在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。例如，有以下三个特征：["male", "female"]["from Europe", "from US", "from Asia"]["uses Firefox", "uses Chrome", "uses Safari", "uses Internet Explorer"]如果将上述特征用数字表示，效...
2019-07-14 17:08:10
611
转载 Python实现字符串反转的几种方法
要求：在Python环境下用尽可能多的方法反转字符串,例如将s = "abcdef"反转成 "fedcba"第一种：使用字符串切片result = s[::-1]第二种：使用列表的reverse方法l = list(s)l.reverse()result = "".join(l)当然下面也行l = list(s)result = "".join(l[::-1])...
2019-07-13 10:28:04
421
原创 LeetCode--26题（删除排序数组中的重复项）和27题（移除元素）总结
先看题目：26 、删除排序数组中的重复项来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/remove-duplicates-from-sorted-array给定一个排序数组，你需要在原地删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。不要使用额外的数组空间，你必须在原地修改输入数组并在使用 O(1) 额外空...
2019-07-13 10:17:29
180
原创 python中list转csv文件的方法及说明
进行数据处理时，需要将list转换为CSV文件，具体有以下两种方法：方法一：使用pandas模块的to_csv方法实现将二维的list转为csv，具体地，使用其DataFrame属性，代码段如下：import pandas as pd# data1为list类型，参数index为索引，column为列名data2 = pd.DataFrame(data = data1,index ...
2019-07-12 17:26:11
12708
1
原创 使用csv模块的writerow()写入文件时中间出现空行的问题
在进行数据处理时，需要将list转换为CSV文件，使用如下代码段：import csvcsvFile = open(path, "w+")name = ['sessionId','itemId']try: writer = csv.writer(csvFile) writer.writerow(name) for i in range(len(data2)):...
2019-07-12 17:13:08
1749
原创 头条数据工程师面试
一、自我介绍二、介绍一下做的项目，根据项目来提问： 1、分布式数据库的相关问题： （1）你觉得项目中的难点在哪里。 （2）说一下常用的关系型数据库。 （3）mysql的数据库引擎有哪些；哪个数据库引擎支持事务（InnoDB）；说一下事务中的ACID；隔离性包括哪些级别。 （4）数据结构--代码实现--用两个栈实现队列。...
2019-07-08 19:09:07
520
转载 机器学习中的端到端学习
相对于深度学习，传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理（Natural Language Processing）问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果，这是非端到端的。而深度学习模型在训练过程中，从输入端（输入数据）到输出端会得到一个预测结果，与真实结果相比较...
2019-07-04 09:38:25
268
原创 TensorFlow中models的安装
一、问题 今天在进行LSTM实验的时候，TensorFlow环境中未安装models就会报错，下图中reader下会飘红： 然后，寻找解决办法，发现之前安装TensorFlow的时候没有安装models的模块，所以这里进一步安装完善。二、安装model 安装model的过程需要git tensorflow的官方源码（https://gith...
2019-06-19 08:16:18
4832
原创 UnicodeDecodeError: 'gbk' codec can't decode byte 0xe9 in position 7581: illegal multibyte sequence
在测试代码时出现如题报错，网上查询后，在如下改动：FILE_OBJECT= open('order.log','r', encoding='UTF-8')修改后，测试又报如下错误：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: illegal multibyte sequence...
2019-04-25 16:15:47
658
原创 MovieLens数据集地址
地址：http://files.grouplens.org/datasets/movielens/官网：https://grouplens.org/datasets/movielens/
2019-04-25 15:35:38
4018
原创 IntelliJ IDEA安装及使用
在新电脑上安装了IDEA，之前安装的时候没有做笔记，在此重新记录一下。一、首先，下载IntelliJ IDEA 。官网地址：https://www.jetbrains.com/idea/download/#section=windows。选择所需版本。二、打开下载的文件（ideaIU-2019.1.1.exe）。根据情况选择安装，NEXT。三、激活IDEA。进入http...
2019-04-24 22:19:03
244
原创 清华开源软件镜像地址--anaconda
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
2019-04-18 11:31:00
602
原创 Tensorflow安装后在导入模块时会出现ImportError: DLL load failed: 找不到指定的模块的问题
如果是在anaconda中配置的tensorflow环境，要确保将TensorFlow安装在如下图路径下。（D:\software\anaconda\Lib\site-packages）注：TensorFlow中文社区：http://www.tensorfly.cn/...
2019-04-18 11:24:34
7478
1
原创 操作HBase报错：java.lang.NoClassDefFoundError: org/apache/commons/codec/binary/Hex
在java客户端操作hbase时，创建table：public static void createTable(String tableName, String[] columns) throws IOException { HBaseAdmin Hbaseadmin = new HBaseAdmin(config); if (Hbas...
2018-12-08 14:35:27
3651
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人