- 博客(41)
- 收藏
- 关注
RSS订阅转载 机器学习常用代码
1. 数据处理# 数据预处理# 1. 读取数据：data_macro = pd.read_csv("macro.csv", parse_dates=['timestamp'], usecols=['timestamp'] + macro_cols)# 2. 显示为object的属性：data_train.dtypes[data_train.dtypes=='object']# 3. 改变数据类型data_train['material'] = data_train['material'].
2022-03-16 21:52:23
2839
原创 Python内置函数
函数含义abs(x)返回一个数的绝对值。参数可以是整数、浮点数或任何实现了__abs__()的对象。如果参数是一个复数，则返回它的模all(iterable)如果iterable的所有元素均为真值（或可迭代对象为空）则返回Trueany(iterable)如果iterable的任一元素为真值则返回True。如果可迭代对象为空，返回Falseascii(object)与repr()类似，返回一个包含对象的可打印表示形式的字符串，但是使用\x、\u和\U对repr(...
2022-01-12 00:16:59
70
原创 Python经典面试题目
1. 什么是Python？使用Python有什么好处？Python是一种编程语言，包含对象、模块、线程、异常和自动内存管理。Python的好处在于它简单易用、可移植、可扩展，内置数据结构，并且Python是开源的。2. 什么是PEP 8？PEP 8是一个编码约定，关于如何编写Python代码更具可读性。3. 什么是序列化和非序列化？Pickle模块接受任何Python对象并将其转换为字符串表示形式，并使用dump函数将其转储到文件中，此过程称为pickling。从存储的字符串表示中检索原始Pyth
2022-01-12 00:09:21
70
原创 Class path contains multiple SLF4J bindings问题解析
Class path contains multiple SLF4J bindings问题解析出现了这样的问题提示SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/D:/develop/mavenRepository/org/slf4j/slf4j-log4j12/1.7.30/slf4j-log4j12-1.7.30.jar!/org/slf4j/impl/StaticLogge
2021-12-09 14:09:16
751
原创 spark常用代码集合（一）
spark常用代码集合（一）1、读写CSV文件2、修改数据类型3、删除重复的列1、读写CSV文件val df1 = spark.read.csv("hdfs://106.12.48.46:9000/sparktest/服创大赛-原始数据.csv").toDF("timestamp","imsi","lac_id","cell_id","phone","timestamp1","tmp0","tmp1","nid","npid")2、修改数据类型df1.select(df1("timestamp")
2021-12-08 11:13:08
1336
转载 spark机器学习训练模型示例（一）
利用逻辑回归建立模型，建立训练集和测试集from pyspark.ml import Pipelinefrom pyspark.ml.classification import LogisticRegressionfrom pyspark.ml.feature import HashingTF, Tokenizer # 从(id, text, label)元祖列表得到一个训练样本（DataFrame）.training = spark.createDataFrame([ (0, "a b
2021-11-29 13:46:23
751
原创 spark sql中Exception in thread “main“ org.apache.spark.sql.AnalysisException问题
在spark中遇到Exception in thread “main” org.apache.spark.sql.，这往往是所选取 'pibid'字段不存在，或者名字写错了。所以要查该字段！！！Exception in thread “main” org.apache.spark.sql.AnalysisException: cannot resolve ‘pibid’ given input columns: [spark_catalog.lg_edu_warehouse.dwd_t_baseexamh
2021-11-18 19:52:37
10378
原创 spark 无法写入hive表Can not create the managed table，该如何解决？
在将数据写入hive的时候，有时候就会出现：Can not create the managed table(’lintest.getEveryDayStudentAllinfo’). The associated location(‘hdfs://mycluster/user/hive/warehouse/lintest.db/getEveryDayStudentAllinfo’) already exists.;这有可能是写入hive的数据表名字有大写字母，所以出现错误。提示表不存在！！！将表名
2021-11-18 13:35:27
3565
3
原创 java.net.UnknownHostException: master
该错误一般是需要设置host映射端口才能解决此问题修改hosts路径：C:\Windows\System32\drivers\etc注意不能加#号，#号代表注释自此完成。
2021-11-15 13:41:19
1373
原创 spark SQL里面出现mismatched input ‘lg_edu_warehouse‘ expecting {＜EOF＞, ‘；‘}解决方法
mismatched input ‘lg_edu_warehouse’ expecting {, ‘;’}问题解决1、报错信息== SQL ==select lastedittime form lg_edu_warehouse.dwd_student_allinfo_day_detailwhere dataflag=0at org.apache.spark.sql.catalyst.parser.ParseException.withCommand(ParseDriver.scala:266)at
2021-11-10 11:14:46
6744
2
原创 国内会议总结：基于人工智能增强的边缘计算，从连接车辆到智能连接的范式转变（四）
主题：人工智能增强的边缘计算:从连接车辆到智能连接的范式转变1、背景：截至到2020年道路上有近1千万自动驾驶的汽车，未来十年全自动驾驶汽车将会被规范化，更多的公司将会发展更高水平的自动驾驶汽车（自动驾驶有1-5个等级，其中目前主要是发展水平是1-3等级）。2、自动驾驶的物理系统：GPS、激光雷达、摄像头、计算中心、雷达传感器、专用的短程通信接收器（非图片）3、自动驾驶中的人工智能：深度学习、强化学习、迁移学习、基于边缘传感器的大数据处理，作用于目标检测，路径规划，交通流的预测4、自动驾驶出现
2021-10-30 20:03:43
398
原创 国内会议总结：无线感知前沿技术论坛分享（三）
主题：无线感知： 从菲涅尔区模型到CSI模型主讲：张大庆一、无线感知：从菲涅尔区模型到CSI商模型1、背景：2030年60岁老年人口比例比例达到23.29%老年人健康问题：心血管疾病、中风、老年痴呆、帕金森综合征共性需求：行为姿态、跌到、步态、心率、呼吸、体动、体温、2. 解决之道：长期持续的感知监测生命体征：呼吸心跳识别日常行为：跌到、步态、外人入侵定位和跟踪二、基于WiFi或者4G、5G信号感知1、优势：信号无处不在、现存设施很多、无需穿戴、隐私担忧很低2、无线感知
2021-10-30 19:58:42
1532
原创 国内会议总结：主动健康与老龄化科技（二）
一、居家养老与康复工程1、十大科技：卧床、移动、移位、如厕、洗浴、情感、饮食、安全、健康检测、康复2、养老服务主要内容：经济供给：货币支持：经济和医疗 支持物质支持：食物衣物、日用品、住房精神慰藉：心里情感、倾听述听、交谈陪伴、咨询关心、生活支持：日常洗衣做饭（躯体功能支持、健康维护）、社会生活支持（文化娱乐、社会交往、劳动就业）目的：帮助障碍者功能重建和恢复、重新走向社会养老三模式：居家/社区/机构。科技养老智慧养老。**3、康复：**医学、教育、职业、社会、康复工程**4、卧床护
2021-10-30 19:43:59
179
原创 国内会议总结：人体行为感知研究两个国内会议总结（一）
最近听了国内西工大 王柱教授 和南京大学 王楚豫 教授的两个会议，并做了如下总结，分享给大家。（一）主题：基于无线信号的行为感知及其健康应用（王柱 西工大）1、研究背景：我国人口老龄化，慢性病普遍化，老年群体慢病患者超过60%，多数老人患有一种以慢性病。以“治未病”为特点的健康医学模式被认为是实现“健康中国2030”战略发展目标的主流方向。2、无线感知：目前的新型感知方式有：接触式感知、非接触式感知。其中接触式感知包括：可穿戴式、环境嵌入式；非接触式感知有：光学信号、射频信号、声波信号。主要
2021-10-30 19:29:12
429
原创 出现‘utf-8‘ codec can‘t decode byte 0xd5 in position 0: invalid continuation byte读取csv失败
1、python读取csv文件出现无效字节，解码失败问题这个时候往往是csv文件中包含有汉字的问题，这时候只需要在pd.read_csv( )加入enconding=‘gbk’去解码csv文件，然后就可以了。其他解码方式还有**‘utf-8’**等解码方式。...
2021-10-20 16:44:08
1883
原创 JAVA环境变量安装
JAVA环境安装1、首先安装jdk1.8编译器，路径里面最好是英文为主。2、配置环境变量。3、配置环境变量。4、在path里面需要添加5、测试1、首先安装jdk1.8编译器，路径里面最好是英文为主。调整安装目录：2、配置环境变量。首先右键打开我的电脑属性，点击高级系统设置。打开环境变量！3、配置环境变量。如图需要增加CLASSPATH变量，.;JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;一个字都不可以少.还有JAVA_HO
2021-10-19 11:10:48
116
原创 matplotlib学习笔记（五）
大家点个赞！！！1、pyplot 教程：#只有一个列表的情况下import matplotlib.pyplot as pltplt.plot([1,2,3,4]) #纵坐标plt.ylabel('some numbers')# 纵坐标标签plt.show()import matplotlib.pyplot as pltplt.plot([1,2,3,4], [1,4,9,16], 'ro')# 横坐标，纵坐标分别列出来plt.axis([0, 6, 0, 20]) # 横坐标，纵坐
2021-10-18 09:02:44
87
原创 Matplotlib学习笔记（四）
大家点个赞！！！9、细节决定成败labels现在被红线和蓝线挡住了。我们可以把label的字条调大，让红蓝线变成半透明的。源代码和结果如下所示：for label in ax.get_xticklabels() + ax.get_yticklabels(): label.set_fontsize(16) label.set_bbox(dict(facecolor='white', edgecolor='None', alpha=0.65))10、matplotlib组件到目前为
2021-10-18 08:57:15
79
原创 Matplotlib学习笔记（三）
大家点个赞！！！7、添加legendlegend就是如下图所示的东西。这个需要调整两点：一个是参数label，一个是plot命令plt.legend()plt.plot(X, C, color="blue", linewidth=2.5, linestyle="-", label="cosine")plt.plot(X, S, color="red", linewidth=2.5, linestyle="-", label="sine")#frameon=True的话，右上角的声明会在一个框内
2021-10-18 08:55:51
58
原创 Matplotlib学习笔记（二）
大家点个赞！！！3、修改颜色和line宽度plt.figure(figsize=(10, 6), dpi=80)plt.plot(X, C, color='blue', linewidth=2.5, linestype='-')plt.plot(X, S, color="red", linewidth=2.5, linestyle="-")4、设置坐标轴范围plt.xlim(X.min() * 1.1, X.max() * 1.1)plt.ylim(C.min() * 1.1, C.max
2021-10-18 08:53:38
71
原创 matplotlib学习笔记（一）
大家点个赞哈！！！1、尽管大多数情况下，matplotlib的默认值都足够好了，但在某些情况下，你可能还是想用自己的方式修饰这些属性。import numpy as npimport matplotlib.pyplot as pltX = np.linspace(-np.pi, np.pi, 256, endpoint=True)C,S = np.cos(X), np.sin(X)plt.plot(X,C)plt.plot(X,S)plt.show()2、你可以通过修改这些参数，观察结果
2021-10-18 08:51:40
52
原创 numpy学习笔记(四)
大家点个赞哈!!!利用numpy删除数据1、用于删除arrany类型的数组，数组不是列表：arr = np.append(arr1, [1], axis=0) #将[]内所有元素加到arr1中。注意会产生新的数组arr = np.delete(arr1,元素序号,axis=0) #若秩为2，axis=0表示行，axis=1表示列2、list增删元素:ls.append(arr[0]) #加单个元素,单个元素可以为listls.extend(list) #加个list，list
2021-10-18 08:49:19
44
原创 numpy学习笔记（三）
Numpy copy & deep copy1、= 的赋值方式会带有关联性，改变任何一个值，则其他值都会改变。import numpy as npa = np.arange(4)# array([0, 1, 2, 3])b = ac = ad = ba[0] = 11print(a)# array([11, 1, 2, 3])b is a # Truec is a # Trued is a # True2、大概copy() 的赋值方式没有关联性b = a.
2021-10-18 08:29:16
52
原创 numpy学习笔记（二）
array的多维数组分割1、按照行或者列分割：import numpy as npA = np.arange(12).reshape((3, 4))print(A)"""array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]])"""print(np.split(A, 2, axis=1) # axis=1 为众向分割，axis=0为横向分割"""[array([[0, 1], [4,
2021-10-17 21:10:24
97
原创 numpy学习笔记（一）
下列所陈述的并非全都是矩阵操作，也可以是数组列表。1、数组/矩阵的维数：sth.ndim2、数组/矩阵的形状：sth.shape3、数组/矩阵的尺寸：sth.size4、生成多少个数：b=np.arange(4) #生成0，1，2，35、判断矩阵中的元素是否小于某个值：print(b<3)6、改变矩阵的形状：sth.reshape((2,2)) #变为2X2矩阵7、两个矩阵相乘：np.dot(a,b) 、a.dot(b)8、生成某个形状的随机矩阵：np.
2021-10-17 21:08:36
65
原创 pandas学习笔记（八）
Pandas plot 出图1、消防车创建一个Series创建一个Series# 随机生成1000个数据data = pd.Series(np.random.randn(1000),index=np.arange(1000)) # 为了方便观看效果, 我们累加这个数据data.cumsum()# pandas 数据可以直接观看其可视化形式data.plot()plt.show()2、发Dataframe 可视化：data = pd.DataFrame( np.random
2021-10-17 20:55:22
66
原创 pandas学习笔记（七）
Pandas 合并 merge1、依据一组key合并，根据某一列的值合并：import pandas as pd#定义资料集并打印出left = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'], 'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3']})right = pd
2021-10-17 20:51:52
70
原创 pandas学习笔记（六）
Pandas 合并 concat1、axis (合并方向)：axis=0是预设值，因此未设定任何参数时，函数默认axis=0import pandas as pdimport numpy as np#定义资料集df1 = pd.DataFrame(np.ones((3,4))*0, columns=['a','b','c','d'])df2 = pd.DataFrame(np.ones((3,4))*1, columns=['a','b','c','d'])df3 = pd.DataFram
2021-10-17 20:48:49
58
原创 pandas学习笔记（五）
Pandas 导入导出1、读取CSV：import pandas as pd #加载模块#读取csvdata = pd.read_csv('student.csv')#打印出dataprint(data)2、将资料存取成pickle：data.to_pickle('student.pickle')# 用pickle.dump存到本地文件，所存数据的结构就是字典，# 而普通的file.write写入文件的是字符串。# 读取时，pickle.load返回的是一个字典，# fi
2021-10-17 20:45:22
64
原创 pandas学习笔记（四）
创建矩阵1、创建含 NaN 的矩阵：dates = pd.date_range('20130101', periods=6)df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates, columns=['A','B','C','D'])df.iloc[0,1] = np.nandf.iloc[1,2] = np.nan""" A B C D2013-01-01 0 NaN 2.
2021-10-17 20:42:44
68
原创 pandas学习笔记（三）
用pandas设置值1、准备数据dates = pd.date_range('20130101', periods=6)df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates, columns=['A','B','C','D'])""" A B C D2013-01-01 0 1 2 32013-01-02 4 5 6 72013-01-03 8 9
2021-10-17 20:40:17
48
原创 pandas学习笔记（二）
本节主要介绍如何用pandas选择数据、处理数据。1、预备代码：dates = pd.date_range('20130101', periods=6)df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates, columns=['A','B','C','D'])""" A B C D2013-01-01 0 1 2 32013-01-02 4 5 6 72013
2021-10-17 20:36:07
48
原创 pandas学习笔记（一）
1、pandas两大库，Series和DataFrame，其中Series是处理数组。import pandas as pdimport numpy as nps = pd.Series([1,3,6,np.nan,44,1])print(s)"""0 1.01 3.02 6.03 NaN4 44.05 1.0dtype: float64"""2、关于DataFramedates = pd.date_range('2016010
2021-10-17 20:27:33
71
原创 针对大学生学习成绩预测方法研究
针对中小学学习成绩预测方法调研一、特征数据集构建学习成绩预测是关注学习者当前的学习行为和未来学习成绩的关系。构建学生学习行为的特征向量，主要可以从以下三方面进行获取行为特征，包括线上学习行为收集、线下学习行为收集、基于视觉的自动化学习行为收集。1.线上的学习行为数据收集(1)课前数据收集I学生的家庭信息：学生性别、年级、居住地、家庭成员数量、父母收入水平、职业等II学生过往的成绩：包括课程单科、总分成绩（单元测试成绩、期中期末成绩），课外其他兴趣比赛成绩等。(2)课中的数据收集I每次线上课程
2021-10-15 10:20:43
1473
原创 Docker学习笔记（二）
Docker部署hadoop集群一、Docker基本介绍1、Docker 是一个开源的应用容器引擎，是一个轻量级容器技术。其中，容器是一种通用技术，docker只是其中一种容器应用技术。2、Docker 是开发者可以打包自己的应用以及环境依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，可以实现虚拟化。3、Docker它还可将应用程序与基础架构分开，从而可以快速交付软件，快速部署其他环境下的程序。4、Docker容器是完全使用沙箱机制，相互之间不会有任何接口，性能好，启动快。
2021-10-15 10:11:25
81
原创 Docker学习笔记（一）
一、Docker基本介绍1、Docker 是一个开源的应用容器引擎，是一个轻量级容器技术。其中，容器是一种通用技术，docker只是其中一种。2、Docker 是开发者可以打包自己的应用以及环境依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，可以实现虚拟化。3、Docker它还可将应用程序与基础架构分开，从而可以快速交付软件，快速部署其他环境下的程序。4、Docker容器是完全使用沙箱机制，相互之间不会有任何接口，性能好，启动快。二、Docker核心概念1、Docker组成
2021-10-14 21:24:36
57
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人