- 博客(24)
- 收藏
- 关注
RSS订阅原创 hadoop 50070 无法访问问题解决
在使用时可能你修改了hdfs-site文件，或者关闭了防火墙等等都搞了一遍还是不能访问50070。那么试一下这个！！！！！！！！！可能是你在操作时打开了namenode的安全模式，退出去一下试试~~hdfs dfsadmin -safemode leave...
2021-03-04 14:57:10
657
转载 Hadoop体系架构
大数据时代所面临的两个问题为，数据的存储和计算Hadoop的出现就解决了这两种所面临的问题。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是一个开源框架，可编写和运行分布式应用处理大规模数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。Hadoop起源于谷歌的三篇论文（GFS、MapReduce、BigTable）。名字起源：Hadoop这个名字不是一个缩写，而是一个
2020-12-18 14:45:30
997
原创 ABtest介绍，示例
1.A/B测试简介在各个行业中，ABtest对于数据分析师来说都是一个不陌生的明细。那么ABtest到底是什么？其基础原理是怎样的？在网站和APP的设计，产品的运营中，经常会面临多个设计/运营方案的选择，从界面颜色，界面功能按钮，不同的运营方案，都有不同的选择。ABtest可以帮助我们去做出选择，得出用户体验最佳的设计方案。ABtest很类似于生物钟的控制变量法。将用户划分成不同的小组，在相同的时间维度上进行单一变量的改变，并通过最终展现出来的数据指标来衡量方案的好坏。当然因为用户群体较大，所以在分组
2020-09-16 13:24:41
13380
原创 jupyter notebook打开默认文件以外的文件夹
在使用jupyter notebook时 默认打开的是C盘，如果需要打开其他目录下的文件夹，使用如下方法1，打开cmd2，输入cd /d "文件路径"3，输入jupyter notebook。4，没有4了，搞定了。
2020-08-19 16:28:32
488
原创 Using TensorFlow backend. C:\Users\18042\anaconda3\envs\kersa\lib\site-packages\tensorflow\python\fr
环境：win10 anaconda tensorflow cpu版本使用TensorFlow或者Keras是报错Using TensorFlow backend.C:\Users\18042\anaconda3\envs\kersa\lib\site-packages\tensorflow\python\framework\dtypes.py:523: FutureWarning: Passing (type, 1) or ‘1type’ as a synonym of type is depre
2020-05-27 10:37:51
1461
转载 保存，anaconda安装TensorFlow-GPU网址
https://www.cnblogs.com/fanfzj/p/8521728.html
2020-05-27 10:19:55
128
原创 LF will be replaced by CRLF in xxxxx The file will have its original line endings
Git默认配置替换回车换行成统一的CRLF，修改配置禁用该功能即可。Gitshell中输入如下命令解决：git config --global core.autocrlf false
2020-05-25 08:25:12
322
转载 Python中else的其他用法
学Python这么久了，一回头还发现了这么个东西，哈哈哈哈哈。写个博客存一下。else除了我们平时使用的以外（if…else），还有以下用法：1.与while配合count=0while count>12: if (11>0): print("成立") break count+=1else: print('不成立') #当while条件不成立，直接跳到该处输出 2.与for配合def forelse(): c
2020-05-24 14:08:43
224
1
原创 anadonda安装tensorflow过程和问题总结
这几天使用anadonda安装TensorFlow遇见的问题太多了，着实打老壳。写个博客记录一下。先分享一个连接，关于使用anaconda安装TensorFlow的anadonda安装TensorFlow下面来总结一下我遇到的问题吧。第一个 pip版本问题报错：You are using pip version 20.0.2, however version 20.1 is available…解决方法：看我这一篇博客完美解决You are using pip version 20.0.2
2020-05-22 10:57:10
249
原创 完美解决：You are using pip version 20.0.2, however version 20.1 is available.......问题
windows 64,anaconda python3今天在使用pip安装库时报错。这个意思也就是说我们pip版本有最新的需要我们进行更新。解决方法：1.pip直接更新pip install --upgrade pippip3 install --user --upgrade pip2.直接使用后面的提示命令也就是you should consider upgrading via the 后面的命令3.使用命令python3 -m pip install pip==版本号更新完成
2020-05-15 11:10:54
63684
6
原创 在hive如何创建数据库哦
基本语法CREATE(DATABASE|SCHEMA)[IF NOT EXISTS]database_name [COMMENT database_comment] [LOACLTION hdfs_path[WITH DBPROPERTIES (property_name=property_value,…)];逐条讲解(DATABASE|SCHEMA)：创建数据库关键词[IF NOT ...
2020-04-17 19:34:05
2136
原创 hive中显示当前所在的数据库
在我们操作过久之后忘记所在的数据库时可以使用方式一select current_database();方式二set hive.cli.print.current.db=ture;显示为hive(数据库名)>
2020-04-17 19:19:09
1209
原创 向hive表中加入数据，加载数据
直接向分区表中插入数据insert into table table_name parttion(name='zhangsan') values('12','23');这种适用于数据量少的时候，插入一行或者多行数据通过load方式加载数据自己创建了数据文件load data local inpath '文件地址+文件名（例如/usr/loacl/data/data.csv）' over...
2020-04-17 19:14:55
1584
原创 hive如何删除表，清空表中数据小总结
删除内部表中的数据，保留表的结构truncate table 表名hive按分区删除数据alter table table_name drop partition (parttition_name='分区')删除表drop table table_name清空表insert overwrite table_name select *from t_table1=0;...
2020-04-17 19:05:59
4870
原创 mysql中information_schema，mysql，performance_schema库详解
今天在使用mysql的时候无意进入了information_schema表，发现我没有权限来操作这个库，才想起这个是进入mysql就本身拥有的。同样在我们进入mysql的时候回发现有三个默认的库information_schema,mysql,performance_schema这三个库是系统默认就有的。其存在的用途接下来一一说明（网上查找的结果加上自己的一些理解）information_s...
2020-04-11 15:44:56
2943
原创 mysql子查询自我总结
mysql子查询mysql子查询，为什么会有子查询这个东西喃？来个例子，像是Python中的嵌套循环是一样的，当我们相对我们之前的一个查询结果在进行查询的时候，子查询就出现了基本的样子就是在我们select中又包含了一个select。子查询与之相对的有个父查询，最外层的select语句就是我们的父查询语句，里面的使我们的子查询语句当然在语句中所有的子查询语句都是在小括号中的，你也可以判断为在...
2020-04-10 00:05:19
763
原创 mysql 自连接。看了不懂你来打我
自连接是将自己一张表看做两张表之后进行的等值连接。如果你要查询下列表中员工的姓名和员工上级领导的姓名怎么查？这两个数据都是在同一张表中（注释：manager_id为领导的id）所以说如果我们需要输出员工名和员工的领导名。那么我们应该在表中找到其对应的领导id。例如Kochhar这个员工它对应的manger_id为100，那我们在回到employee_id来找id为100的员工K_ing。就是...
2020-03-27 18:43:58
151
转载 一文搞懂mysql单引号，双引号，反引号的使用
1.单引号双引号在mysql中引用字符串常量时候需要用一对英文单引号或者双引号。在一般使用的时候你会发现单引号和双引号没有什么区别。但是在转义时，我们会使用到单双引号，例如你要查询的字段里面本身就带有单引号或者双引号时，单双引号就需要注意使用了，比如查询tom’s father,在编辑的时候：这样自然就是会报错的，因为你的单引号被认为是没有完全的，报了语法错误。因此这种情况我们就需要双引号...
2020-03-26 09:42:56
6135
原创 详解AttributeError: 'Function' object has no attribute 'get_marker
各位在使用pytest库时候应该都遇到过这种问题吧：这里原因是因为pytest_remotedata的版本问题，在网上查看相关资料发现在pytest3.x的版本是没有这个错误的，在pytest4.6.1时候改进了pytest之后出现这个问题，所以我们直接更新一下pytest_remotedata就好啦。使用语句：pip pip install -i https://pypi.tuna.ts...
2020-03-26 09:14:07
6067
原创 MySQL中where与having使用区别和方法
where在MySQL中的作用之大就不必说了。在MySQL中经常使用select来查询数据，其中where在查询数据中占着关键作用，where在查询中一般是用来有条件的查询某个数据：举个例子：比如你要查询table中age>30的人，你应该怎么查询？select * from table where age>30 ;这样使用没有错吧，如果加上排序这些自然要使用到order ...
2020-03-18 20:51:15
356
原创 MySQL忘记登陆密码解决方案
大一学习Mysql数据库，这几天登录的时候忘记了密码，哈哈。真是难受。所以去网上百度了相关的方法，其中一种方法简单实用，所以记录一下。如果自己之前是启动了数据库的，第一步使用管理员身份打开cmd，在界面输入net stop mysql就可以看到界面提示已经关闭（如果数据库没有启动可以不需要）之后在自己数据库安装目录下找到mysqld.exe复制路径，在cmd中使用cd命令打开文件位置。打...
2020-03-18 20:19:27
147
原创 MySQL创建函数小总结
数据中函数使用隐藏了实现细节，提高了代码的重用性。在MySQL中函数可以大致分为两类，单行函数和分组函数。因此，我们今天的学习就从这两类函数入手咯。一般语法：select 函数名（实参列表）from 表名（温馨提示哦：在本次学习中一定要记好一个单词就是select）分组函数：一、字符函数1.length（获取参数值的字符个数）语法：select length（‘字符’）；2.c...
2020-03-17 18:11:07
300
原创 hive搭建启动后无法使用sql语句
**搭建hive遇到的问题总结**MySQL连接器版本问题。在启动hive时，可以正常启动，但是不能在里面使用sql语法。结果如下，所以在网上找相关的方法。处理方法总的来说有这么几个：一、MySQL权限问题因为hive的元数据存在mysql里面，所以如果你没有弄好mysql的权限,你的show databases是不可以用的。解决方法查看自己的hive-site.x...
2020-03-16 18:36:24
1694
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人