- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用Python读取mysql中的数据并调用sklearn.linear_model进行线性回归预测
环境 Python3要求：从mysql数据库中读取两列数据进行线性回归预测，例如从经济数据表中读取GDP列和year列，进行GDP对year的线性回归分析，并根据线性回归系数预测下一年的GDP值。from pymysql import *import pandas as pdimport numpy as npfrom sklearn import linear_modelfrom s...
2019-08-04 15:30:12
1578
翻译 docker hadoop学习笔记
Docker 运行必须用root权限一、基本概念1.Docker 镜像(Images)是一个只读的模板，类似于安装系统用到的那个iso文件，我们通过镜像来完成各种应用的部署。镜像可以用来创建Docker容器。2.Docker 容器(Container)容器是独立运行的一个或一组应用。镜像类似于操作系统，而容器类似于虚拟机本身。它可以被启动、开始、停止、删除等操作，每个容器都是相互隔离的。可以...
2019-02-15 19:36:40
961
原创 Python到pyspark中的py-files的问题
在spark平台上执行Python算法涉及到Python程序的改写，其中import部分需要额外注意。如果我们在执行某个test.py程序时需要调用另外一个common.py,需要在test.py内部添加import common，而此时的import common 不能放在程序头部，需要放在context之后。同时在执行程序时需要–py-files 参数指定引用模块的位置。图2为通过livy调用...
2019-01-18 17:17:29
6487
1
转载 tensorflow+tensorflowonspark+GPU学习笔记
TensorFlow能够让你直接解决各种机器学习任务。目标就是在一般情况下，无论你遇到什么问题，TensorFlow都可以在一定程度上提供API的支持。总的来说TensorFlow就是为了快而设计的，所以它针对你实际使用的硬件和平台做了优化。其中在机器学习框架方面，TensorFlow的真正独特之处在于，能够在5行或者10行代码中构建模型。然后应用这个模型，进行扩展做出产品。因此，你能够在几...
2019-01-09 14:15:47
2360
1
原创 Hive安装
一、简介hive是用类SQL语句（HiveQL）来实现对hadoop下的数据管理。hive属于数据仓库的范畴，那么，数据库和数据仓库到底有什么区别了，这里简单说明一下：数据库侧重于OLTP（在线事务处理），数据仓库侧重OLAP（在线分析处理）；也就是说，例如mysql类的数据库更侧重于短时间内的数据处理，反之。无hive：使用者…->mapreduce…-&a
2019-01-08 22:12:03
197
原创 sqoop1.99.7安装、使用及部分问题
一、安装环境已具备java和hadoop的环境，本文的版本为ubuntu16.04、java1.8.0、hadoop2.7.5。安装选择sqoop1.99.7,注意sqoop2中的sqoop1.99.6和1.99.7安装区别较大。二、sqoop2下载安装1.直接在sqoop的官网下载选择sqoop1.99.7版本。我直接下的bin版本，这个版本已经编译好了，直接用。sqoop1.99.7...
2019-01-04 23:42:56
1620
2
原创 下载网页中的视频的两种方法
1.进入播放视频的网页，播放视频并缓冲完全；2.点击浏览器“工具”栏菜单中“Internet”选项；3.在弹出的窗口中间部位找到“设置”；4.在新窗口中点击下方的“查看文件”5.跳出的文件夹中会显示页面的所有信息，包括缓冲的视频，按文件大小排序查找即可找到该视频文件，一般为.mp4文件或.avi文件，随后选择复制，大功告成。...
2018-12-07 19:19:23
71562
10
原创 livy备注
livy启动方式 进入bin目录下 ./livy-server start也可以用./livy-server 直接启动，但是会出现前台启动无法退出的困扰xx.xx.xx.xx:8998:ui 可以进入livy的查看日志界面...
2018-11-28 22:33:58
183
原创 Hadoop的MapReduce实例讲解—Python写的wordcount Demo
MapReduce是hadoop这只大象的核心，Hadoop 中，数据处理核心就是 MapReduce 程序设计模型。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。因此，我们的编程中心主要是 ma...
2018-11-16 20:51:01
1229
转载 阿里云centos7下安装mysql并配置远程访问
一、centos7下安装mysql具体操作参考以下博客（亲测可用）CentOS 7.4下使用yum安装MySQL5.7.20 注意启动mysql的时候用sudo权限，不然会让输入root密码，然后输了也会报错。二、设置mysql远程连接具体操作参考以下博客（亲测可用）阿里云主机CentOS7设置远程连接MySQL数据库三、测试方法1.win10内进入控制台 win+r 输入cmd...
2018-10-22 16:42:26
637
原创 linux创建新用户并给予root权限
root比windows的系统管理员的能力更大，足以把整个系统的大部分文件删掉，导致系统完全毁坏，不能再次使用。所以，用root进行不当的操作是相当危险的，轻微的可以死机，严重的甚至不能开机。所以，在Unix、Linux及Android中，除非确实需要，一般情况下都不推荐使用root，root之后如果手机还在保修期内是不给保修了的。最好单独建立一个普通的用户，作为日常之用。非root用户：一般情况...
2018-10-22 16:33:14
10353
原创 liunx常用指令
1.安装指令centos用yum;Ubuntu用apt-geteg: 在ubuntu下安装SSH可以：apt-get install openssh-server在centos上可以这样来安装ssh： yum -y install openssh-server
2018-10-22 16:31:17
622
原创 在阿里云centos7上搭建gitlab，邮箱设置成功却收不到邮件的原因
最近在阿里云centos服务器上搭建gitlab,遇到两次故障。1.参考教程搭建gilab,各项状态都显示成功，但是确无法登录网页端。在网页端输入ip后总是刷不进去。最后发现原因是阿里云服务器上没有开放80端口。接下来网页中打开云服务器管理控制台，左侧选择安全组规则，然后右上角选择添加安全组规则，添加80端口。成功后网页端输入服务器ip即可进入安装好的gitlab页面。2.添加SMTP邮箱...
2018-10-22 16:26:05
2544
1
原创 Ubuntu16.04开机失败—进入tty1终端修复
Ubuntu16.04开机失败—进入tty1终端修复如图所示，我的Ubuntu16.04开机的时候报错，提示/etc/profile 文件的第34行出错。我想起了这个是自己安装mysql和sqoop的时候配的路径，可能有问题，导致开机失败。百度的结果大多是按ctrl+alt+F1,进入tty1终端，通过命令修改错误文件。关键一步就是得首先进入root用户，再继续操作。在这里失败了好多次（总提示...
2018-10-22 16:18:10
8607
MATLAB最大似然互信息MLMI.zip
2019-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人