Hive中利用日志数据学习分析思路 hive执行日志

我们先看我们的日志文件

查看下，这就是我们的日志信息，我们可以设置日志格式从而得到不同的信息。

我们现在有一个日志数据nginx_log,里面有十一个字段

" 122.228.208.113"

"-"

"31/Aug/2015:00:04:37 +0800"

"GET /course/view.php?id=27 HTTP/1.1"

"303"

"440"

-

""

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36"

"-"

""

我们可以从网上找到很多nginx日志信息说明

根据nginx日志说明，分析上面的日志信息nginx_log

那我们来分析这个日志信息，流程是

1、需求分析

2、数据采集

3、数据清洗（ETL阶段、字段截取、格式转化）

自定义UDF

自定义Java类，手写MR程序，用于过滤判断

4、数据分析（计算、处理）

5、结果导出（sqoop）

6、数据可视化展示

因为我们已经有日志数据了而且格式是按照标准分析的，所以我们直接将数据放到hive中，默认已经采集完成了，需要加载到hive中。

创建数据库

create database nginx_log;

创建表

create table IF NOT EXISTS nginx_log_ori (

remote_addr string,

remote_user string,

time_local string,

request string,

status string,

body_bytes_sent string,

request_body string,

http_referer string,

http_user_agent string,

http_x_forwarded_for string,

host string

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '

stored as textfile ;

将数据上传

导入数据

load data local inpath '/data/test/access.log' into table nginx_log_ori ;

我们查看下数据会发现，数据不是十一个，而是八个，就是因为数据有空格，分隔符等问题，导致数据加载不全，需要用正则表达式等方法解决。

hive官网

我们来使用

首先使用了一个序列化的java类

org.apache.hadoop.hive.serde2.RegexSerDe

(1)、用户可以自定义写一个Java类

(2)、打成jar添加hive环境变量中

(3)、可以自己调用

再使用正则表达式匹配文本的当中每一个字段

一些基本知识：

\转义字符

()作用域（字段）

[] 字符集合

| 或

"^ " 非空格的多位字符

^\ ^\\ 非斜杠的多位字符

^} 非大括号的多位字符

· 可能是字符串，可能是没有的

.* 所有字符

[0-9] 数字字符

那我们可以对十一个字段进行正则匹配

(\"[^ ]*\") (\"-|[^ ]*\") (\"[^}]*\") (\"[^}]*\") (\"[0-9]*\") (\"[0-9]*\") (-|[^ ]*) (\"[^ ]*\") (\"[^}]*\") (\"-|[^ ]*\") (\"[^ ]*\")

重新创建表

CREATE TABLE nginx_log_reg(

remote_addr string,

remote_user string,

time_local string,

request string,

status string,

body_bytes_sent string,

request_body string,

http_referer string,

http_user_agent string,

http_x_forwarded_for string,

host string

)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'

WITH SERDEPROPERTIES (

"input.regex" = "(\"[^ ]*\") (\"-|[^ ]*\") (\"[^}]*\") (\"[^}]*\") (\"[0-9]*\") (\"[0-9]*\") (-|[^ ]*) (\"[^ ]*\") (\"[^}]*\") (\"-|[^ ]*\") (\"[^ ]*\")"

)

STORED AS TEXTFILE;

导入数据

load data local inpath '/data/test/access.log' into table nginx_log_reg ;

接下来进行数据清洗（ETL阶段、字段截取、格式转化）

分析：

（1）双引号对于数据分析没有太多的作用，就可以考虑去除双引号

（2）时间字段的格式转换，比如"31/Aug/2015:00:04:37 +0800"转换为2015-08-31 00:04:37 或者 20150831000437

（3）对于某些字段进行优化 ，去除不必要的部分 比如："GET /course/view.php?id=27 HTTP/1.1" 截取为 course/view.php

这样可以查看页面的访问流量，统计数据 ，或者做网站基本的流量分析统计（用户行为数据：点击、搜索）

（4）获取当前页面的前一个页面，也就是链入地址

（5）客户端信息：获取用户用的浏览器版本，用户的操作系统，版本

主要掌握思路，这里根据之前所学，完成衣蛾自定义日期格式转换 UDF

创建类

完成代码

主方法测试下

导出jar包

上传包

将包导入

add jar /data/test/hiveconvdate.jar;

创建函数

create temporary function pdate as 'com.xlglvc.xxx.mapredece.hiveudf.TestDataFormat';

查询数据

select pdate(time_local) from nginx_log_reg limit 10;