亚洲必赢app在哪下载10分钟搭建MySQL Binlog分析+可视化方案

By admin in 亚洲必赢app在哪下载 on 2018年11月12日

摘要: 日志服务 最近于原始30+栽多少搜集渠道 基础及,新增MySQL
Binlog、MySQL
select等数据库方案,仍然主打快捷、实时、稳定、所表现即所得之特色。
以下我们坐用户登录数据库作为案例,演示如何以10分钟内手把手完成从binlog采集到查询、告警、搭建报表等都经过,满足各个老板们的要求。

日志服务 最近于原本30+栽多少搜集渠道 基础及,新增MySQL Binlog、MySQL
select等数据库方案,仍然主打快捷、实时、稳定、所见即所得之特点。

以下我们以用户登录数据库作为案例。公司内生多的食指依让用户登录数及该衍生出的连带数据:

        老板要拘留大屏,每天UV、PV增长当哪?

        安全而监督登录是否生,现在用户账户是否遭遇集体攻击?

        客户有点二接到用户反馈,如何实时查询用户登录信息?

        BI需要分析用户作为,数据解析哪些干用户登录数?

        审计上门了,请将你3年前用户的记名数将出去吧?

亚洲必赢app在哪下载 1

连接下我们拿演示如何当10分钟内手把手完成从binlog采集到查询、告警、搭建报表等都经过,满足各个老板们的要求:

1.MySQL Binlog采集

2.关键字段索引+统计设置

3.针对特别账号进行查询分析

4.对准充分登录进行报警

5.部署可视化仪表盘

6.针对性历史登录信息备份以备数据审计

环境准备

数据库

mysql类型数据库(使用mysql协议,例如RDS、DRDS等),数据库被binlog,且配置binlog类型为ROW模式(RDS默认开启)

用户登录表结构

亚洲必赢app在哪下载 2

用户登录表中记录了登录id、登录时、登录ip、登录设备、用户id、登录结果、连续签到失败次数、下一致次于校验类型等消息。其中登录验证规则如下:

健康情况才验证账号密码匹配

倘用户连续签到失败过3软还是手上ip和上次登录ip不在相同省,下次报到将弹出验证码

要用户连续签到失败过5潮,则下次登录将运用手机验证码

用户登录时表的翻新方案

        方案1: 

老是用户登录,在user_login中初添一漫漫记下,记录报到的ip、设备项目、时间信息

        方案2: 

设想到用户数量非常多,如果老是用户登录都在user_login中初长一长条记下,数据量会怪特别,所以每次用户登录时,只会因usr_id更新update表中的数目

对此方案1,优点是数据库被保存了独具用户之报到信息,缺点是user_login表会设有爆掉的问题,需要定期去历史的数量;对于方案2,优点是user_login表的深浅可控,缺点是会见掉历史用户之报到信息。

此我们推荐应用方案2+logtail binlog采访组成最美好的方案3:用户最近同等次于登录信息仍旧保存在数据库中,通过logtail的binlog功能采集user_login表,logtail会将表中的历次修改事件及盛传日志服务,日志服务着之数据只是安装保存时,超时自动删除。同时于日记服务被,可以本着实时收集上的数目进行查询、统计、查看报表、监控告警,也支持将数据联网下游流计算、导入Max
Compute/OSS等。

亚洲必赢app在哪下载 3

亚洲必赢app在哪下载 4

数码收集

安装logtail

据悉文档安装logtail,确认版本号在0.16.0与以上。若低于0.16.0本子要根据文档提示升级至新型版本。

采访配置

当日记服务控制台创建一个新的Logstore,采集向导中摘由盖软件中的Mysql
binlog

亚洲必赢app在哪下载 5

于布局页面中输入binlog采集配置,如下:

亚洲必赢app在哪下载 6

注意:

        数据库开启binlog且也ROW模式(RDS默认支持),使用的账户所有mysql
slave权限以及用募的数据表的select权限。

        binlog支持IncludeTables和ExcludeTables过滤,格式均为正则表达式

        其他请参考binlog采集中采取范围

建立目录

布利用及机器组后,进入索引查询配置页面。在键值索引属性中配备为下索引项:

亚洲必赢app在哪下载 7

多少预览

以配置1分钟后,点击预览可以看到状态数据已募集上(logtail的binlog采集会额外上传数操作类型、GTID等信息):

    对于修改的波,Logtail会同时收集修改前同修改后的数额,修改前的数额以old_发端。因此我们可根据修改前后的数据相比寻找登录ip变化的有关记录。

亚洲必赢app在哪下载 8

留神:
若无多少,请检查部署是否也官方json;若配置正常,请参见数据收集很排查文档自助排查

自打定义查询及分析

暨这等同步我们即便可满足客服与BI的急需了:查询/关联查询。例如:

        用户反馈账号信息于篡改了,客服通过日记服务,查询该用户从上次报到到今日底登录信息:login_id
: 256525,发现中间有同漫长登录日志;继续查询登录地址login_id : 256525 |
select ip_tp_province(login_ip) as login_province,
ip_tp_country(login_ip) as
login_country,发现是以国外登录的,因此大有或该用户账号泄漏或于一锅端了。

        用户反馈自己的账号被限制登录了,客服通过日记服务,查询该用户限制登录前的连锁登录信息:login_id
: 256525 | select ip_tp_province(login_ip) as login_province,
login_result, count(1) as total group by
(login_province,login_result) order by total desc limit
100,发现该用户以差不多只省老登录失败了异常频繁。

询问有关以帮助参见日志服务查询

用户登录大盘

今日咱们来搭建CEO要的大盘,先准备一些基础之统计信息:

        统计一天之UV&PV

亚洲必赢app在哪下载 9

        查看登录设备分布

亚洲必赢app在哪下载 10

翻开登录设备分布

亚洲必赢app在哪下载 11

统计地理位置分布

出于老的数目遭到从来不用户登录的地理位置分布信息,但我们可以通过ip地址定位及用户登录的探视购买,这里我们采用日志服务自带的ip地址转换函数(具体参见分析语法IP识别函数章节)

        统计top10的city(使用ip_to_city)

亚洲必赢app在哪下载 12

        统计省份分布(使用ip_tp_province)

亚洲必赢app在哪下载 13

用户登录大盘搭建

据悉达一致节省的统计结果,我们搭建起了用户登录信息的仪表盘,可以往CEO汇报了。

仪表盘搭建参见日志服务仪亚洲必赢app在哪下载表盘设置

亚洲必赢app在哪下载 14

良登录告警

酷登录都见面来误判的可能性,因此正常情形下会发少部分格外登录的状,但怪登录占比较要自愧不如1%。这里我们呢用户登录设置一个不胜登录的告警:若当好登录占总登录的1%则触发告警。

亚洲必赢app在哪下载 15

以该查询存为快速查询abnormal_login,并安装告警。

        告警设置参见日志服务告警设置

亚洲必赢app在哪下载 16

数据备份

用户登录数,一般提议于日记服务存储一段时间(30天、半年、1年抵)用于实时的查询和分析,但对历史数据还欲保留下去,便于后续之审计、大数据挖掘与分析等。这里我们用日志服务之送功能,将数据投递到OSS进行长期的存档存储。审计员来了相思看有点年前之数都产生!

亚洲必赢app在哪下载 17

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图
Copyright @ 2010-2018 亚洲必赢app官方下载 版权所有