蔚可云业务安全（Bot Guard）产品，依托于服务商分布式的云安全防护体系形成Bot管理网络，基于情报库、访问控制、客户端特性验证、蜜罐陷阱诱导、人机交互验证、机器学习等智能识别与检测技术，对业务流量进行实时检测和分析，智能识别与区分真实用户流量、善意 Bot流量与恶意 Bot 流量，针对不同Bot流量采用合理的管理策略，保障企业业务稳定运行，保持竞争优势。

一、Bot Guard爬虫管理产品架构

二、产品功能

蔚可云提供的Bot Guard产品，是依托于大数据分析技术，对业务请求进行检测与分析，智能识别出真实用户、善意Bot以及恶意Bot流量。
1.动态情报库
包括威胁情报库和善意Bot白名单库，最大限度提高Bot识别效率。
（1）威胁情报库
通过威胁情报来消除攻防博弈过程中的不对等，通过大数据分析技术，基于内置的评分机制对历史事件进行威胁分析，发现黑产信息进行事前防御；事件触发性，持续更新威胁情报库。
（2）善意Bot库
善意Bot(如搜索引擎爬虫)一般会在HTTP头的UA中标识自己的身份，便于网站识别，但这类特征也较易模仿伪造，因此不能将此类特征作为识别善意Bot的唯一依据。Bot Guard通过反解技术识别善意Bot特征，形成善意Bot库，快速区分真实/伪造善意Bot程序。
2.访问控制
（1）访问频控
限制客户端在单位时间周期内对指定URL的访问次数，超过设定阈值后，限制该客户端的后续请求。
（2）状态码频控
限制客户端在单位时间周期内对指定状态码的访问次数，超过设定阈值后，限制该客户端的后续请求。
（3）黑白名单管理
支持基于IP、URL、User-agent、HTTP请求头、区域的多维度访问控制策略，满足客户的各类不同应用场景的访问控制需求。
3.客户端特性验证
Bot程序与正常用户客户端在特征上存在差异点，通过多维度验证客户端特征，进而识别区分正常用户和Bot工具，对于非正常客户端特征的请求按指- 定处理动作进行处理。同时CFC基于客户端唯一标识作为统计粒度，有效解决NAT等多用户单出口环境下基于IP统计粒度造成的误杀或漏杀问题。
4.蜜罐陷阱诱导
Bot程序为了尽可能多抓取目标网站的信息，在抓取网页的过程中会不断从当前页面中识别抓取新的URL放入爬取目标中。利用该特性在页面中布设“陷阱”诱导Bot访问，进而识别出恶意Bot。
5.人机交互验证
由于图片验证码识别难度的增加，采用该方式进行Bot检测会对用户体验产生极大影响。为了能够在不影响用户体验的基础上识别Bot程序与正常用户，Bot Guard以行为分析为基础建立用户行为模型，并为每个客户端添加事先设计好的交互场景，诱导用户下意识地进行简单的操作(如鼠标移动、键盘敲击等)，通过客户端用户的行为数据进行监测分析是否为正常的用户反应，从而识别出Bot程序与正常用户。
6.机器学习
云安全平台日均TB级数据，拥有海量访问数据及攻防样本，将海量数据汇总到大数据机器学习集群中，通过内置WML算法进行动态建模，结合多维度、上下文内容分析，以识别最新型的Bot特征。