Java爬取百度云观测对网站的检测数据,获取子域名及域名的安全信息

soゝso 2020-03-31 20:12:21 2503

百度云观测有对域名的检测还比较全面。下面我们来抓取下内容看看。


Java抓取代码

直接上代码,HTTP工具类暂时不能提供给您,您随便自己请求就可以了,只要能通,能返回数据。

//获取子域名 & 子域名评分
public List<DomainCheckInfoDto.SSLDomain> SSLDomains(String surl){
    String domain = StringUtils.getHost(surl);

    surl = String.format("http://ce.baidu.com/index/getRelatedSites?site_address=%s", StringUtils.strToUrlcode(surl))      ;

    List<DomainCheckInfoDto.SSLDomain> domainList = new ArrayList<>();
    String res = Http.create(surl).
            head("Accept", "application/json, text/javascript, */*; q=0.01")
            .head("Accept-Encoding", "gzip, deflate")
            .head("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8")
            .head("Cache-Control", "no-cache")
            .head("Connection", "keep-alive")
            .head("Cookie", "您的百度登录Cookie")
            .head("Host", "ce.baidu.com")
            .head("Pragma", "no-cache")
            .head("Referer", String.format("http://ce.baidu.com/index/guance?start_url=%s", domain))
            .head("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36")
            .head("X-Requested-With", "XMLHttpRequest")
            .timeout(3)
            .readTimeout(3)
            .get().send().getResponse().getResult();
    if(StringUtils.isNotBlank(res) ){

        JSONObject json = JSONObject.fromObject(res);
        int code = json.optInt("code", 1);
        if(0 == code){//成功
            JSONArray data = json.optJSONArray("data");

            //最多弄10个域名,有的时候子域名太多了
            for (int i = 0; i < data.size() && i< 10; i++) {
                Object datum = data.get(i);
                JSONObject target = null;
                if(datum instanceof  JSONObject){
                    target = (JSONObject)datum;
                }else{
                    target = JSONObject.fromObject(datum);
                }
                DomainCheckInfoDto.SSLDomain sslDomain = new DomainCheckInfoDto.SSLDomain(target);

                domainList.add(sslDomain);
            }

        }
    }
    return domainList;
}

然后里面有一个实体类:

@Data
@AllArgsConstructor
@NoArgsConstructor
public static class SSLDomain{
    //分值
    private int  score;
    //域名
    private String  domain;

    public SSLDomain(JSONObject obj){
        this.score = obj.optInt("score", 60);
        this.domain = obj.optString("domain", "");
    }
}

数据返回:

{
    "attackSSL":{
        "name":"攻击风险",
        "score":75,
        "scoreDelta":0
    },
    "cateId":"medial",
    "cateName":"影视音乐",
    "cateScore":60,
    "domainLastScore":54,
    "domainSize":10,
    "domsins":[
        {
            "domain":"air.sojson.com",
            "score":84
        },
        {
            "domain":"api.sojson.com",
            "score":54
        },
        {
            "domain":"css.sojson.com",
            "score":80
        },
        {
            "domain":"fm.sojson.com",
            "score":80
        },
        {
            "domain":"icp.sojson.com",
            "score":94
        },
        {
            "domain":"js.sojson.com",
            "score":65
        },
        {
            "domain":"m.sojson.com",
            "score":80
        },
        {
            "domain":"open.sojson.com",
            "score":90
        },
        {
            "domain":"sojson.com",
            "score":90
        },
        {
            "domain":"t.weather.sojson.com",
            "score":80
        }
    ],
    "envSSL":{
        "name":"网站服务",
        "score":40,
        "scoreDelta":0
    },
    "historySSL":{
        "name":"网站历史安全",
        "score":100,
        "scoreDelta":0
    },
    "id":"17bb1d64a239c585",
    "rank":0,
    "realtimeSSL":{
        "name":"网站恶意内容",
        "score":75,
        "scoreDelta":0
    },
    "synopsis":73,
    "updatedTime":"2020-03-31 17:51:27"
}

这个是查询SOJSON.COM的结果


版权所属:SO JSON在线解析

原文地址:https://www.sojson.com/blog/361.html

转载时必须以链接形式注明原始出处及本声明。

本文主题:

如果本文对你有帮助,那么请你赞助我,让我更有激情的写下去,帮助更多的人。

关于作者
一个低调而闷骚的男人。
相关文章
Java获取域名Java从URL地址中获取域名Java从Request 获取域名
根据域名获取IP地址,Java 获取域名的IP地址
Java 正则获取一级域名
HttpClient获取访问域名的真实ip,HttpClient请求获取目标IP地址
Javascript 判断域名合法性,JS域名格式检测
域名备案注意事项,网站域名ICP备案快速通过攻略【干货分享】
查询任意一个域名是否是阿里备案接入 API
Java 实现多个二级域名访问同一个Tomcat(系统)。
IE、Firefox对同一域名访问并发限制,及解决优化方案
正则从URL中提取一级域名,支持大部分域名
最新文章
使用七牛云存储实现图片API,自动删除图片方案合集 978
神速ICP备案经验分享,ICP备案居然一天就通过了 2120
百度加强推送URL链接,百度SEO强行推送链接JavaScript代码案例讲解。 2838
SOJSON 拓展服务器被DDos攻击了一晚上,是如何解决的? 3152
湖南地区备案“新增网站需提交组网方案或解释说明”,关于备案做简单叙述 3216
企查查你是个什么企业,骗子的帮凶,诈骗的集中营,通过企查查骚扰企业电话不断,为所欲为的企查查 9471
Java爬取百度云观测对网站的检测数据,获取子域名及域名的安全信息 2503
【2020年】百度搜索词获取,获取百度搜索的关键词【真实有效】 6794
Nodejs环境安装,Nodejs环境安装一篇就够了 1769
iOS版淘宝打开提示“您使用的程序是内测版本,将于2020-03-28到期,到期将无法使用,请尽快下载最新版本” 2480
最热文章
苹果电脑Mac怎么恢复出厂系统?苹果系统怎么重装系统? 430149
我为什么要选择RabbitMQ ,RabbitMQ简介,各种MQ选型对比 416853
免费天气API,全国天气 JSON API接口,可以获取五天的天气预报 349924
最新MyEclipse8.5注册码,有效期到2020年 (已经更新) 308914
免费天气API,天气JSON API,不限次数获取十五天的天气预报 285608
Elasticsearch教程(四) elasticsearch head 插件安装和使用 220041
Jackson 时间格式化,时间注解 @JsonFormat 用法、时差问题说明 174970
谈谈斐讯路由器劫持,你用斐讯路由器,你需要知道的事情 135841
Elasticsearch教程(一),全程直播(小白级别) 118925
Elasticsearch教程(五) elasticsearch Mapping的创建 98610

骚码加入我们 / 千人QQ群:259217951

入群需要5元为的是没有垃圾广告,如果没有QQ钱包,可以加群主拉进。

二维码生成 来自 >> 二维码生成器

支付扫码

所有赞助/开支都讲公开明细,用于网站维护:赞助名单查看

查看我的收藏

正在加载... ...