Java爬取百度云观测对网站的检测数据,获取子域名及域名的安全信息

JSON 2020-03-31 20:12:21 7149

百度云观测有对域名的检测还比较全面。下面我们来抓取下内容看看。


Java抓取代码

直接上代码,HTTP工具类暂时不能提供给您,您随便自己请求就可以了,只要能通,能返回数据。

//获取子域名 & 子域名评分
public List<DomainCheckInfoDto.SSLDomain> SSLDomains(String surl){
    String domain = StringUtils.getHost(surl);

    surl = String.format("http://ce.baidu.com/index/getRelatedSites?site_address=%s", StringUtils.strToUrlcode(surl))      ;

    List<DomainCheckInfoDto.SSLDomain> domainList = new ArrayList<>();
    String res = Http.create(surl).
            head("Accept", "application/json, text/javascript, */*; q=0.01")
            .head("Accept-Encoding", "gzip, deflate")
            .head("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8")
            .head("Cache-Control", "no-cache")
            .head("Connection", "keep-alive")
            .head("Cookie", "您的百度登录Cookie")
            .head("Host", "ce.baidu.com")
            .head("Pragma", "no-cache")
            .head("Referer", String.format("http://ce.baidu.com/index/guance?start_url=%s", domain))
            .head("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36")
            .head("X-Requested-With", "XMLHttpRequest")
            .timeout(3)
            .readTimeout(3)
            .get().send().getResponse().getResult();
    if(StringUtils.isNotBlank(res) ){

        JSONObject json = JSONObject.fromObject(res);
        int code = json.optInt("code", 1);
        if(0 == code){//成功
            JSONArray data = json.optJSONArray("data");

            //最多弄10个域名,有的时候子域名太多了
            for (int i = 0; i < data.size() && i< 10; i++) {
                Object datum = data.get(i);
                JSONObject target = null;
                if(datum instanceof  JSONObject){
                    target = (JSONObject)datum;
                }else{
                    target = JSONObject.fromObject(datum);
                }
                DomainCheckInfoDto.SSLDomain sslDomain = new DomainCheckInfoDto.SSLDomain(target);

                domainList.add(sslDomain);
            }

        }
    }
    return domainList;
}

然后里面有一个实体类:

@Data
@AllArgsConstructor
@NoArgsConstructor
public static class SSLDomain{
    //分值
    private int  score;
    //域名
    private String  domain;

    public SSLDomain(JSONObject obj){
        this.score = obj.optInt("score", 60);
        this.domain = obj.optString("domain", "");
    }
}

数据返回:

{
    "attackSSL":{
        "name":"攻击风险",
        "score":75,
        "scoreDelta":0
    },
    "cateId":"medial",
    "cateName":"影视音乐",
    "cateScore":60,
    "domainLastScore":54,
    "domainSize":10,
    "domsins":[
        {
            "domain":"air.sojson.com",
            "score":84
        },
        {
            "domain":"api.sojson.com",
            "score":54
        },
        {
            "domain":"css.sojson.com",
            "score":80
        },
        {
            "domain":"fm.sojson.com",
            "score":80
        },
        {
            "domain":"icp.sojson.com",
            "score":94
        },
        {
            "domain":"js.sojson.com",
            "score":65
        },
        {
            "domain":"m.sojson.com",
            "score":80
        },
        {
            "domain":"open.sojson.com",
            "score":90
        },
        {
            "domain":"sojson.com",
            "score":90
        },
        {
            "domain":"t.weather.sojson.com",
            "score":80
        }
    ],
    "envSSL":{
        "name":"网站服务",
        "score":40,
        "scoreDelta":0
    },
    "historySSL":{
        "name":"网站历史安全",
        "score":100,
        "scoreDelta":0
    },
    "id":"17bb1d64a239c585",
    "rank":0,
    "realtimeSSL":{
        "name":"网站恶意内容",
        "score":75,
        "scoreDelta":0
    },
    "synopsis":73,
    "updatedTime":"2020-03-31 17:51:27"
}

这个是查询SOJSON.COM的结果


版权所属:SO JSON在线解析

原文地址:https://www.sojson.com/blog/361.html

转载时必须以链接形式注明原始出处及本声明。

本文主题:

如果本文对你有帮助,那么请你赞助我,让我更有激情的写下去,帮助更多的人。

关于作者
一个低调而闷骚的男人。
相关文章
Java百度观测网站检测数据获取域名域名安全信息
Java获取域名Java从URL地址中获取域名Java从Request 获取域名
根据域名获取IP地址,Java 获取域名的IP地址
Java 正则获取一级域名
HttpClient获取访问域名的真实ip,HttpClient请求获取目标IP地址
Javascript 判断域名合法性,JS域名格式检测
【2020年】百度搜索词获取获取百度搜索的关键词【真实有效】
域名备案注意事项,网站域名ICP备案快速通过攻略【干货分享】
查询任意一个域名是否是阿里备案接入 API
Java 实现多个二级域名访问同一个Tomcat(系统)。
最新文章
Golang 常见设计模式之单例模式 5651
两招提升硬盘存储数据的写入效率 4037
【程序员的实用工具推荐】 Mac 效率神器 Alfred 3420
自媒体时代的贤内助——AI 视频云 3294
如何处理大体积 XLSX/CSV/TXT 文件? 2180
AI 视频云 VS 窄带高清,谁是视频时代的宠儿 1982
Golang 常见设计模式——装饰模式详细讲解 3812
Flink 在又拍云日志批处理中的实践 17182
个推异常值检测和实战应用-又拍云 4634
TCP 和 UDP协议详细讲解,优缺点分析讲解 13813
最热文章
苹果电脑Mac怎么恢复出厂系统?苹果系统怎么重装系统? 670531
最新MyEclipse8.5注册码,有效期到2020年 (已经更新) 646549
免费天气API,全国天气 JSON API接口,可以获取五天的天气预报 567973
Jackson 时间格式化,时间注解 @JsonFormat 用法、时差问题说明 530781
我为什么要选择RabbitMQ ,RabbitMQ简介,各种MQ选型对比 504933
Elasticsearch教程(四) elasticsearch head 插件安装和使用 473939
免费天气API,天气JSON API,不限次数获取十五天的天气预报 443151
Java 信任所有SSL证书,HTTPS请求抛错,忽略证书请求完美解决 239383
Jackson 美化输出JSON,优雅的输出JSON数据,格式化输出JSON数据... ... 226130
谈谈斐讯路由器劫持,你用斐讯路由器,你需要知道的事情 217760
支付扫码

所有赞助/开支都讲公开明细,用于网站维护:赞助名单查看

查看我的收藏

正在加载... ...