jsoup

JSOUP 教程，JSOUP请求JSON ，JSOUP返回JSON 数据

最近在使用 JSOUP 作为爬虫爬取数据，在用习惯了 JSOUP 后，因为那种链式结构，非常喜欢，故想用它来请求接口，构造请求头的时候非常方便。其实它必须是支持的，因为底层使用的还是 HttpConnection 做为处理的。
JSOUP教程，JSOUP 乱码处理，JSOUP生僻字乱码解决方案

JSOUP乱码情况产生这几天我用 JSOUP 多线程的方式，爬取了200 多万数据，数据为各地的地名相关。结果有小部分数据，不到 1 万乱码。我先检查了我的编码为UTF-8 ，觉得应该没有问题。代码基本如下如下： try{ doc = Jsoup.connect(url) .header("User-Agent", "Mozill...
JSOUP 教程，JSOUP爬虫教程，JSOUP超时分析与处理

JSOUP ，在我很久以前把它和 htmlparser 做了对比，而又用 JSOUP 来获取 JSON 数据，最近在使用 JSOUP 爬取一个网站的内容，发现几个问题，解决后并且分享一下。JSOUP 超时分析与处理下面说说超时的发现，有可能出现超时的原因，以及超时处...
JSOUP教程，JSOUP的正确打开姿势。

JSOUP 我目前正在使用，所以多做下记录，后面会单纯针对选择器做下集中讲解。当篇博客只记录下友好的 JSOUP 打开方式。我们一般采用这种方式： try{ doc = Jsoup.connect(url) .header("User-Agent", "Mozilla/5.0 (Windows NT 6.1...
JSOUP 教程—— Java爬虫，简易入门，秒杀htmlparser

关于爬虫之前一直用做第一个站的时候记得那时候写的爬虫是爬 sina 的数据用的就是 htmlparser 可能是由于好奇和满足我当时的需求那开始就各种写啊一个页面把需要的内容处理下来复杂的写完后不写注释自己都看不懂一直我也知道 JSOUP 好也感觉没空学习新的爬虫完全是借口啊最近我试了一下用 JSOUP...
Jsoup 提交参数乱码，解决思路，解决过程及解决方案

最近在开发ICP备案查询网，为了保持运行的稳定性，虽然我已经拥有不用验证码的ICP备案查询：https://www.sojson.com/beian/但是还是不能放弃域名（www.xbeian.com），故开发一套产品出来。下面来一个不成型的界面当封面图吧。废话不说了，开始这篇的分享内容。需求介绍1.从工信部页面（“http://www.beian.miit.gov.cn/icp/publish/...
Java爬虫，Jsoup 爬取大众点评、美团商家信息电话号码解决方案

今天有群内有同学问怎么爬取大众点评商家信息，尤其是电话号码，我看了下。发现是反爬虫的。分析大众点评Dom信息从百度快照分析大众点评使用了一种常见的把自定义字符来解决的。Jsoup 从百度快照抓取“大众点评”信息直接上代码了，采用的是 Jsoup ，这个需要效率，并发等等，请自己解决，这个只是一个栗子。