
本站推荐电影
本站推荐电视剧
电影下载排行
电视剧下载排行

一 |
阿里云优惠券 先领券再下单 前面有写过一篇瀑布流的采集方法,今天在添加一个POST方法来采集Ajax刷新页面的教程。 新的一周,天气也将迎来新变化。 之前的文章请看:火车头采集动态加载Ajax数据(无分页瀑布流网站) 如果遇到POST方法来架子Ajax数据,这和我之前写的是两个类型,瀑布流是直接刷新出数据的页面。

二 | 杭州在经历了连续几天的强降雨后,昨天终于进入尾声。 采集网站分析 采集任何一个新站前我们都要对他进行一番分析才好下手。 列表页分析 这个网站的列表页,前面并不是通过Ajax加载的。CTRL+U可以直接看到列表内容,通过浏览器也看不到相关请求地址。



三 | 然后顺手CTRL+U看看网站代码结构有没有大的变化。防止后期采集出错。今天起,副热带高压加强西伸,杭州将从前几天较大范围的阵雨或雷雨天气,转为以午后分散性雷阵雨为主,天气也将逐渐回归夏日熟悉的节奏。结果就发现无法看到列表内容。浏览器可以看到一个通过post请求的地址。



四 | 最后找到大概从2200页左右开始Ajax加载。浙江省气象服务中心预计,随着副热带高压加强西伸,低层偏东气流趁机输送水汽,18日至19日沿海地区多阵雨或雷雨“打卡”;其他地区则维持“多云+午后雷阵雨”的夏日经典配方。 那我们采集的时候,前面的列表页就可以使用普通方式去采集(速度更快)。 2200页开始到尾页就通过post请求Ajax页面数据。 抓包获取Post数据 这个Ajax地址我在浏览器看不到任何跟页码有关的数据。

五 | 最后只能使用抓包工具看一下详细的请求内容了。20日至22日,受季风倒槽影响,浙南和沿海地区的雨水“排班”依然密集,阵雨或雷雨不时来“报到”。熬到23日,随着副热带高压继续加强,雨水终于肯“休假”了,全省统一切换为“多云+午后分散性雷阵雨”模式,洗晒出行都能从容不少。


六 | 查看分析Post数据 Ctrl+F 我们搜索那个Ajax地址



七 |




八 | 我们访问6139页时,currentPageIndex值是6138。

九 | 雨水“退居二线”,高温就准备“补位上岗”。19日起,全省除沿海地区外,大部分地区最高气温将重返34~36℃,暑气卷土重来。好在这次高温还算“低调”,没有一上来就大张旗鼓地“霸屏”,不过闷热感可一点没打折,黏糊糊的体感照样“在线”,大家防暑降温的功课还得继续做足。 这就找到了规律,我们打开火车头采集器。另外,海上或仍有台风酝酿。 火车头采集器配置分页设置 起始网址填入Ajax请求地址






十 | 另外西北太平洋上,有两个热带扰动92W和93W。 页面地址是从2200到6140,上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.


十一 | 相对偏东,距离我们更远的92W,未来有可能发展为新的台风;相对偏西的93W,目前结构不对称,中心附近对流弱,北侧对流强,后期很难发展成型。 打开浏览器F12开发工具,预览一下Ajax获取的内容。科普一下台风和飓风到底有什么区别?从形成的原理来看,台风和飓风是一样的,都是热带气旋大家族的成员,只是出生地和活动区域不同。台风主要是指在西北太平洋和南海生成及活动的热带气旋;飓风是指在中东太平洋和北大西洋上生成及活动、并达到一定强度的热带气旋。





十二 | 教程在测试时因为开的线程较多,频率过高导致对方网站开启了防CC设置。拉黑了我一个服务器IP,此教程写完用了两台服务器。

十三 | 我们实际采集可以只开1个线程,并设置合适的间隔时间,比如1000ms到1500ms左右。 本文来自2号站长网,转载请注明出处:https://www.zz2zz.com/331414.html
申请创业报道,分享创业好点子。

十四 | 点击此处,共同探讨创业新机遇!。
Current article:http://acbmn.chaochangkuanbandangyogeseng.sbs/ues/41o0u.html
Published on:00:00:00