栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Matlab-爬取论文数据

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Matlab-爬取论文数据

现在网上的爬虫程序很多,但大多不实用!今天,我们以爬取论文数据为例了解Matlab爬虫!

首先,明确我们要爬取什么数据!如下图,第一张图片表示年积日,第二张图片表示第一天里有哪些数据,我们打算爬取一年的ionPrf数据!

1.首先构造网址,分别是:

‘https://data.cosmic.ucar.edu/gnss-ro/cosmic1/postProc/level2/2016/001/’

…

‘https://data.cosmic.ucar.edu/gnss-ro/cosmic1/postProc/level2/2016/365/’

the_url='https://data.cosmic.ucar.edu/gnss-ro/cosmic1/postProc/level2/2016/';
for i=1:365
    doy=sprintf('%03d',i);
    url=[the_url,doy,'/'];
end

2.读取页面源代码

contents=webread(url);

3.解析页面源代码

hT=htmlTree(contents);

4.从hT中寻找...

A_label=findElement(hT,'a');

5.获取链接

url_download=getAttribute(A_label,'href');

6.找到ionPrf文件在数组里的位置,然后提取出来

flag=cellfun(@isempty,regexp(url_download,'ionPrf'));
url_download=url_download(~flag);

7.组合网页链接

url_download=url+url_download;

结果示例:https://data.cosmic.ucar.edu/gnss-ro/cosmic1/postProc/level2/2016/001/ionPrf_postProc_2016_001.tar.gz

8.下载数据

% filename自己设置,这里不展开
websave(filename,url_download);

完整代码:见面包多

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/915786.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号