博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
关于这几天学爬视频链接的一些感想
阅读量:5308 次
发布时间:2019-06-14

本文共 491 字,大约阅读时间需要 1 分钟。

首先我是想用java来爬的,可用url爬下来的代码不是加载js后的代码。之后在网上搜着怎么爬加载js后的代码。很多人说htmlunit,可是最终无果,可能是我自己不会用。之后试着在学校内网爬。爬内网下来的直接就有地址,但是需要模拟js的unescape函数。之后发现了用js可以很简单的获取视频的地址,但缺点就是需要播放那个视频,这样很麻烦。于是我就继续探索。之后用python,然后发现了phantomojs,但还是无果。最终在网上找到了一个获取慕课网视频链接的源代码,它用scrapy,但最终发现关键的代码只有http://www.imooc.com/course/ajaxmediainfo/?mid={}这行。最终我才明白了有些视频链接需要抓包分析。中国大学mooc的视频链接可以从http://www.icourse163.org/dwr/call/plaincall/CourseBean.getLessonUnitLearnVo.dwr这个下手,不过需要传递一些参数。

转载于:https://www.cnblogs.com/vi-luo/p/5023714.html

你可能感兴趣的文章
Hallo wolrd!
查看>>
16下学期进度条2
查看>>
Could not resolve view with name '***' in servlet with name 'dispatcher'
查看>>
Chapter 3 Phenomenon——12
查看>>
和小哥哥一起刷洛谷(1)
查看>>
遇麻烦,Win7+Ubuntu12.10+Archlinux12.10 +grub
查看>>
SqlBulkCopy大批量导入数据
查看>>
pandas 修改指定列中所有内容
查看>>
「 Luogu P2285 」打鼹鼠
查看>>
lua语言入门之Sublime Text设置lua的Build System
查看>>
vue.js基础
查看>>
电脑的自带图标的显示
查看>>
[转载] redis 的两种持久化方式及原理
查看>>
C++ 删除字符串的两种实现方式
查看>>
ORA-01502: 索引'P_ABCD.PK_WEB_BASE'或这类索引的分区处于不可用状态
查看>>
Java抽象类和接口的比较
查看>>
开发进度一
查看>>
MyBaits学习
查看>>
管道,数据共享,进程池
查看>>
CSS
查看>>