您可以使用ghost.py直接与页面上的JavaScript交互,而不必尝试进行反向工程。
如果您在chrome控制台中运行以下查询,则会看到该查询返回您想要的所有内容。
document.getElementsByClassName('inline-text-org');
退货
[<div class=?"inline-text-org" title=?"University of Manchester">?University of Manchester?</div>,
<div class=?"inline-text-org" title=?"University of California Irvine">?University of California ...?</div>?
etc...
您可以使用ghost.py在真实的DOM中通过python运行JavaScript 。
这真的很酷:
from ghost import Ghost
ghost = Ghost()
page, resources = ghost.open('http://academic.research.microsoft.com/Search?query=lander')
result, resources = ghost.evaluate(
"document.getElementsByClassName('inline-text-org');")