Screaming frog是最好用的爬蟲模擬軟件/工具，它可以快速爬取你整站的URL，分析TDK、狀態碼、http、重定向、文件大小、內鏈數、SERP等等。他是On-page的非常好的工具。免費版可以抓取500鏈接，對于一般的網站也夠用。

Screaming frog的功能

1、文件類別（html、javascript、css、image、pdf、flash、other）；

2、HTTP 狀態碼（Status Code）；

3、Page Title 和Page Title 的長度；

4、Meta Description 和Meta Description 的長度；

5、Meta Keywords 和Meta Keywords 的長度；

6、H1 和H1 的長度；

7、H2 和H2 的長度；

8、Canonical URL；

9、文件大小：網址和圖片的大小。

Screaming
frog可以讓蜘蛛在網頁上不斷的搜索需要的資源，可以設置搜索的一個主要網頁地址，并設置自定義分析擴展頁面的功能，這樣軟件就會自動在一個網站上分析幾十個、上百個網頁界面，通過Screaming
Frog SEO
Spider分析以后，就可以得到自己需要的數據，同時也可以通過抓取的功能測試網頁的性能，分析一切無法響應的網頁，分析打開具有病毒提示的網頁，另外該軟件還支持使用XPath提取數據，所以只要你的網站結構簡練就不必擔心在抓取時可能會出現錯漏問題，無論是檢測企業網站還是搜索網絡的資源都是非常方便的