搜索引擎蜘蛛 UA 大全
汇总主流搜索引擎爬虫的 User-Agent,并支持粘贴 UA 一键识别是哪个蜘蛛。
共 24 个
百度蜘蛛Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)百度搜索 · 网页收录
百度图片蜘蛛Mozilla/5.0 (compatible; Baiduspider-image/2.0; +http://www.baidu.com/search/spider.html)百度图片
百度移动蜘蛛Mozilla/5.0 (Linux; Android) Baiduspider-mobile百度移动端
谷歌蜘蛛Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Google 搜索 · 网页收录
谷歌图片蜘蛛Googlebot-Image/1.0Google 图片
谷歌移动蜘蛛Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Mobile/15E148 Safari/604.1 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Google 移动端
必应蜘蛛Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)Bing 搜索
必应预览Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362 BingPreviewBing 页面预览
360 蜘蛛Mozilla/5.0 (compatible; 360Spider; +http://www.so.com/help/help_3_2.html)360 搜索
360 好搜Mozilla/5.0 (compatible; HaosouSpider; +http://www.haosou.com/help/help_3_2.html)360 好搜(旧)
搜狗蜘蛛Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)搜狗搜索
搜狗图片Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)搜狗图片
神马蜘蛛Mozilla/5.0 (Linux; Android) AppleWebKit/537.36 (KHTML, like Gecko) YisouSpider神马搜索(移动)
头条蜘蛛Mozilla/5.0 (Linux; Android 6.0) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/47.0.2526.100 Mobile Safari/537.36 Bytespider字节跳动 / 头条搜索
Yandex 蜘蛛Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)Yandex 搜索
DuckDuckGoDuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html)DuckDuckGo
雅虎蜘蛛Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)Yahoo 搜索
Apple 蜘蛛Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Applebot/0.1Apple · Siri / Spotlight
亚马逊蜘蛛Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Amazonbot/0.1; +https://developer.amazon.com/support/amazonbotAmazon
Facebookfacebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)Facebook 链接抓取
TwitterTwitterbot/1.0X / Twitter 卡片
LinkedInLinkedInBot/1.0 (compatible; Mozilla/5.0)LinkedIn
PinterestPinterestbot/1.0 (+http://www.pinterest.com/bot.html)Pinterest
谷歌广告AdsBot-Google (+http://www.google.com/adsbot.html)Google Ads 广告质量
搜索引擎蜘蛛 UA 说明
搜索引擎通过“蜘蛛/爬虫”抓取网页,它们在请求时会带上自己的 User-Agent(UA)来表明身份。 了解这些 UA 有助于你在访问日志中区分真实用户与搜索引擎抓取, 也能帮助排查收录与抓取异常。
常见蜘蛛
- 百度:Baiduspider;谷歌:Googlebot;必应:bingbot。
- 国内还有:360Spider、Sogou web spider、YisouSpider(神马)、Bytespider(头条)。
- 海外还有:YandexBot、DuckDuckBot、Applebot、Amazonbot 等。
仅凭 UA 不能完全断定蜘蛛身份,重要场景建议结合 IP 反向解析校验。
常见问题
什么是搜索引擎蜘蛛?
搜索引擎蜘蛛(爬虫)是搜索引擎用来抓取网页的程序,通过 User-Agent 标识自己,例如百度的 Baiduspider、谷歌的 Googlebot。
怎么判断访问是不是蜘蛛?
把访问日志里的 User-Agent 粘贴到上方检测框,工具会识别它属于哪个搜索引擎蜘蛛。
UA 可以伪造吗?
可以。仅凭 User-Agent 不能 100% 断定是蜘蛛,严格校验还应结合 IP 反向解析与官方 IP 段。