企業(yè)與個人網(wǎng)絡(luò)營銷一站式服務(wù)商
        網(wǎng)站建設(shè) / SEO優(yōu)化排名 / 小程序開發(fā) / OA
        0731-88571521
        136-3748-2004
        對頁面抓取異常的原因及分析
        信息來源:   發(fā)布時間:2017-10-26   瀏覽:

        1,效勞器銜接反常
        效勞器銜接反常會有兩種狀況:一種是站點不穩(wěn)定,Baiduspider測驗銜接您網(wǎng)站的效勞器時呈現(xiàn)暫時無法銜接的狀況;一種是Baiduspider一向無法銜接上您網(wǎng)站的效勞器。

        形成效勞器銜接反常的因素通常是您的網(wǎng)站效勞器過大,超負荷運轉(zhuǎn)。也有也許是您的網(wǎng)站運轉(zhuǎn)不正常,請查看網(wǎng)站的web效勞器(如apache、iis)是不是裝置且正常運轉(zhuǎn),并運用瀏覽器查看首要頁面能否正常拜訪。您的網(wǎng)站和主機還也許阻撓了Baiduspider的拜訪,您需求查看網(wǎng)站和主機的防火墻。

        2,網(wǎng)絡(luò)運營商反常:網(wǎng)絡(luò)運營商分電信和聯(lián)通兩種,Baiduspider經(jīng)過電信或網(wǎng)通無法拜訪您的網(wǎng)站。假如呈現(xiàn)這種狀況,您需求與網(wǎng)絡(luò)效勞運營商進行聯(lián)絡(luò),或許采購具有雙線效勞的空間或許采購cdn效勞。

        3,DNS反常:當Baiduspider無法解析您網(wǎng)站的IP時,會呈現(xiàn)DNS反常。也許是您的網(wǎng)站IP地址過錯,或許域名效勞商把Baiduspider封禁。請運用WHOIS或許host查詢自己網(wǎng)站IP地址是不是準確且可解析,假如不準確或無法解析,請與域名注冊商聯(lián)絡(luò),更新您的IP地址。

        4,IP封禁:IP封禁為:限制網(wǎng)絡(luò)的出口IP地址,制止該IP段的運用者進行內(nèi)容拜訪,在這里特指封禁了BaiduspiderIP。當您的網(wǎng)站不期望Baiduspider拜訪時,才需求該設(shè)置,假如您期望Baiduspider拜訪您的網(wǎng)站,請查看有關(guān)設(shè)置中是不是誤添加了BaiduspiderIP。也有也許是您網(wǎng)站地點的空間效勞商把baiduIP進行了封禁,這時您需求聯(lián)絡(luò)效勞商更改設(shè)置。

        5,UA封禁:UA即為用戶署理(User-Agent),效勞器經(jīng)過UA辨認拜訪者的身份。當網(wǎng)站關(guān)于指定UA的拜訪,回來反常頁面(如403,500)或跳轉(zhuǎn)到別的頁面的狀況,即為UA封禁。當您的網(wǎng)站不期望Baiduspider拜訪時,才需求該設(shè)置,假如您期望Baiduspider拜訪您的網(wǎng)站,useragent有關(guān)的設(shè)置中是不是有Baiduspider UA,并及時修正。

        6,死鏈:頁面現(xiàn)已無效,無法對用戶供給任何有價值信息的頁面即是死連接,包含協(xié)議死鏈和內(nèi)容死鏈兩種形式:

        協(xié)議死鏈:頁面的TCP協(xié)議狀況/HTTP協(xié)議狀況清晰表明的死鏈,多見的如404、403、503狀況等。

        內(nèi)容死鏈:效勞器回來狀況是正常的,但內(nèi)容現(xiàn)已變更為不存在、已刪去或需求權(quán)限等與原內(nèi)容無關(guān)的信息頁面。
        關(guān)于死鏈,我們主張站點運用協(xié)議死鏈,并經(jīng)過baidu站長平臺–死鏈東西向baidu提交,以便baidu更快地發(fā)現(xiàn)死鏈,削減死鏈對用戶以及查找引擎形成的負面影響。

        7,反常跳轉(zhuǎn):將網(wǎng)絡(luò)懇求重新指向別的方位即為跳轉(zhuǎn)。反常跳轉(zhuǎn)指的是以下幾種狀況:
        1)當前該頁面為無效頁面(內(nèi)容已刪去、死鏈等),直接跳轉(zhuǎn)到前一目錄或許主頁,baidu主張站長將該無效頁面的進口超連接刪去掉
        2)跳轉(zhuǎn)到犯錯或許無效頁面
        留意:關(guān)于長期跳轉(zhuǎn)到別的域名的狀況,如網(wǎng)站替換域名,baidu主張運用301跳轉(zhuǎn)協(xié)議進行設(shè)置。

        8,別的反常:
        1)關(guān)于baidurefer的反常:頁面關(guān)于來自baidu的refer回來不同于正常內(nèi)容的做法。
        2)關(guān)于baiduua的反常:頁面對baiduUA回來不同于頁面原內(nèi)容的做法。
        3)JS跳轉(zhuǎn)反常:頁面加載了baidu無法辨認的JS跳轉(zhuǎn)代碼,使得用戶經(jīng)過查找成果進入頁面后發(fā)生了跳轉(zhuǎn)的狀況。
        4)壓力過大導(dǎo)致的偶爾封禁:baidu會依據(jù)站點的規(guī)劃、拜訪量等信息,自動設(shè)定一個合理的抓取壓力。但是在反常狀況下,如壓力操控異常時,效勞器會依據(jù)自身負荷進行保護性的偶爾封禁。這種狀況下,請在回來碼中回來503(其意義是“Service Unavailable”),這樣Baiduspider會過段時間再來測驗抓取這個連接,假如網(wǎng)站已閑暇,則會被成功抓取。





        上一條: 百度只抓取網(wǎng)站首頁如何解決
        下一條: 網(wǎng)站SEO是不是網(wǎng)站建設(shè)中的一部分?
        案例鑒賞
        多年的網(wǎng)站建設(shè)經(jīng)驗,斌網(wǎng)網(wǎng)絡(luò)不斷提升技術(shù)設(shè)計服務(wù)水平,迎合搜索引擎優(yōu)化規(guī)則
        網(wǎng)絡(luò)營銷
        多年的網(wǎng)站建設(shè)經(jīng)驗,網(wǎng)至普不斷提升技術(shù)設(shè)計服務(wù)水平,迎合搜索引擎優(yōu)化規(guī)則
        長沙私人做網(wǎng)站    長沙做網(wǎng)站    深圳網(wǎng)站建設(shè)    株洲做網(wǎng)站    東莞做網(wǎng)站    湖南大拇指養(yǎng)豬設(shè)備    株洲做網(wǎng)站    
        版權(quán)所有 © 長沙市天心區(qū)斌網(wǎng)網(wǎng)絡(luò)技術(shù)服務(wù)部    湘公網(wǎng)安備 43010302000270號  統(tǒng)一社會信用代碼:92430103MA4LAMB24R  網(wǎng)站ICP備案號:湘ICP備13006070號-2  
        亚洲AV无码欧洲AV无码网站| 超碰97国产欧美中文| 中文无码熟妇人妻AV在线| 国产午夜无码精品免费看| 中文字幕在线无码一区| 亚洲中文字幕在线第六区| AV无码久久久久不卡蜜桃| 亚洲性无码一区二区三区| 日韩中文字幕在线观看| 无码任你躁久久久久久 | 日本中文字幕在线视频一区| 无码少妇一区二区浪潮av| 无码人妻黑人中文字幕| 日韩三级中文字幕| 免费无码中文字幕A级毛片 | 中文字幕精品无码一区二区三区| 亚洲AV日韩AV永久无码绿巨人| 乱人伦人妻中文字幕无码| 无码人妻精品中文字幕| 天堂中文在线最新版| 亚洲日产无码中文字幕| 日韩亚洲变态另类中文| 无码AV一区二区三区无码| 成在人线AV无码免观看麻豆| 精品久久久久久无码专区| 色偷偷一区二区无码视频| 亚洲AV无码国产精品麻豆天美| 一本色道无码道DVD在线观看| 国产aⅴ无码专区亚洲av麻豆 | 亚洲最大av无码网址| 西西4444www大胆无码| 免费无码午夜福利片| 免费无码AV一区二区| 免费A级毛片无码无遮挡| 久久受www免费人成_看片中文| 欧美巨大xxxx做受中文字幕| 中文字字幕在线一本通| 日韩乱码人妻无码中文字幕久久 | 最近2019中文字幕一页二页| 在线天堂中文新版www| 免费看无码特级毛片|