湖南長沙八年做網站,網絡優化推廣服務團隊,讓您小投資大回報,幫您打開網絡營銷財富之門!
         業務服務熱線:0731-88571521  13637482004  
         


        地址:長沙市韶山南路248號南園503
              室(瀟湘晨報旁)
        電話:0731-88571521
        手機:13637482004
        Q  Q:44377655 522392221
        網址:m.boundlesssupremacy.com
        郵箱:522392221@qq.com
        網站維護與安全
        長沙做網站聯系電話:0731-88571521 13637482004

        怎樣寫網站的robots文件 robots.txt這個文件是什么?有什么作用?

        信息來源:長沙做百度SEO   發布時間:2018-11-13   瀏覽:

        一個網站如果”/robots.txt”不存在或者為空文件,那么說明此網站對于所有的搜索引擎robot,該網站都是開放的。


        從京東和淘寶的robots.txt文件協議來看,robots.txt文件要講究語法的.
        三個語法
        1、User-agent ——用于描述搜索引擎robot的名字,定義搜索引擎類型。
        2、Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址。
        3、Allow——希望被訪問的一組UR。
        a、  *      匹配0或多個任意字符。
        b、  $      結束符。 

        首先寫User-agent:
        A、U必須大寫,后面的小寫,緊接著冒號 ——這里還要注意一點:輸入法必須調成英文狀態,都是英文狀態下的)
        B、空一格再定義搜索引擎類型。比如定義百度蜘蛛


        再寫
        Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址,或 Allow——希望被訪問的一組UR。
        Disallow: /(空一格,一撇)
        Allow: /(空一格,一撇)


        舉例:

        1. 禁止所有搜索引擎訪問網站的任何部分

        User-agent: *

        Disallow: /


        2. 僅禁止Baiduspider訪問您的網站

        User-agent: Baiduspider

        Disallow: /


        3.禁止Google索引你的網站。

        User-agent: Googlebot

        Disallow: /


        4.除了百度以外,其他一切搜索引擎禁止索引你的網站。

        User-agent: Baiduspider

        Allow: /

        User-agent: *

        Disallow: /


        5. 禁止所有搜索引擎訪問install這個目錄以及install這個目錄下的所有文件

        User-agent: *

        Disallow: /install


        6.禁止百度搜索引擎訪問admin目錄;允許訪問images目錄。

        User-agent: Baiduspider

        Disallow: /admin

        Allow: /images


        7.禁止百度搜索引擎訪問網站所有.jpg的圖片

        User-agent: Baiduspider

        Disallow: /*.jpg$


        8.禁止百度搜索引擎訪問網站所有的圖片

        User-agent: Baiduspider

        Disallow: /*.jpg$

        Disallow: /*.png$

        Disallow: /*.gif$


        9.禁止所有搜索引擎訪問admin目錄下所有php文件;允許訪問asp文件。

        User-agent: *

        Disallow: /admin/*.php$

        Allow: /admin/*.asp$


        10.禁止所有搜索引擎索引網站中所有的動態路徑。

        User-agent: *

        Disallow: /*?*


        重點區分以下兩種:

        a、禁止搜索引擎訪問faq目錄下的所有文件

        User-agent: *

        Disallow: /faq/     

        例1:http://m.boundlesssupremacy.com/faq/1.html 不能訪問

        例2:http://m.boundlesssupremacy.com/faq1.html 能訪問


        b、禁止搜索引擎訪問以faq開頭的所有文件

        User-agent: *

        Disallow: /faq

        例1:http://m.boundlesssupremacy.com/faq/1.html 不能訪問

        例2:http://m.boundlesssupremacy.com/faq1.html 不能訪問





        相關熱點文章


        地址:湖南長沙市韶山南路248號南園503室(瀟湘晨報旁) 版權所有:長沙市天心區斌網網絡技術服務部 統一社會信用代碼:92430103MA4LAMB24R
        咨詢電話:0731-88571521   13637482004
        業務 QQ:客服一 1306053142 客服二 1320506001 技術/售后 522392221 高級顧問 44377655
        服務郵箱:fanbin@binweb.cn   522392221@qq.com
        官方網址:m.boundlesssupremacy.com   www.pk0731.com
        旗下網站:斌網網絡  長沙信息處  佛佛網  曬土貨網
         湘公網安備 43010302000270號  網站ICP備案號:湘ICP備13006070號-2  

        在線客服1 在線客服2 技術咨詢 資深顧問

        国产a级理论片无码老男人| 高潮潮喷奶水飞溅视频无码| 最近免费中文字幕大全高清大全1| 无码国内精品久久综合88| 日韩午夜福利无码专区a| 中文在线最新版天堂bt| 无码国内精品久久综合88| 人妻系列无码专区久久五月天| 熟妇人妻无乱码中文字幕真矢织江| 无码超乳爆乳中文字幕久久| 日韩精品一区二区三区中文 | 国产热の有码热の无码视频| 中文字幕亚洲乱码熟女一区二区| 亚洲VA中文字幕不卡无码| 伊人久久一区二区三区无码| 亚洲AV无码精品色午夜在线观看| 最近的中文字幕在线看视频| 日韩精品真人荷官无码| 亚洲日本va午夜中文字幕久久| 精品国产毛片一区二区无码| 亚洲中文字幕久久精品无码喷水| 中文字幕人妻中文AV不卡专区| 亚洲韩国精品无码一区二区三区| 亚洲无av在线中文字幕| 911国产免费无码专区| 成人午夜精品无码区久久| 天堂…中文在线最新版在线| 国产麻豆天美果冻无码视频| 亚洲av永久无码制服河南实里| A狠狠久久蜜臀婷色中文网 | 无码免费又爽又高潮喷水的视频| 中文字幕av无码一区二区三区电影| 天堂资源中文最新版在线一区 | 国产精品无码免费播放| 无码精品日韩中文字幕| 乱人伦中文无码视频在线观看 | 忘忧草在线社区WWW中国中文 | 亚洲AV无码国产丝袜在线观看 | 日韩欧美成人免费中文字幕| 一本之道高清无码视频| 国产V片在线播放免费无码|