robots.txt 정리 > 그누보드가이드

본문 바로가기
사이트 내 전체검색

그누보드가이드

그누보드5 robots.txt 정리

페이지 정보

작성자 관리자 댓글 0건 조회 228회 작성일 17-12-25 13:27

본문

User-agent: AhrefsBot 

Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Wotbox
Disallow: /

User-agent: YandexBot
Disallow: /


User-agent: AdsBot-Naver
allow:

User-agent: bingbot
allow:

User-agent: Daum
allow:

User-agent: Googlebot
allow:

User-agent: Googlebot-Mobile
allow:

User-agent: Yeti
allow:

User-agent: ZumBot
allow:

Disallow: /adm/ 
Disallow: /data/
Disallow: /extend/
Disallow: /install/
Disallow: /js/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /theme/


e82101b280f3313515dc1ebfca812935_1514175974_3824.jpg
(출처:
http://www.happyjung.com/lecture/2619)

추천0
  • 트위터로 보내기
  • 페이스북으로 보내기
  • 구글플러스로 보내기

댓글목록

등록된 댓글이 없습니다.

회원로그인

설문조사

그누보드5로 홈페이지제작이 좋다

접속자집계

오늘
31
어제
65
최대
116
전체
6,553

현재시간


그누보드5
Copyright © 소유하신 도메인. All rights reserved.