C
크롤링 가능한 웹사이트
정의
(컨텍스트: 일반)
검색 엔진에서 콘텐츠에 액세스할 수 있는 웹사이트로, 콘텐츠가 색인화될 수 있습니다.
크롤러는 웹의 링크를 따라갑니다. 크롤러는 로봇, 봇 또는 거미라고도 합니다. 인터넷 24/7. 웹사이트에 접속하면 페이지의 HTML 버전을 인덱스라고 하는 거대한 데이터베이스에 저장합니다. 이 색인은 크롤러가 웹사이트를 돌아다니며 새 버전이나 수정된 버전을 찾을 때마다 업데이트됩니다.
참조:
참고 항목도 참조하세요:
대체 "크롤링 불가" 웹사이트. 인덱싱이 발생하지 않습니다.