검색 엔진이 WordPress 사이트의 색인을 생성하지 못하게 하는 방법
게시 됨: 2022-10-12검색 엔진은 크롤러 또는 웹 로봇을 사용하여 웹사이트를 크롤링하고 색인을 생성합니다. 많은 웹 사이트 소유자에게 웹 사이트 콘텐츠의 인덱싱은 온라인 가시성을 높이고 사이트 내 트래픽을 늘리는 데 매우 중요합니다. 그러나 사이트의 색인을 생성하지 않으려는 경우가 있습니다. 이러한 이유는 실제로 검색 엔진이 귀하의 웹 사이트를 인덱싱하지 못하게 하는 방법에 대해 생각하게 할 수 있습니다.
사이트 내의 리소스나 페이지가 Google 검색에 표시되지 않도록 할 수 있습니다. 이 기사에서는 검색 엔진이 귀하의 웹사이트를 인덱싱하지 못하게 하고 방지하는 방법을 살펴볼 것입니다.
목차
인덱싱과 Google의 목록 비교
웹사이트 색인 생성에서 검색 엔진을 차단하려는 이유
웹 사이트 크롤링 및 색인 생성에서 검색 엔진을 차단하는 방법
- 기본 WordPress 검색 엔진 가시성 확인란을 통해
- Robots.txt 파일 수정
- 웹사이트 비밀번호 보호
Google 검색에서 웹사이트 제거
결론
인덱싱과 Google의 목록 비교
인덱싱
인덱싱은 사이트 콘텐츠 데이터를 수집하여 검색 엔진 서버에 다운로드한 후 데이터를 중앙 데이터베이스(색인)에 추가하여 저장하는 프로세스입니다.
인덱싱 프로세스는 크롤링이 선행되며 검색 엔진은 웹을 검색하여 새 콘텐츠나 업데이트된 콘텐츠를 식별하는 경향이 있습니다. 이 콘텐츠는 차례로 인덱싱에 사용됩니다.
인덱싱은 여러 쿼리를 실행하여 모든 콘텐츠를 검색하는 것과 비교하여 콘텐츠가 구성되어 있으므로 검색 쿼리와 관련된 데이터를 훨씬 빠르게 렌더링할 수 있습니다.
목록
리스팅에는 주로 SERP(검색 엔진 결과 페이지)에서 웹사이트를 렌더링하는 작업이 포함됩니다.
웹사이트가 검색 엔진 결과 페이지에 표시되면 해당 웹사이트가 인덱싱되었음을 의미합니다. 아래는 이에 대한 샘플 스크린샷입니다.
그러나 인덱싱은 본질적으로 귀하의 웹사이트가 SERP에 나열된다는 의미로 해석되지 않습니다.
또한 웹사이트가 목록에 표시되기 위해 색인을 생성할 필요는 없다는 점에 유의하는 것도 중요합니다. 사이트 도메인이나 다른 웹사이트 콘텐츠를 가리키는 링크가 있는 경우 Google은 이를 활용합니다.
웹사이트 색인 생성에서 검색 엔진을 차단하려는 이유
1. 개발 사이트 생성 시
사이트 소유자는 대부분의 경우 최종 웹 사이트를 프로덕션으로 푸시하기 전에 개발 환경에서 먼저 웹 사이트를 만들고 싶을 것입니다.
그러나 개발 사이트 콘텐츠가 Google에서 색인을 생성하는 것을 원하지 않으며, 이는 결과적으로 프로덕션 사이트와 경쟁하게 될 것입니다. 이 경우 이러한 시나리오를 피하기 위해 개발 사이트 내에서 인덱싱을 비활성화해야 합니다.
2. 개인 콘텐츠
웹사이트에 검색 엔진에서 액세스하고 싶지 않은 비공개 콘텐츠가 포함된 경우 해당 사이트의 색인이 생성되지 않도록 선택할 수 있습니다.
이러한 시나리오의 예로는 사용자가 구독을 갖고 있거나 사용자가 로그인한 경우에만 액세스할 수 있어야 하는 웹 페이지가 있을 수 있습니다. 이러한 콘텐츠는 인덱싱에 사용할 수 없어야 합니다.
3. 해킹/훼손된 콘텐츠
사이트가 해킹되어 손상되는 시나리오에서 이는 사이트 사용자, 특히 전자 상거래 사이트의 경우 보안 위협이 됩니다.
이러한 위험을 줄이는 데 도움이 되도록 사이트의 색인을 해제하거나 삭제하는 것이 적절할 것입니다.
4. 중복 콘텐츠
때때로, 특히 제품 페이지가 유사하게 나타날 수 있는 전자상거래 사이트의 경우 웹사이트 내에 실제로 중복 콘텐츠가 있을 수 있습니다. 그러나 웹사이트에 중복 콘텐츠가 있으면 실제로 Google에서 불이익을 받을 수 있습니다.
따라서 불이익을 받지 않으려면 사이트 내 중복 콘텐츠의 색인을 제거하는 것이 중요합니다.
5. 오래된 콘텐츠
경우에 따라 웹사이트에서 오래된 정보를 렌더링하여 검색 결과에 이 정보가 포함될 수 있습니다. 이러한 정보는 사이트 방문자를 오도할 수 있습니다.
따라서 이러한 상황에서 검색 엔진이 그러한 콘텐츠를 색인화하지 않도록 하는 것이 좋습니다.
6. 유출된 정보
콘텐츠가 조기에 대중에게 공개되는 경우 검색 엔진이 해당 콘텐츠를 색인화하거나 웹사이트 게시를 취소하지 않도록 해야 합니다. 이렇게 하면 이 콘텐츠에 액세스할 수 없게 만드는 데 도움이 됩니다.
7. 유해 콘텐츠
귀하의 웹사이트에 유해하다고 생각할 수 있는 콘텐츠가 있을 수 있는 상황에서는 웹사이트의 색인을 제거하는 것을 고려할 수 있습니다. 예를 들어 사이트가 해킹되어 악성 정보가 추가된 경우일 수 있습니다.
웹 사이트 크롤링 및 색인 생성에서 검색 엔진을 차단하는 방법
검색 엔진이 웹사이트를 크롤링하고 인덱싱하지 못하도록 하려면 여러 가지 방법을 고려해야 합니다. 이러한 방법 중 일부를 순서대로 살펴보고 각 방법이 이를 달성하는 데 어떻게 도움이 되는지 살펴보겠습니다.
기본 WordPress 검색 엔진 가시성 확인란을 통해
이 방법을 사용하면 검색 엔진이 WordPress 대시보드에서 직접 웹사이트를 크롤링하지 못하게 할 수 있습니다. 구현하려면 다음이 필요합니다.
i) 관리자 계정을 사용하여 WordPress 대시보드에 로그인합니다.
ii) WordPress 대시보드 내에서 설정 > 읽기 섹션으로 이동합니다.
iii) "검색 엔진 가시성" 섹션 내에서 "검색 엔진이 이 사이트의 색인을 생성하지 못하도록 차단" 옵션을 활성화합니다.
iv) 변경 사항 저장
위의 작업이 수행되면 아래 코드가 사이트 헤더에 추가됩니다.
<meta name="robots" content="noindex, nofollow">
robots.txt 파일도 다음과 같이 수정됩니다.
User-agent: * Disallow: /이것은 검색 엔진이 귀하의 웹사이트를 인덱싱하지 못하도록 하는 데 도움이 됩니다. 그러나 이러한 변경이 사이트 엔진이 웹사이트를 색인화하지 못하도록 하는 데 도움이 되지만 요청을 수락할지 여부는 개별 검색 엔진에 달려 있습니다.
Robots.txt 파일 수정(수동)
위의 방법과 유사하게 이것은 robots.txt 파일을 수정하는 수동 접근 방식으로 간주됩니다.
이를 수행하려면 다음이 필요합니다.
i) Filezilla와 같은 FTP 소프트웨어를 통해 사이트 파일에 액세스
ii) 웹사이트 파일의 루트 내에서 robots.txt 파일을 확인합니다. 대부분의 경우 public_html 폴더 내에 있습니다.
파일을 추적하지 않는 것 같으면 새로 만드는 것을 고려할 수 있습니다.
iii) 파일에 다음 코드를 추가합니다.
User agent: * Disallow: /iv) 변경 사항 저장
Disallow: 섹션 내에 하위 디렉토리와 슬러그를 추가하여 특정 페이지에 대한 인덱싱을 허용하지 않을 수도 있습니다. 이에 대한 예는 다음과 같습니다.
User agent: * Disallow /blog/this-is-a-link-to-our-website웹사이트 비밀번호 보호
검색 엔진은 액세스 권한이 없기 때문에 암호로 보호된 웹사이트를 크롤링할 수 있는 위치에 있지 않습니다. 따라서 웹사이트의 인덱싱을 방지하는 데 있어 웹사이트 암호를 보호하는 것이 가장 적합한 접근 방식 중 하나가 됩니다.
사이트의 비밀번호 보호는 다양한 접근 방식을 통해 달성할 수 있습니다.
i) 호스팅 제어판을 통한 비밀번호 보호
ii) 비밀번호 보호 플러그인 사용
호스팅 제어판을 통한 비밀번호 보호
다양한 호스팅 제어판에는 웹 사이트 내에서 암호 보호를 구현하는 단계가 다릅니다. 여기서는 cPanel의 예를 사용합니다.
cPanel을 통해 웹사이트를 암호로 보호하려면 다음을 수행해야 합니다.
i) cPanel 계정에 로그인
ii) 파일 섹션으로 이동하여 "디렉토리 개인 정보 보호"를 선택합니다.
iii) 사이트의 루트 디렉토리를 선택합니다. 여기서는 public_html / buddybuilder 가 됩니다.
iv) 옆에 있는 "편집" 작업을 클릭합니다.
v) "이 디렉토리를 암호로 보호" 옵션을 활성화하고 변경 사항을 저장합니다.
vi) "돌아가기" 링크를 클릭하여 이전 단계로 돌아가서 새 "사용자 만들기" 섹션 내에서 웹사이트 액세스에 사용할 새 사용자 계정을 설정합니다.
이 작업이 완료되면 검색 엔진이 사이트를 크롤링할 수 없습니다.
비밀번호 보호 플러그인 사용
이 옵션에서는 Password Protected 플러그인 사용을 고려할 수 있습니다. 플러그인을 설정하려면 다음을 수행해야 합니다.
i) WordPress 대시보드 내에서 플러그인 > 새로 추가 섹션으로 이동하여 "암호로 보호됨"을 검색합니다.
ii) 플러그인 설치 및 활성화
iii) WordPress 대시보드 내에서 설정 > 비밀번호로 보호됨 섹션으로 이동합니다.
iv) "암호로 보호된 상태" 옵션을 활성화하고 암호를 입력합니다.
v) 사이트가 보호된 상태로 유지되는 일 수를 지정합니다.
vi) 변경 사항 저장
이 방법에서는 이미지와 같은 파일에 브라우저에서 직접 액세스하면 암호 보호가 적용되지 않으므로 이미지에 쉽게 액세스할 수 있다는 점에 유의해야 합니다.
Google 검색에서 웹사이트 제거
이미 Google에서 색인을 생성한 사이트가 있고 검색 엔진에서 사이트를 제거하려는 경우 다음을 수행하면 됩니다.
i) Google 검색 콘솔에 액세스: https://search.google.com/search-console/
ii) 계정 세부 정보를 사용하여 로그인합니다. 계정이 없는 경우 위의 동일한 링크에서 계정을 만들고 속성을 추가할 수 있습니다. 이에 대한 안내는 다음과 같습니다. https://support.google.com/webmasters/answer/34592?hl=ko
iii) 왼쪽 상단 섹션에서 삭제할 URL이 있는 속성을 선택합니다.
iv) "제거" 섹션을 클릭합니다.
v) "임시 제거" 탭에서 "새 요청" 버튼을 클릭합니다.
vi) 렌더링된 팝업 내의 "임시 제거 URL" 탭에 "이 URL만 제거" 및 "이 접두사가 있는 모든 URL 제거" 옵션이 있습니다.
특정 블로그 게시물과 같이 지정된 URL만 제거하려면 해당 URL을 입력하고 "이 URL만 제거" 옵션을 선택해야 합니다.
반면에 루트 도메인 및 이와 연결된 다른 URL을 제거하려면 URL을 루트 도메인으로 입력하고 "이 접두사가 있는 모든 URL 제거" 옵션을 선택해야 합니다.
vii) "다음" 버튼을 클릭하여 요청을 제출하십시오.
이 작업이 완료되면 Google은 일시적으로 검색 엔진에서 귀하의 사이트를 일시적으로 제거합니다. 일반적으로 6개월이 지나면 URL이 다시 색인화될 수 있으므로 "웹사이트 크롤링 및 색인 생성에서 검색 엔진 차단"이 중요합니다.
결론
검색 엔진이 웹사이트를 인덱싱하지 못하도록 하는 데에는 여러 가지 이유가 있습니다. 이 기사에서는 검색 엔진이 WordPress 사이트를 인덱싱하지 못하게 하기 위해 수행할 수 있는 몇 가지 접근 방식과 이러한 이유 중 일부를 살펴보았습니다.
기본 WordPress 검색 엔진 가시성 상자 방법을 사용하거나 robots.txt 파일 방법을 수정하는 것은 일부 검색 엔진에서 예를 들어 파일이나 이미지를 여전히 크롤링할 수 있기 때문에 일부 검색 엔진에서 완전히 효과적이지 않을 수 있습니다. 이러한 방법을 암호 보호와 함께 사용하는 것이 좋습니다. 이렇게 하면 검색 엔진이 사이트 콘텐츠에 액세스하는 것을 방지할 수 있습니다.
이 기사가 도움이 되기를 바랍니다. 질문, 의견 또는 제안 사항이 있는 경우 아래의 의견 섹션에서 자유롭게 제출하십시오.