WordPress에서 Robots.txt를 제거하는 방법

게시 됨: 2023-06-08

WordPress에서 robots.txt를 제거 하시겠습니까? robots.txt 파일은 검색 엔진 봇이 웹 사이트의 특정 페이지를 인덱싱하지 못하도록 차단하는 데 필수적입니다. 그러나 올바르게 구성되지 않으면 사이트에 문제가 발생할 수 있으므로 제거해야 할 수도 있습니다.

따라서 제거 프로세스를 시작하기 전에 robots.txt 파일과 파일을 제거해야 하는 이유를 더 명확하게 이해해야 합니다.

Robots.txt는 무엇입니까?

robots.txt 는 웹사이트의 영역 또는 페이지를 인덱싱하고 크롤링해야 하는 검색 엔진 봇에 대한 지침이 포함된 WordPress 웹사이트의 파일입니다. 또한 웹사이트의 페이지와 섹션을 색인해야 하는지에 대한 특정 규칙과 지침을 사용하여 검색 엔진에 알립니다.

실제 사례를 고려하면 Googlebot이라고도 하는 Google의 웹 크롤러는 정기적으로 웹사이트를 분석하여 페이지 색인을 최신 상태로 유지합니다. 이러한 웹 크롤러는 웹사이트를 스캔하는 동안 robots.txt 파일에 설명된 지침을 따릅니다. 그런 다음 robots.txt 파일에 언급된 지침에 따라 웹사이트의 페이지와 영역을 인덱싱하고 크롤링합니다.

같은 방식으로 다른 모든 잘 알려진 웹 크롤러의 검색 엔진 엔진 봇은 robots.txt 파일을 사용하여 웹 사이트를 색인화하고 크롤링합니다. 이 파일은 봇이 특정 웹 사이트 영역, 페이지 또는 디렉토리에 액세스하지 못하도록 제한하는 데 유용합니다. 그러나 동시에 경우에 따라 WordPress 웹 사이트에서 robots.txt 파일을 제거하거나 비활성화하면 도움이 될 수 있습니다.

WordPress에서 Robots.txt를 제거해야 하는 이유는 무엇입니까?

WordPress 웹사이트에서 robots.txt 파일을 제거하거나 비활성화하는 것을 고려해야 하는 여러 가지 이유가 있습니다. 다음은 그 중 몇 가지입니다.

  • 의도하지 않은 제한: robots.txt 파일에는 때때로 검색 엔진 크롤러가 웹사이트의 필수 페이지 또는 섹션에 액세스하지 못하도록 의도하지 않게 제한하는 규칙이 포함될 수 있습니다. 이는 검색 엔진 결과에서 사이트의 가시성에 부정적인 영향을 미치고 사이트 순위에 영향을 미칠 수 있습니다.
  • 개발 또는 스테이징 사이트: 테스트 목적으로 개발 또는 스테이징 사이트가 있는 경우 검색 엔진이 이러한 사이트를 인덱싱하는 것을 원하지 않을 수 있습니다. 따라서 robots.txt 파일을 제거하면 검색 엔진 크롤러가 검색 결과에 이러한 사이트를 색인화하거나 표시하지 않도록 할 수 있습니다. 이렇게 하면 사이트가 공개적으로 표시될 위험 없이 초기 개발 및 테스트 프로세스 중에 사이트를 테스트하고 개선하는 데 집중할 수 있습니다.
  • 향상된 인덱싱: robots.txt 파일을 제거하면 검색 엔진 크롤러가 웹사이트의 페이지와 콘텐츠에 자유롭게 액세스하고 인덱싱할 수 있습니다. 따라서 그들은 색인에서 더 넓은 범위의 사이트 콘텐츠를 발견하고 포함할 수 있습니다. 이는 웹 사이트 콘텐츠의 가시성과 검색 가능성을 극대화하려는 경우에 유용할 수 있습니다.
  • 플러그인 충돌: WordPress 웹사이트의 특정 플러그인과 robots.txt 파일 간의 충돌로 인해 때때로 예기치 않은 문제나 오류가 발생할 수 있습니다. 따라서 robots.txt 파일을 제거하면 이러한 충돌을 해결하고 WordPress 사이트의 원활한 작동을 보장하는 데 도움이 될 수 있습니다.

그러나 robots.txt 파일을 제거하는 것은 가볍게 결정할 사항이 아니며 일반적으로 권장되지 않는다는 점에 유의해야 합니다. 웹 사이트의 SEO 성능에 대한 영향이 확실하지 않은 경우 계속하기 전에 영향을 고려하고 전문가와 상의하십시오.

WordPress에서 Robots.txt를 제거하는 방법

다음 두 가지 주요 방법으로 WordPress에서 robots.txt 파일을 제거하거나 비활성화할 수 있습니다.

  1. FTP 클라이언트 사용
  2. cPanel

WordPress에서 robots.txt를 제거하는 단계별 가이드를 통해 이러한 방법을 자세히 살펴보겠습니다. 두 방법은 서로 비슷합니다. 그러나 먼저 웹사이트의 FTP 또는 cPanel에 액세스해야 합니다.

참고: 웹사이트에서 robots.txt 파일을 제거하기 전에 해당 파일의 복사본을 만드십시오. 그런 다음 절차 중에 의도하지 않은 변경으로 인해 오류나 버그가 발생할 수 있는 경우 원본 파일을 웹사이트에 다시 업로드할 수 있습니다.

1. FTP 클라이언트를 사용하여 Robots.txt 제거

FTP 클라이언트를 사용하여 WordPress 웹사이트에서 robots.txt를 제거하는 것은 쉽습니다. FileZilla 또는 Cyberduck과 같은 FTP 클라이언트를 사용하여 WordPress용 FTP에 액세스할 수 있습니다. 그런 다음 이를 사용하여 웹사이트의 파일 편집을 시작할 수 있습니다.

이 자습서에서는 웹 사이트에서 컴퓨터에 다운로드하여 설치할 수 있는 FTP 클라이언트 FileZilla를 사용합니다. 그러나 원하는 FTP 클라이언트를 자유롭게 사용할 수 있습니다. 단계는 서로 거의 동일합니다.

FTP 클라이언트를 설치한 후 웹 사이트를 FTP 클라이언트에 연결해야 합니다. 따라서 컴퓨터에서 FileZilla 애플리케이션을 열고 메뉴 표시줄의 왼쪽 상단 모서리에서 파일 > 사이트 관리자 로 이동합니다. 키보드의 키보드 단축키 Ctrl+S를 사용하여 사이트 관리자에 액세스할 수도 있습니다.

그런 다음 새 사이트를 클릭하고 내 사이트 아래에 웹사이트 이름을 입력합니다.

이제 화면 오른쪽에 있는 일반 탭을 엽니다. 여기에서 사이트를 FTP 클라이언트와 연결하기 위한 자격 증명을 입력해야 합니다. 필요한 자격 증명이 없는 경우 호스팅 공급자에게 요청할 수 있습니다.

자격 증명을 입력한 후 연결 을 클릭합니다.

이제 WordPress 웹사이트의 robust.txt 파일을 제거할 수 있는 웹사이트의 파일 디렉터리에 액세스할 수 있습니다. robots.txt 파일은 " public_html " 폴더라고도 하는 웹사이트의 루트 디렉토리에 있습니다. Filezilla Explorer를 사용하여 탐색할 수 있습니다.

robots.txt 파일을 찾으면 파일을 마우스 오른쪽 버튼으로 클릭하고 삭제를 선택합니다.

파일 삭제 wordpress에서 robots.txt 제거

그게 다야! WordPress 웹사이트에서 robots.txt 파일을 성공적으로 제거했습니다.

2. cPanel에서 Robots.txt 제거

WordPress 웹사이트에서 robots.txt 파일을 수동으로 제거하는 보다 직접적인 방법을 원하는 경우 cPanel을 사용할 수 있습니다. 호스팅 공급자가 제공한 링크를 사용하여 cPanel 계정에 로그인하기 만 하면 됩니다. 다시 말하지만 필요한 자격 증명과 세부 정보가 없는 경우 호스팅 제공업체에 문의할 수 있습니다.

cPanel에 로그인한 후 파일 섹션으로 스크롤하고 파일 관리자를 클릭합니다. 이제 WordPress 웹사이트의 모든 파일에 액세스할 수 있습니다.

그런 다음 여기 robots.txt 파일이 있으므로 루트 디렉토리 또는 " public_html " 폴더로 이동합니다. 이제 robots.txt 파일을 선택 하고 파일 관리자의 메뉴 모음에서 삭제를 클릭합니다.

파일 cpanel 삭제 wordpress에서 robots.txt 제거

엄청난! 이제 robots.txt 파일이 WordPress 웹사이트에서 제거되었습니다.

WordPress에서 Robots.txt를 비활성화하는 방법은 무엇입니까?

위에서 언급한 접근 방식은 WordPress 웹사이트에서 robots.txt 파일을 제거하는 데 도움이 될 수 있습니다. 그러나 파일이 SEO에 매우 중요하므로 일반적으로 권장되지 않습니다. 따라서 더 안전한 옵션을 원하면 WordPress 웹사이트에서 robots.txt 파일을 비활성화 할 수 있습니다.

결과적으로 검색 엔진 봇이 귀하의 웹사이트를 크롤링하고 인덱싱하는 데 제한이 없더라도 robots.txt 파일은 귀하의 웹사이트 파일 디렉토리에 있게 됩니다. WordPress에서 robots.txt 파일을 비활성화하는 방법에는 여러 가지가 있습니다. WordPress 대시보드에서 직접 편집하거나 플러그인, FTP 또는 cPanel을 사용하여 수동으로 파일을 편집할 수 있습니다.

1. WordPress 대시보드에서 Robots.txt 비활성화

WordPress 대시보드에서 robots.txt 파일을 비활성화하는 것은 간단합니다. WordPress 대시보드에서 설정 > 읽기 로 이동하여 검색 엔진 가시성 옵션을 선택 취소하고 변경 사항을 저장하기만 하면 됩니다.

파일 wordpress 대시보드 비활성화 wordpress에서 robots.txt 제거 이렇게 하면 WordPress 웹사이트에서 robots.txt 파일의 모든 내용이 제거되고 다음과 같이 변경됩니다.

 사용자 에이전트: *
금지:

따라서 이것은 검색 엔진이 귀하의 웹사이트를 인덱싱하는 것을 방지합니다. 그러나이 요청을 존중하는 결정은 검색 엔진에 있습니다.

2. 플러그인을 사용하여 robots.txt 비활성화

WordPress 웹사이트에서 이미 SEO 플러그인을 사용하고 있는 경우 플러그인을 사용하여 robots.txt 파일을 편집하고 비활성화할 수도 있습니다. 검색 엔진 봇이 robots.txt 파일을 사용하여 사이트를 인덱싱하는 것을 원하지 않는 경우 이렇게 하면 많은 시간을 절약할 수 있습니다.

여러 WordPress SEO 플러그인을 사용하면 robots.txt 파일을 편집하고 비활성화할 수 있습니다. 하지만 이 데모에서는 Rank Math SEO 플러그인을 사용할 것입니다.

robots.txt 파일을 편집하기 위한 매우 간단한 인터페이스가 있습니다. 이렇게 하면 WordPress 웹사이트의 robots.txt 파일 내용을 매우 쉽게 편집하고 제거하여 비활성화할 수 있습니다.

순위 수학 wordpress에서 robots.txt 제거

다른 SEO 플러그인을 사용하고 싶다면 그렇게 할 수 있습니다. 단계는 각 플러그인과 매우 유사합니다. 따라서 사용을 시작하기 전에 플러그인을 설치하고 활성화해야 합니다.

2.1. 플러그인 설치 및 활성화

플러그인을 설치하려면 WordPress 대시보드에서 플러그인 > 새로 추가 로 이동하고 플러그인의 키워드를 검색하십시오. 검색 결과에 표시되자마자 지금 설치 를 클릭합니다.

몇 초면 설치가 완료됩니다. 그런 다음 활성화를 클릭하여 플러그인을 활성화합니다.

프리미엄 SEO 플러그인을 사용하려는 경우 플러그인을 수동으로 업로드하고 설치할 수도 있습니다. 도움이 필요한 경우 WordPress 플러그인 수동 설치에 대한 가이드를 참조하십시오.

2.2. Robots.txt 파일 편집 및 비활성화

플러그인을 활성화한 후 WordPress 대시보드에서 Rank Math > 일반 설정 으로 이동하여 robots.txt 파일 편집 탭을 엽니다. 이렇게 하면 robots.txt 파일에 포함할 코드와 지침을 편집할 수 있습니다. 플러그인은 여기에서 robots.txt 파일의 코드와 지침을 추가하거나 제거할 수 있는 텍스트 편집기도 제공합니다.

순위 수학 편집 파일 wordpress에서 robots.txt 제거

이전에 이 파일을 편집한 경우 검색 엔진 봇이 크롤링하고 색인을 생성하지 않도록 하려는 페이지에 따라 여기에 몇 가지 지침이 표시될 수 있습니다. 반면 WordPress에서 만든 기본 robots.txt 파일 인 경우 다음 세부 정보가 표시됩니다.

 사용자 에이전트: *
금지: /wp-admin/
허용: /wp-admin/admin-ajax.php

여기서 해야 할 일은 robots.txt 파일에서 모든 추가 코드를 제거하고 다음 지침에 따라 파일을 그대로 두는 것입니다.

 사용자 에이전트: *
금지:

위의 지침을 추가한 후 변경 사항 저장 을 클릭하십시오.

그게 다야! 플러그인을 사용하여 robots.txt 파일을 성공적으로 비활성화했습니다.

3. FTP 클라이언트 또는 cPanel을 사용하여 Robots.txt 비활성화

robots.txt 파일은 FTP 클라이언트 또는 cPanel을 사용하여 비활성화할 수도 있습니다. 이 접근 방식에서는 WordPress 웹사이트에서 robots.txt 파일의 내용을 제거할 필요가 없습니다. 그러나 텍스트 편집기를 사용하여 새 robots.txt 파일을 만들고 다음 지침만 포함 해야 합니다.

 사용자 에이전트: *
금지:

파일을 " robots.txt "로 저장했는지 확인하십시오.

새 파일 생성 wordpress에서 robots.txt 제거

이제 FTP 클라이언트 또는 cPanel을 사용하여 새로 생성된 robots.txt 파일을 업로드하고 이전 파일로 교체하기만 하면 됩니다.

FTP를 사용하려면 먼저 이 가이드에 언급된 단계를 사용하여 웹사이트를 FTP 클라이언트와 연결할 수 있습니다. 그런 다음 새 robots.txt 파일을 루트 디렉터리 또는 " public_html " 폴더에 업로드합니다 .

filezilla 파일 업로드 wordpress에서 robots.txt 제거

마찬가지로 cPanel을 사용하여 robots.txt 파일을 비활성화하려면 먼저 cPanel 계정에 로그인하고 파일 디렉토리를 열 수 있습니다. 이 가이드의 "cPanel에서 Robots.txt 제거" 섹션의 단계를 따를 수 있습니다. 그런 다음 " public_html " 폴더로 이동하여 새로 생성된 robots.txt 파일을 여기에 업로드합니다 .

파일 cpanel 업로드 wordpress에서 robots.txt 제거

이 파일을 편집하는 데 도움이 필요한 경우 WordPress에서 robots.txt 편집에 대한 자세한 가이드를 참조하십시오.

결론

다음은 WordPress 웹사이트에서 robots.txt 파일을 비활성화하거나 제거 할 수 있는 다양한 방법입니다. robots.txt 파일로 인해 웹사이트에 문제가 발생한 경우 유용할 수 있습니다. 웹 사이트가 개발 단계에 있거나 고급 인덱싱을 모두 원하는 경우 이를 제거하면 도움이 될 수 있습니다.

그러나 요약하면 다음 두 가지 주요 방법을 사용하여 WordPress 웹사이트에서 robots.txt 파일을 완전히 제거할 수 있습니다.

  • FTP 클라이언트 사용
  • cPanel

이 두 가지 접근 방식은 웹사이트에서 robots.txt 파일을 제거하는 데 매우 효과적입니다. 그러나 이것은 일반적으로 권장되지 않으므로 더 안전하게 유지하려면 비활성화할 수도 있습니다. WordPress 대시보드를 사용하여 비활성화하거나 플러그인, FTP 또는 cPanel을 사용하여 편집할 수 있습니다.

이제 robots.txt 파일을 제거하거나 비활성화할 수 있습니까? 시도해 본 적이 있는지 알려주십시오.

그 동안 WordPress 웹 사이트를 사용자 지정하거나 개선하는 데 도움이 되는 몇 가지 추가 가이드가 있습니다.

  • 순위 수학 SEO를 설정하는 방법? 옳은 길!
  • WordPress의 데이터베이스에서 Yoast SEO 제거
  • 워드프레스 SEO를 개선하는 방법