SEO를 위해 WordPress Robots.txt를 최적화하는 방법

이 블로그에서는 robts.txt 파일을 최적화하여 웹사이트의 SEO를 개선할 수 있는 몇 가지 팁을 배웁니다.

실제로 Robots.txt 파일은 검색 엔진에 웹사이트를 크롤링할 수 있는 방법을 알려주기 때문에 SEO 측면에서 중요한 역할을 합니다. 이것이 Robot.txt 파일이 SEO의 가장 강력한 도구 중 하나로 간주되는 이유입니다.

나중에 SEO용 WordPress Robots.txt를 빌드하고 최적화 하는 방법도 배우게 됩니다.

robots.txt 파일은 무엇을 의미합니까?

검색 엔진 봇에게 웹사이트에서 크롤링하고 페이지를 색인화할 수 있는 방법을 알려주기 위해 웹사이트 소유자가 만든 텍스트 파일을 Robots.txt라고 합니다.

사실 이 파일은 루트 디렉토리에 저장되어 있습니다. 이 디렉토리는 웹사이트의 기본 폴더라고도 합니다. 아래는 robots.txt 파일의 파일 형식입니다.

 사용자 에이전트: [사용자 에이전트 이름]
허용하지 않음: [크롤링되지 않는 URL 문자열]
사용자 에이전트: [사용자 에이전트 이름]
허용: [URL 문자열 크롤링]
사이트맵: [XML 사이트맵의 URL]

특정 URL을 허용하거나 허용하지 않으려면 여러 줄의 지침을 사용할 수 있습니다. 또한 다른 사이트맵도 추가할 수 있습니다. 검색 엔진 봇은 URL을 허용하는 경우 페이지를 크롤링할 수 있다고 간주합니다.
robots.txt의 예는 다음과 같습니다.

 사용자 에이전트: *
허용: /wp-content/uploads/
허용하지 않음: /wp-content/plugins/
허용하지 않음: /wp-admin/
사이트맵: https://example.com/sitemap_index.xml

위의 예에서 검색 엔진으로 페이지를 크롤링하고 WordPress 업로드 폴더에서 색인 파일을 가져오는 것을 허용했습니다.

그 이후에는 검색 봇이 WordPress 관리 폴더 및 플러그인을 크롤링하고 인덱싱하는 것을 허용하지 않습니다.
마지막으로 XML 사이트맵의 URL을 언급했습니다.

WordPress 웹사이트에 Robots.txt 파일이 필요합니까?

Robots.txt와 같은 텍스트 파일이 없는 경우에도 검색 엔진이 페이지 크롤링 및 색인 생성을 시작합니다. 그러나 불행히도 검색 엔진에 크롤링해야 하는 특정 폴더나 페이지를 알릴 수는 없습니다.

콘텐츠가 적은 웹사이트나 블로그를 만든 경우에는 수익을 내지 못하거나 영향을 미치지 않습니다.
그러나 일단 많은 콘텐츠로 웹사이트를 설정하고 웹사이트가 성장하기 시작하면 웹사이트의 크롤링 및 인덱싱된 페이지를 제어해야 합니다.

첫 번째 이유는 아래에 나와 있습니다.

모든 웹사이트에 대해 검색 봇에는 크롤링 할당량이 있습니다.

이는 크롤링 세션 동안 특정 수의 페이지를 크롤링한다는 것을 의미합니다. 웹사이트의 크롤링이 불완전한 상태로 남아 있으면 한 번 더 돌아와서 다른 세션에서 크롤링을 재개할 것입니다.

이 때문에 웹사이트의 웹사이트 인덱싱 비율은 대결이 될 것입니다.

검색 봇이 필요하지 않은 페이지를 크롤링하지 못하도록 하여 이 문제를 해결할 수 있습니다. 중요하지 않은 페이지에는 플러그인 파일, WordPress 관리 페이지 및 테마 폴더가 포함될 수 있습니다.

원치 않는 페이지가 크롤링되지 않도록 하여 크롤링 할당량을 절약할 수 있습니다. 이 단계는 검색 엔진이 이제 웹사이트의 페이지를 크롤링하고 가능한 한 빨리 색인을 생성할 수 있기 때문에 더 유용합니다.

WordPress Robots.txt 파일을 사용하고 최적화해야 하는 또 다른 이유는 다음과 같습니다.

검색 엔진이 사이트의 페이지 또는 게시물을 인덱싱하는 것을 중지해야 할 때마다 이 파일을 사용할 수 있습니다.

사실, 그것은 일반 대중으로부터 귀하의 웹사이트 콘텐츠를 덮는 가장 부적절한 방법 중 하나이지만 검색 결과에 나타나도록 보호하는 최선의 지원으로 판명될 것입니다.

Robots.txt 파일은 어떻게 나타납니까?

가장 인기 있는 블로그에서는 매우 간단한 robots.txt 파일을 사용합니다. 콘텐츠는 특정 웹사이트의 요구 사항에 따라 다를 수 있습니다.

 사용자 에이전트: *
허용하지 않음:
사이트맵: http://www.example.com/post-sitemap.xml
사이트맵: http://www.example.com/page-sitemap.xml
모든 봇은 robots.txt 파일에서 모든 콘텐츠의 색인을 생성하고 XML 사이트맵의 웹사이트에 대한 링크를 제공하도록 허용됩니다.
robots.txt 파일에서 따라야 하는 다음 규칙이 언급되어 있습니다.

사용자 에이전트: *
허용: /wp-content/uploads/
허용하지 않음: /wp-content/plugins/
허용하지 않음: /wp-admin/
허용하지 않음: /readme.html
허용하지 않음: /참조/
사이트맵: http://www.example.com/post-sitemap.xml
사이트맵: http://www.example.com/page-sitemap.xml

이것은 봇이 모든 WordPress 파일과 이미지를 색인화할 것임을 나타냅니다. 이렇게 하면 검색 봇이 WordPress 관리 영역, WordPress 플러그인 파일, 제휴 링크 및 WordPress readme 파일을 색인화하는 것을 허용하지 않습니다.

robots.txt 파일에 Google 봇이 웹사이트의 모든 페이지를 인식하는 데 도움이 되는 사이트맵을 추가할 수 있습니다.

이제 robots.txt 파일이 어떻게 생겼는지 알았습니다. 이제 WordPress에서 robots.txt 파일을 만드는 방법에 대해 알아보겠습니다.

WordPress에서 robots.txt 파일을 빌드하는 방법은 무엇입니까?

WordPress에서 robots.txt 파일을 만드는 방법에는 여러 가지가 있습니다. 최고의 방법 중 일부는 아래에 나열되어 있습니다. 귀하에게 가장 적합한 방법 중 하나를 선택할 수 있습니다.

방법 1: All in One SEO를 사용하여 Robots.txt 파일 수정

All in One SEO는 100만 개 이상의 웹사이트에서 사용되는 시장에서 가장 잘 알려진 SEO용 WordPress 플러그인입니다.

All in One SEO 플러그인은 사용이 매우 간편하여 robots.txt 파일 생성기를 제공합니다. WordPress Robots.txt를 최적화하는 것도 도움이 됩니다.

이 SEO 플러그인을 아직 통합하지 않았다면 WordPress 대시보드에서 먼저 설치하고 활성화하십시오. 무료 버전은 초보자도 사용할 수 있으므로 돈을 들이지 않고도 기능을 활용할 수 있습니다.

플러그인을 활성화한 후 플러그인을 사용하여 WordPress 관리 영역에서 직접 robots.txt 파일을 빌드하거나 수정할 수 있습니다.

그것을 사용하려면

• 올인원 SEO로 이동
• 이제 robots.txt 파일을 편집하려면 도구
• 이제 '맞춤 robots.txt 사용'을 클릭하여 편집 옵션을 켭니다.
• WordPress에서 이 토글을 사용하여 사용자 지정 robots.txt 파일을 만들 수도 있습니다.
• 이제 기존 robots.txt 파일이 'robots.txt 미리보기' 섹션의 '올인원 SEO 플러그인'으로 표시됩니다. 이것은 웹 화면 하단에서 볼 수 있습니다.

WordPress에 의해 추가된 기본 규칙은 이 버전에서 표시됩니다.
검색 엔진에 핵심 WordPress 파일을 크롤링할 필요가 없고 XML 사이트맵 웹사이트에 대한 링크를 제공하며 봇이 모든 콘텐츠를 인덱싱할 수 있도록 허용하는 것으로 나타나는 기본 규칙입니다.

SEO를 위해 robots.txt를 향상시키기 위해 새로운 사용자 정의 규칙을 추가할 수 있습니다.

'사용자 에이전트' 필드에 사용자 에이전트를 추가하여 규칙을 추가합니다. 규칙은 *를 사용하여 모든 사용자 에이전트에 적용됩니다.
이제 검색 엔진이 페이지를 크롤링하는 것을 허용할지 여부를 선택하십시오.

이제 '디렉토리 경로' 필드에 디렉토리 경로, 파일 이름을 추가하십시오.

robots.txt에 규칙이 자동으로 적용됩니다. 새 규칙을 추가하려면 '규칙 추가' 버튼을 클릭합니다.
이상적인 robotx.txt 형식을 만들지 않는 한 새 규칙을 추가하는 것이 좋습니다.

귀하가 추가한 사용자 정의 규칙은 다음과 같습니다.

변경 사항을 저장하려면 '변경 사항 저장'을 클릭하세요.

방법 2: FTP를 사용하여 Robots.txt 파일을 수동으로 수정

WordPress Robots.txt를 최적화하는 또 다른 방법은 FTP 클라이언트의 기능을 활용하여 robots.txt 파일 수정을 시작하는 것입니다.

FTP 클라이언트를 사용하여 WordPress 호스팅 계정에 연결하기만 하면 됩니다.

로그인 후 웹사이트의 루트 폴더에서 robots.txt 파일을 볼 수 있습니다.

찾을 수 없다면 robots.txt 파일이 없다는 의미입니다.

이러한 상황에서는 robots.txt 파일을 생성해야 합니다.

앞에서 언급했듯이 robots.txt 파일은 일반적으로 컴퓨터에 다운로드할 수 있는 간단한 텍스트 파일입니다. 그러나 TextEdit, Notepad 또는 WordPad와 같은 일반 텍스트 편집기를 사용하여 수정할 수도 있습니다.

모든 변경을 수행했으면 이제 저장할 차례입니다. 이 파일을 웹사이트의 루트 폴더에 업로드할 수 있습니다.

Robots.txt 파일에서 테스트를 수행하는 방법은 무엇입니까?

robots.txt 테스터 도구를 사용하여 테스트를 수행할 수 있습니다.

웹에서 robots.txt 테스터 도구를 많이 찾을 수 있습니다. 최고 중 하나는 Google Search Console입니다.
이 도구를 사용하려면 먼저 Google 검색 콘솔과 연결된 웹사이트가 있어야 합니다. 그런 다음 해당 기능을 사용할 수 있습니다.

드롭다운 목록에서 속성을 선택하기만 하면 됩니다.

그러나 웹 사이트의 robots.txt 파일을 자동으로 선택하고 모든 경고 및 오류를 강조 표시합니다. 이것은 WordPress Robots.txt 파일을 매우 쉽게 최적화하는 데 도움이 되는 최고의 도구 중 하나입니다.

결론:
이 robots.txt 파일을 최적화하는 주요 모토는 페이지가 페이지를 크롤링하지 않도록 보호하는 것입니다. 예를 들어 WordPress admin 폴더의 페이지 또는 wp-plugin 폴더의 페이지.

가장 일반적인 신화는 크롤링 속도를 향상시키고 더 빠르게 색인을 생성하고 WordPress 카테고리를 차단하고 페이지 및 태그를 달성하여 더 높은 순위를 얻을 수 있다는 것입니다.

그러나 이것은 Google의 웹마스터 가이드라인에 따라 잘못될 것이기 때문에 작동하지 않습니다.

위에서 언급한 모든 사항을 읽고 고려하는 것이 좋습니다.

이 블로그가 웹사이트에 적합한 형식을 사용하여 robots.txt 파일을 만드는 데 도움이 되기를 바랍니다. 그리고 WordPress Robots.txt를 최적화하는 데 도움이 됩니다.