Yoast SEO를 사용하여 WordPress Robots.txt를 SEO용으로 최적화하는 방법

검색 엔진 최적화(SEO)는 효과적인 웹 사이트를 구축하는 데 중요한 부분이며 SEO 성공을 달성하는 가장 중요한 요소 중 하나는 올바른 도구를 사용하여 사이트를 최적화하는 것입니다. 그러한 도구 중 하나는 검색 엔진 크롤러가 콘텐츠에 액세스하고 색인을 생성하는 방법을 제어하는 ​​Robots.txt 파일입니다.

WordPress Robots.txt 파일을 최적화하면 더 나은 검색 엔진 순위를 달성하고 웹 사이트의 가시성을 향상하며 트래픽을 늘리는 데 도움이 될 수 있습니다.

그러나 그 중요성에도 불구하고 많은 웹사이트 소유자는 Robots.txt 파일을 올바르게 구성하는 방법에 익숙하지 않습니다. 이 블로그 게시물에서는 SEO용 WordPress Robots.txt를 마스터하고 웹 사이트에서 SEO의 잠재력을 최대한 활용하기 위해 알아야 할 모든 것을 안내합니다.

SEO에서 robots.txt의 역할 이해

검색 엔진 최적화에서 robots.txt 파일의 기능을 이해하는 것은 WordPress 웹사이트 최적화 노력을 최대한 활용하고 최상의 결과를 생성하는 데 필수적입니다. 로봇 배제 프로토콜이라고도 하는 Robots.txt라는 텍스트 파일은 검색 엔진 크롤러에게 웹 사이트의 어느 영역을 크롤링하고 색인을 생성해야 하는지에 대한 지침을 제공합니다.

검색 엔진의 봇이 귀하의 웹사이트를 방문할 때 가장 먼저 하는 일은 루트 디렉터리에서 robots.txt라는 파일을 확인하는 것입니다. 이 파일은 봇을 위한 가이드 역할을 하며, 방문이 허용된 사이트와 파일은 물론 방문하지 않는 사이트와 파일에 대해 조언합니다.

robots.txt 파일을 올바르게 구성하면 검색 엔진에 표시되는 자료와 숨겨진 내용을 완벽하게 제어할 수 있습니다.

robots.txt 파일을 사용하면 웹사이트의 스캔 효율성이 주로 향상됩니다. 이는 검색 엔진 봇이 웹 사이트의 가장 중요한 부분을 크롤링하고 색인화하는 데 집중하도록 도와주므로 필수적이지 않은 사이트나 일반 대중에게 공개해서는 안 되는 민감한 자료에 리소스가 낭비되는 것을 방지할 수 있습니다.

Robots.txt 파일이란 정확히 무엇입니까?

Robots.txt라는 간단한 텍스트 파일은 검색 엔진에서 사용하는 웹 크롤러를 웹 사이트의 특정 웹 페이지로 안내합니다. 또한 로봇에게 특정 사이트를 크롤링하지 않도록 지시합니다.

이 기사에 대한 심층 분석을 진행하기 전에 검색 엔진의 작동을 이해하는 것이 중요합니다.
크롤링, 색인 생성 및 순위 지정은 검색 엔진에서 수행되는 세 가지 주요 활동입니다.

검색 엔진이 가장 먼저 하는 일은 스파이더 또는 봇이라고도 알려진 웹 크롤러를 월드 와이드 웹 전체에 파견하는 것입니다. 봇이라고 알려진 이러한 프로그램은 새로운 연결, 페이지 및 웹 사이트를 찾기 위해 웹 전체를 크롤링하는 지능형 소프트웨어입니다. 크롤링은 웹 콘텐츠를 검색하는 프로세스를 가리키는 용어입니다.

귀하의 웹사이트 페이지는 봇이 발견한 후 사용할 수 있는 데이터 구조로 구성됩니다. 인덱싱은 이 프로시저에 부여된 이름입니다.

그리고 결국 모든 것은 순위로 귀결됩니다. 사용자가 검색어를 입력하면 검색 엔진은 사용자가 찾고 있는 내용에 따라 찾을 수 있는 가장 관련성 높은 정보를 사용자에게 제공해야 합니다.

Robots.txt 파일은 어떻게 보입니까?

robots.txt 파일은 웹 사이트 구조와 기능의 핵심 구성 요소이지만 실제로 어떻게 나타나는지 궁금한 적이 있습니까?

이 파일은 User-agent 뒤에 별표가 표시된 것처럼 웹사이트를 방문하는 모든 검색 엔진 로봇에 적용 가능합니다. 각 검색 엔진은 서로 다른 사용자 에이전트를 사용하여 인터넷을 탐색합니다.

예를 들어, Google은 Googlebot을 활용하여 Google 검색을 위해 귀하의 웹사이트 콘텐츠를 색인화합니다. 이러한 사용자 에이전트의 수는 수백 개에 이릅니다. 모든 사용자 에이전트에 대해 사용자 정의 지침을 구성할 수 있습니다. 예를 들어 robots.txt 파일의 첫 번째 줄은 'Googlebot에 대한 특정 지침을 설정하려는 경우 User-agent: Googlebot으로 알려져 있습니다.

크롤링 예산이란 정확히 무엇입니까?

크롤링 예산은 검색 엔진이 특정 기간 내에 웹사이트에서 크롤링할 의향이 있는 페이지 수를 나타냅니다. 이는 웹사이트의 권위, 인기도, 크롤링 요청을 처리하는 서버의 용량 등 다양한 요소에 따라 결정됩니다. 또한 웹사이트에 크롤링 예산이 최대한 효율적으로 사용되도록 해야 합니다.

웹사이트에 여러 페이지가 있는 경우 가장 중요한 페이지가 먼저 봇에 의해 크롤링되어야 합니다. 따라서 robots.txt 파일에 이를 구체적으로 명시하는 것이 중요합니다.

WordPress에서 robots.txt 파일을 찾고 편집하는 방법은 무엇입니까?

WordPress에서 robots.txt 파일을 찾아 편집하는 것은 검색 엔진에 맞게 웹사이트를 최적화하는 데 중요한 단계입니다. 이 파일을 적절하게 구성하면 검색 엔진 크롤러가 사이트의 어느 부분에 액세스할 수 있는지 제어하여 가장 중요한 페이지와 콘텐츠에 집중할 수 있습니다.

WordPress에서 robots.txt 파일을 찾아 편집하려면 다음의 간단한 단계를 따르세요.

1. WordPress 대시보드에 로그인합니다.
2. 왼쪽 메뉴에서 "설정" 탭으로 이동합니다.
3. 읽기 설정에 액세스하려면 "읽기"를 클릭하세요.
4. "검색 엔진 가시성" 섹션을 찾을 때까지 아래로 스크롤합니다.
5. 여기에는 "검색 엔진이 이 사이트를 색인화하지 않도록 하십시오."라는 옵션이 표시됩니다. 이 옵션을 선택 취소하면 전체 사이트에 대한 검색 엔진 액세스를 제한하는 기본 robots.txt 파일이 생성됩니다.
6. robots.txt 파일을 추가로 사용자 정의하려면 웹사이트의 루트 디렉터리에 액세스하면 됩니다. 이는 일반적으로 FTP 클라이언트 또는 cPanel 파일 관리자를 통해 수행할 수 있습니다.
7. 루트 디렉터리를 찾았으면 "robots.txt"라는 파일을 찾습니다.
8. 편집 중에 문제가 발생할 경우를 대비해 기존 robots.txt 파일의 복사본을 컴퓨터에 백업으로 다운로드합니다.
9. 텍스트 편집기를 사용하여 robots.txt 파일을 엽니다.
10. 필요에 따라 파일을 사용자 정의하십시오. 사이트의 특정 영역에 대한 액세스를 허용하거나 허용하지 않는 특정 지시어를 추가할 수 있습니다. 예를 들어, 다음 줄을 추가하면 검색 엔진이 관리 영역을 크롤링하지 못하도록 할 수 있습니다.
1. 허용하지 않음: /wp-admin/
11. 변경 사항을 robots.txt 파일에 저장하고 웹사이트의 루트 디렉터리에 다시 업로드하여 이전 버전을 대체합니다.
12. 마지막으로 Google의 robots.txt 테스트 도구 또는 기타 유사한 도구를 사용하여 robots.txt 파일을 테스트하여 올바르게 구성되었는지 확인하세요.

WordPress에서 적절한 위치에 있는 robots.txt 파일을 식별하고 수정하면 검색 엔진 크롤러가 웹 사이트와 상호 작용하는 방식을 제어할 수 있습니다. 이를 통해 웹사이트의 가시성과 순위 측면에서 최상의 결과를 얻을 수 있습니다. 검색 엔진 최적화(SEO)의 이러한 측면에 대해 배우고 전문가가 되기 위해 시간을 투자한다면 WordPress 사이트의 성공을 향한 길을 잘 걷게 될 것입니다.

WordPress에서 Robots.txt 파일을 만드는 방법은 무엇입니까?

robots.txt 파일이 무엇이고 왜 중요한지 논의했으므로 이제 SEO용 WordPress Robots.txt를 만들어 보겠습니다. WordPress에서는 robots.txt 파일을 생성하기 위한 두 가지 고유한 옵션을 제공합니다. 첫 번째 방법은 WordPress 플러그인을 사용하는 것이고, 두 번째 방법은 파일을 웹 사이트의 루트 폴더에 수동으로 업로드하는 것입니다.

1단계: Yoast SEO 플러그인을 사용하여 Robots.txt 파일을 생성합니다.

WordPress에 구축된 웹사이트를 최적화하는 데 도움을 주기 위해 SEO 플러그인을 활용할 수 있습니다. 이러한 플러그인의 대부분은 설치 패키지 내에 자체 robots.txt 파일 생성기를 제공합니다.

먼저 플러그인을 다운로드하여 설치하세요.

플러그인 메뉴로 이동하여 "새로 추가"를 클릭하세요. 다음 단계는 Yoast SEO 플러그인을 찾아서 다운로드하고, 아직 없는 경우 켜는 것입니다.

두 번째 단계로 robots.txt 파일을 만듭니다.

Yoast를 사용하여 robots txt 파일 만들기

일부 기본 지시어로 생성된 파일을 볼 수 있습니다.

Yoast SEO용 robots.txt 파일 생성기에는 다음 지시문이 자동으로 포함됩니다.

사용자 에이전트: * 허용하지 않음: /wp-admin/ 허용: /wp-admin/admin-ajax.php

robots.txt에 추가 지침을 추가합니다. robots.txt를 편집한 후 저장을 클릭합니다.

도메인 이름과 '/robots.txt'를 입력하세요. 아래와 같이 브라우저에 기본 지시어가 표시되면 robots.txt 파일이 완료된 것입니다.
생성된 로봇 txt 파일

또한 robots.txt에 사이트맵 URL을 추가하는 것이 좋습니다.

기본 로봇 txt 파일
플러그인이 활성화된 후 Yoast SEO > 도구로 이동하여 드롭다운 메뉴에서 파일 편집기를 선택하세요. 계속해서 도메인 이름을 입력한 다음 '/robots.txt'를 입력하세요. 브라우저를 보면 몇 가지 기본 지시어가 표시된 것을 볼 수 있습니다.

2단계: FTP를 사용하여 수동으로 Robots.txt 파일 만들기

• 로컬 컴퓨터에서 robots.txt 파일을 생성한 다음 WordPress 웹사이트의 루트 폴더에 업로드하는 것이 프로세스의 다음 단계입니다.
• 또한 Filezilla와 같은 FTP 프로그램을 사용하여 WordPress 호스팅에 액세스해야 합니다. 로그인에 필요한 자격 증명이 아직 없는 경우 호스팅 서비스의 제어판을 통해 해당 자격 증명에 액세스할 수 있습니다. 따라서 FTP 프로그램으로 로그인한 후 웹사이트의 루트 폴더에 robots.txt 파일이 있는지 확인할 수 있습니다.



• 파일을 마우스 오른쪽 버튼으로 클릭하고 파일이 있으면 편집을 선택합니다.

따라서 FTP 클라이언트로 성공적으로 로그인하면 robots.txt 파일이 웹사이트의 루트 폴더에 있는지 확인할 수 있습니다. 도메인 이름 뒤에 '/robots.txt'를 입력하는 것이 파일이 성공적으로 업로드되었는지 확인하는 가장 좋은 방법입니다.

변경한 후 '저장'을 클릭하세요.

파일이 아직 존재하지 않는 경우 파일을 생성해야 합니다. 메모장과 같은 기본 텍스트 편집기를 사용하여 파일에 지시문을 추가하면 만들 수 있습니다. 와 같은

사용자 에이전트: * 허용하지 않음: /wp-admin/ 허용: /wp-admin/admin-ajax.php

FTP 클라이언트에서 '파일 업로드'를 클릭하여 웹사이트의 루트 폴더에 파일을 업로드하세요.

파일이 성공적으로 업로드되었는지 확인하려면 도메인 이름과 "/robots.txt"를 입력하세요.

이것은 WordPress 웹사이트에 robots.txt 파일을 수동으로 업로드하는 방법입니다!

Robots.txt: 장점과 단점을 알고 있습니다.

robots.txt 파일 사용의 이점

이는 색인을 생성하고 싶지 않은 사이트에서 시간을 낭비하지 않도록 검색 엔진에 지시하며, 이는 검색 엔진의 크롤링 예산을 최적화하는 데 도움이 됩니다. 그렇게 하면 검색 엔진이 귀하에게 가장 필수적인 사이트를 크롤링할 가능성이 높아집니다.

이런 식으로 웹 서버의 리소스를 낭비하게 만드는 봇을 차단하면 서버 최적화에 도움이 됩니다.
감사 페이지, 랜딩 페이지, 로그인 페이지 및 검색 엔진에서 색인화할 필요가 없는 기타 페이지를 숨기는 데 유용합니다.

robots.txt 파일의 부정적인 측면

이제 여기에 제공된 정보를 사용하여 모든 웹사이트에서 robots.txt 파일을 볼 수 있습니다. 이해하는 것은 그리 어렵지 않습니다. 간단히 도메인 이름과 "/robots.txt"를 입력하고 Enter 키를 누르세요.

그러나 여기에는 어느 정도 위험도 따릅니다. SEO 파일용 WordPress Robots.txt에는 검색 엔진에서 색인을 생성하지 않으려는 웹사이트의 일부 내부 페이지에 대한 URL이 포함되어 있을 가능성이 있습니다.

예를 들어, 어떤 이유로든 색인을 생성하고 싶지 않은 로그인 페이지가 있을 수 있습니다. 하지만 robots.txt 파일에 언급되어 있다는 사실로 인해 공격자가 해당 웹사이트를 볼 수 있게 됩니다. 특정 민감한 정보를 숨기려는 경우에도 마찬가지입니다.

robots.txt 파일을 작성하는 동안 오타 하나만 있어도 검색 엔진 최적화(SEO) 노력이 모두 물거품이 됩니다. 파일을 쉽게 만들 수 있는 경우에도 마찬가지입니다.

Robots.txt 파일을 저장할 위치
이제 robots.txt 파일을 삽입해야 하는 위치를 잘 알고 있다고 가정해 보겠습니다.

웹사이트의 robots.txt 파일은 항상 웹사이트의 루트 디렉터리에 있어야 합니다. 도메인 이름이 yourdomain.com인 경우 웹사이트의 robots.txt 파일 URL은 https://yourdomain.com/robots.txt입니다.

robots.txt 파일을 웹사이트의 루트 디렉터리에 배치하는 것 외에도 준수해야 할 몇 가지 권장사항은 다음과 같습니다.

• 파일 이름을 robots.txt로 지정하는 것이 매우 필요합니다.
• 이름을 대문자로 표기하는 것이 중요합니다. 따라서 올바르게 가져와야 합니다. 그렇지 않으면 작동하지 않습니다.
• 각 명령어는 별도의 줄에 배치되어야 합니다.
• URL이 완성되면 "$" 기호로 표시되어야 합니다.
• 각 사용자 에이전트의 인스턴스는 하나만 사용해야 합니다.
• robots.txt 파일의 내용에 대한 설명을 사람에게 제공하려면 각 줄을 해시(#)로 시작하여 주석을 사용하세요.

robots.txt 파일 테스트 및 유효성 검사

robots.txt 파일을 테스트하고 검증하는 것은 검색 엔진이 웹 사이트를 올바르게 크롤링하고 색인을 생성하도록 하는 중요한 단계입니다. 잘 최적화된 robots.txt 파일은 검색 엔진이 민감하거나 관련 없는 페이지에 액세스하는 것을 방지하고 크롤링 효율성을 향상시키며 궁극적으로 웹사이트의 전반적인 성능을 향상시킬 수 있습니다.

robots.txt 파일 테스트를 시작하려면 이 목적을 위해 특별히 설계된 다양한 온라인 도구를 활용할 수 있습니다. 이러한 도구를 사용하면 robots.txt 지시문을 입력하고 검색 엔진이 이를 해석하고 따르는 방법을 시뮬레이션할 수 있습니다.

결과를 분석하면 파일의 잠재적인 문제나 구성 오류를 식별할 수 있습니다. robots.txt 파일을 정기적으로 모니터링하고 업데이트하는 것은 특히 웹사이트의 구조나 콘텐츠를 변경할 때 매우 중요합니다.

경계심을 유지함으로써 발생할 수 있는 모든 문제를 신속하게 식별하고 해결할 수 있습니다. 이러한 세심한 접근 방식은 궁극적으로 디지털 환경에서 웹사이트의 인지도, 색인화 및 전반적인 성공에 기여할 것입니다.

여기서 제안하는 도구는 Google Search Console입니다.

'지금 속성 추가' 링크로 이동한 후 화면에 표시되는 간단한 지침을 따르면 웹사이트를 Google Search Console에 추가할 수 있습니다. 완료한 후 "속성을 선택하세요"라고 표시된 드롭다운 메뉴의 옵션 중에 귀하의 웹사이트가 포함됩니다.

웹사이트를 선택한 후 도구는 자동으로 귀하의 웹사이트와 연결된 robots.txt 파일을 가져오고 실수나 경고가 있는 경우 강조 표시합니다.

WordPress 웹사이트에 Robots.txt 파일이 필요합니까?

실제로 WordPress 웹사이트에는 robots.txt 파일이 필요합니다. 귀하의 웹사이트에 robots.txt 파일이 없더라도 검색 엔진은 이를 크롤링하고 색인을 생성합니다. 이제 robots.txt의 목적, 작업 및 크롤링 예산에 대해 논의했는데 왜 하나를 생략하시겠습니까?

검색 엔진은 robots.txt 파일을 통해 크롤링할 항목과 크롤링하지 않을 항목을 학습합니다.

크롤링 예산의 부정적인 결과를 고려하는 것이 robots.txt를 추가하는 주요 이유 중 하나입니다.

이전에 말했듯이 각 웹사이트에는 크롤링 예산이 있습니다. 이는 단일 세션에서 봇이 방문하는 사이트 수에 따라 결정됩니다. 봇은 해당 세션에서 웹 사이트의 모든 페이지를 완료하지 못한 경우 다음 세션에서 반환되어 크롤링을 계속합니다.
또한 이로 인해 웹사이트의 색인이 생성되는 속도가 느려집니다.

검색 봇이 미디어 자산, 테마 디렉터리, 플러그인 및 관련 없는 사이트를 검색하지 못하도록 방지하여 이 문제를 신속하게 해결함으로써 크롤링 할당량을 절약할 수 있습니다.

마지막 말
우리는 귀하의 웹사이트를 작업하는 동안 콘텐츠 최적화, 키워드 연구, 백링크 구축, sitemap.xml 생성 및 기타 SEO 관련 작업을 우선적으로 수행합니다. SEO용 WordPress Robots.txt는 일부 웹마스터가 간과하는 한 가지 측면입니다.

robots.txt 파일은 웹사이트가 처음 시작될 때 그다지 중요하지 않을 수 있습니다. 즉, 귀하의 웹 사이트가 더 커지고 더 많은 페이지가 있을 때 권장 robots.txt 파일을 사용하기 시작하면 큰 성과를 거둘 것입니다.