WordPress Robots.txt를 최적화하는 방법(고급 가이드)

많은 사람들이 robots.txt 파일에 대해 들어보았지만 파일이 어디에 있고 어떻게 생겼는지 알고 있습니까? 가장 중요한 것은 SEO를 향상시키기 위해 WordPress robots.txt 파일을 최적화하는 방법을 알고 있습니까?

이 기사에서는 WordPress robots.txt 파일에 대한 정확하고 명확한 그림을 제공하기 위해 이러한 질문을 다룹니다. 거기에서 파일을 사용하여 SERP에 대한 온라인 가시성을 높이거나 대중의 눈에 민감한 콘텐츠를 숨길 수 있습니다.

robots.txt 위치와 해당 예제로 시작하여 파일 편집 방법을 강조한 다음 WordPress robots.txt 최적화에 대한 고급 팁으로 이 게시물을 마무리합니다.

뛰어들자!

• WordPress robots.txt 위치는 어디에 있습니까?
• WordPress에서 어떻게 robots.txt를 편집합니까?
• SEO를 위해 WordPress Robots.txt 파일을 최적화하는 방법

WordPress robots.txt 위치는 어디에 있습니까?

robots.txt 파일은 웹사이트의 루트 폴더에 있습니다. 주요 임무는 사이트를 크롤링하고 색인을 생성하는 방법에 대해 검색 엔진 봇을 안내하는 것입니다. 특히 특정 파일 및 폴더에 대한 검색 엔진 액세스를 거부합니다.

많은 WordPress 사이트 소유자는 robots.txt 파일을 사용하여 검색 색인 생성을 억제합니다 . 반직관적으로 들리죠? SEO 또는 SERP에서 1위를 차지하는 것이 온라인 비즈니스 성공에 중요한 요소라는 사실을 고려할 때.

그러나 사이트가 개발 모드에 있거나 저품질 또는 개인 콘텐츠가 포함된 경우 robots.txt는 해당 콘텐츠에 대한 크롤링 및 색인 생성을 차단하는 데 유용합니다. 여기에서 WordPress robots.txt 파일을 최적화하여 판매 페이지, 제품 페이지 또는 후원 게시물과 같은 상위 방문 페이지의 우선 순위를 지정할 수 있습니다 .

마찬가지로 크롤링 할당량을 최적화 할 수도 있습니다. 크롤링 할당량 또는 크롤링 예산은 지정된 시간에 Google 봇이 크롤링하는 WordPress 사이트의 페이지 수를 나타냅니다. 중요한 페이지가 예산을 크롤링하도록 허용하면 검색 결과의 첫 번째 페이지에서 빠르게 색인이 생성되고 순위가 매겨집니다.

그러나 제대로 수행되지 않으면 SEO에 해를 끼칠 수 있으므로 robots.txt 파일을 최적화하는 데 유의하십시오.

WordPress Robots.txt 예

도메인 이름 끝에 /robots.txt 를 추가하면 모든 웹사이트의 robots.txt 파일을 볼 수 있습니다. 따라서 robots.txt 파일은 다음과 같이 보일 것입니다.

robots.txt 파일의 사용자 에이전트 는 robots.txt 파일을 읽는 검색 엔진입니다. 사용자 에이전트에서 별표로 표시되면 모든 검색 엔진에 녹색 신호를 제공한다는 의미입니다.

robots.txt 파일에서 허용 및 허용 안 함은 봇이 크롤링할 수 있는 페이지와 콘텐츠를 알려줍니다. 보시다시피, 우리는 검색 엔진이 WordPress admin-ajax에서 파일을 크롤링하고 인덱싱하도록 허용했으며 플러그인 및 관리 폴더에 대한 액세스를 허용하지 않았습니다.

사이트 맵은 웹 사이트의 모든 페이지에 대한 목록과 세부 정보가 포함된 XML 파일입니다.

WordPress에서 Robots.txt를 편집하는 방법?

WordPress에서 robots.txt를 편집하는 가장 쉬운 방법은 플러그인을 사용하는 것입니다. robots.txt 파일, 올인원 SEO, YoastSEO, RankMath 등을 편집하는 데 탁월한 몇 가지 강력한 SEO 플러그인이 있습니다.

그 외에도 Virtual Robots.txt, WordPress Robots.txt 최적화 등과 같이 WordPress robots.txt 파일을 최적화하기 위해 단독으로 개발된 플러그인에서 도움을 요청할 수도 있습니다.

또는 FTP 클라이언트를 통해 파일을 수동으로 편집할 수 있습니다. 먼저 FTP 클라이언트를 사용하여 WordPress 호스팅 제공업체에 연결해야 합니다. 그런 다음 웹사이트의 루트 디렉터리에서 robots.txt 파일을 찾습니다.

robots.txt 파일이 표시되지 않으면 사이트에 해당 파일이 없을 가능성이 있습니다. 당황하지 마시고 그냥 새로 만드세요. 마우스 오른쪽 버튼을 클릭하고 "새 파일 만들기"를 선택한 다음 바탕 화면에 다운로드합니다. Robots.txt는 일반 텍스트 파일입니다. 즉, 워드패드나 메모장과 같은 텍스트 편집기를 사용하여 다른 파일처럼 정상적으로 다운로드하고 편집할 수 있습니다.

그런 다음 변경 사항을 업데이트하고 편집한 robots.txt 파일을 루트 폴더에 다시 업로드하면 완료됩니다.

Robots.txt 파일 테스트

수정 후 robots.txt 파일이 정상적으로 작동하는지 확인해야 합니다. 실수가 발생하면 웹 사이트가 검색 결과 페이지에서 제외되는 결과를 초래할 수 있습니다.

다양한 robots.txt 테스트 도구 중에서 Google Search Console을 사용하여 robots.txt 파일을 무료로 테스트할 것을 권장합니다.

도구가 인증을 확인할 수 있도록 웹사이트 URL을 이미 Google Search Console에 제출했는지 확인하세요. 그렇지 않은 경우 검색 엔진에 사이트를 제출하는 방법에 대한 가이드를 확인하십시오.

그런 다음 Google Search Console 로봇 테스트 도구를 사용할 수 있습니다. 드롭다운 메뉴에서 속성을 선택하면 바로 도구가 파일을 살펴보고 오류와 경고가 있으면 알려줍니다.

또한 이 도구를 사용하면 사이트의 특정 페이지를 입력한 다음 특정 사용자 에이전트를 선택하여 해당 페이지가 인덱싱 차단 또는 인덱싱 허용 여부를 확인할 수 있습니다.

도구에서 직접 파일을 편집하고 테스트를 다시 실행할 수 있습니다. 그러나 실제 파일은 여전히 ​​변경되지 않은 상태로 유지됩니다. 에디션을 복사하여 실제 파일에 붙여넣고 거기에 저장해야 할 수도 있습니다.

SEO를 위해 WordPress Robots.txt 파일을 최적화하는 방법

/wp-admin/ , /wp-content/plugins/ , /trackback/ 및 /readme.html 과 같은 민감한 페이지 중 일부는 선택적으로 허용하지 않고 나머지는 "허용" 상태로 유지하는 것이 좋습니다.

또한 사이트맵을 추가하여 WordPress robots.txt 파일을 최적화할 수 있습니다. WordPress는 자체 사이트맵을 제공하지만 YoastSEO 또는 All in One SEO와 같은 SEO 플러그인을 사용하여 맞춤형 사이트맵을 구축할 수 있습니다. 게시물과 페이지에 대해 별도의 사이트맵을 생성할 수 있는 기능을 제공합니다.

이 시점에서 이러한 사이트맵을 robots.txt 파일에 추가하면 봇 크롤링이 더 빠르고 쉽게 향상됩니다.

또한 최적화 아이디어에도 불구하고 robots.txt 파일을 과도하게 수정하거나 수정하지 않는 것이 좋습니다. 파일을 너무 많이 변경하면 페이지 구조가 손상되고 봇이 사이트 크롤링을 방지하는 데 실패할 수 있기 때문입니다.

따라서 적은 것이 더 많습니다. 사이트맵에 집중하고 상위 페이지를 먼저 발견하기만 하면 됩니다.

지금 온라인 가시성을 높이십시오!

Robots.txt는 크롤링 할당량을 전략적으로 최적화하고 검색 인덱싱에서 비공개 콘텐츠를 숨길 수 있게 해주는 중요한 파일입니다.

이 문서에서는 robots.txt 파일이 무엇인지, 파일을 찾을 수 있는 위치 및 파일을 편집하는 방법에 대해 설명했습니다. 또한 SEO를 위해 WordPress robots.txt 파일을 최적화하는 방법도 제시했습니다. 문제는 robots.txt의 버전이 적을수록 좋습니다. 주요 페이지 가시성을 높이기 위해 파일에 사용자 정의 사이트맵을 추가하는 것을 잊지 마십시오.

무엇을 기다리고 있습니까? 지금 robots.txt 파일로 온라인 가시성을 높이십시오!