robots.txt와 sitemap

robots.txt

robots.txt 파일은 검색엔진으로부터 검색을 어떻게 허용할 것인지 규칙을 관리합니다.

웹서버의 루트 디렉토리에 위치해야 하고, 만약 robots.txt 파일이 존재하지 않다면 검색엔진에서 검색이 안되는 것이죠 ㅜ

 

웹앱을 살펴보니 robots.txt는 있지만 검색이 안되도록 설정되어 있더라구요!

다음과 같이 수정해서 검색을 허용시켰습니다!

 

한번 검색이 되나 볼까요?

아직...ㅜ

페이지를 넘겨도 검색이 되지 않더라구요 ㅜ

 

sitemap. 파일이란

robots.txt 가 검색 엔진의 허용을 제어하는 파일이었다면 sitemap.xml은 검색 엔진이 어떤 주소에 접속할 수 있는지 알려주는 네비게이션 역할을 합니다.

 

sitemap 파일은 html, xml의 형태를 가질 수 있고 수동으로 생성할 수도 있으며 자동으로 생성할 수도 있습니다.

• 저는 다음 사이트에서 sitemap을 xml 형식으로 자동 생성했습니다.
  https://www.xml-sitemaps.com/

 

검색 최적화를 위해서 어떤 작업을 더 진행할 수 있을까요?

계속 공부해보죠 ㅎㅎ