gh-pages 검색 엔진(크롤러)에게 노출시키기 (feat. robots.txt)
robots.txt 현재 저의 gh-pages는 even 테마를 submodule로 관리하고 있고, 빌드시에 생성되는 public 폴더를 deploy하는 구조로 되어 있습니다. 테마의 default robots.txt를 사용하게 되는데 기본 robots.txt에는 아래와 같이 Allow 설정이 없습니다. 1 2 User-agent: * Sitemap: https://jaejin0me.github.io/sitemap.xml 저것때문인지 최근에 올린 글들이 검색엔진에 인덱싱이 안되는거 같아 Allow를 추가한 robots.txt를 만들고 GitAction 스크립트를 수정하여 복사하여 사용하도록 했습니다. 1 2 3 User-agent: * Allow: / Sitemap: https://jaejin0me.github.io/sitemap.xml 1 2 3 4 5 6 7 8 9 10 - name: Build run: hugo --minify + - name: Copy robots.txt + run: | + cp -f ./robots.txt ./public/robots.txt + - name: Deploy uses: peaceiris/actions-gh-pages@v3 if: github.ref == 'refs/heads/master' 링크에 들어가 보시면 Allow가 추가된걸 확인할 수 있습니다. https://jaejin0me.github.io/robots.txt 조회수 좀 늘었으면 좋겠네요ㅎㅎ Go 3 우분투에서 LTE 잡는거 꿀팁인데 진짜..