robots.txt

  • 현재 저의 gh-pages는 even 테마를 submodule로 관리하고 있고, 빌드시에 생성되는 public 폴더를 deploy하는 구조로 되어 있습니다.
  • 테마의 default robots.txt를 사용하게 되는데 기본 robots.txt에는 아래와 같이 Allow 설정이 없습니다.
1
2

User-agent: *
Sitemap: https://jaejin0me.github.io/sitemap.xml
  • 저것때문인지 최근에 올린 글들이 검색엔진에 인덱싱이 안되는거 같아 Allow를 추가한 robots.txt를 만들고 GitAction 스크립트를 수정하여 복사하여 사용하도록 했습니다.
1
2
3

User-agent: *
Allow: /
Sitemap: https://jaejin0me.github.io/sitemap.xml

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

    - name: Build
      run: hugo --minify

+   - name: Copy robots.txt 
+      run: |
+   	cp -f ./robots.txt ./public/robots.txt
+
    - name: Deploy
      uses: peaceiris/actions-gh-pages@v3
      if: github.ref == 'refs/heads/master'