"구글을 거부하면 바로 죽고, 협력하면 천천히 죽고"

초창기부터 수백만개의 웹사이트를 방문하거나 크롤링해 글로벌 인터넷 저장소를 구축해 온 '구글봇(googlebot)'이 제미나이를 학습하기 위해 웹 콘텐츠를 긁어모으는 역할도 동시에 수행한다.

robots.txt 등을 통해 구글봇을 거부할 경우 해당 사이트는 구글 검색 결과에 포함되지 않고, 

이를 받아 들일 경우 AI 검색 때문에 트래픽이 떨어질 수 밖에 없는 진퇴양난에 빠지게 된다.

 

 

- 출처 : https://www.aitimes.com/news/articleView.html?idxno=162557