Это файл, запрещающий индексацию отдельных элементов сайта (страниц, файлов, каталогов), связанных, например, с конфиденциальной информацией. https://www.instapaper.com/p/14434408