Поделюсь простым способом как создать robots.txt, который можно удобно редактировать через админку Октября.

Создаём страницу с адресом /robots.txt, название страницы и имя файла нам не важно.

В разметке пишем всё то, что нужно написать в документе robots.txt.

Получается примерно вот так:

И последний штрих, в секции с кодом пишем:

код:

function onStart() {
  $content = $this->page->markup;
  return Response::make($content)->header('Content-Type', 'text/plain');
}

Этим кодом мы говорим, что страницу нужно отдать как text/plain, т.е. простой текст.

Ставим лайки, подписываемся, жмём колокольчик 😉