Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Обсуждение установки и настройки поддерживаемых вебсерверов, а также работы с ними.
Ответить
vikont
Сообщения: 271
Зарегистрирован: Сб ноя 11, 2017 10:51 pm

Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Сообщение vikont » Ср апр 10, 2019 11:54 am

Добрый день! Нужен совет или инфа по проблеме.
Запускаю сайты на старом домене и его поддомене (домен не работал более 6 мес)
Проблема начинается после включения в ПУ переадресации с http на https - Яндекс перестает видеть robots.txt и сообщает о том, что сервер отвечает редиректом на запрос robots.txt. Проблема на обоих сайтах! Никакие ухищрения типа исключения robots.txt из переадресации не помогает!
У других сайтов на других доменах при тех же условиях все нормально работает!
Что делать?
Пробовал прописывать настройки и в htaccess и в настройки nginx... Проблема как бы известная, но ни одно решение не помогает.

Может быть кто то знает как это исправить? Или знает чудодейственную строку для донастройки nginx (применительно к данной ПУ) - этот вариант более оптимальный, так как редактирование htaccess приводит к снижению доступности сайтов.

burunduk
Сообщения: 6
Зарегистрирован: Ср апр 10, 2019 7:26 am
Откуда: Russia
Контактная информация:

Re: Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Сообщение burunduk » Сб апр 13, 2019 8:45 am

В Яндекс.Вебмастере добавьте сайт на https. Я так решил проблему.

vikont
Сообщения: 271
Зарегистрирован: Сб ноя 11, 2017 10:51 pm

Re: Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Сообщение vikont » Сб апр 13, 2019 10:22 am

burunduk писал(а):
Сб апр 13, 2019 8:45 am
В Яндекс.Вебмастере добавьте сайт на https. Я так решил проблему.
Спасибо, но в моем случае это не работает, как и многое другое, а вот почему не могу понять. И это только на одном домене, которому уже более 5-ти лет.

bennieSib
Сообщения: 14
Зарегистрирован: Сб апр 20, 2019 8:54 pm
Откуда: Denmark
Контактная информация:

Проблема с переадресацией http t https и доступностью robots txt на одном домене

Сообщение bennieSib » Пн апр 22, 2019 8:29 pm

Закачал сайт в папку www, но сайт не пашет. Там вроди как кэшировать надо... но что это и как это делать?.... Помогите

vikont
Сообщения: 271
Зарегистрирован: Сб ноя 11, 2017 10:51 pm

Re: Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Сообщение vikont » Вс ноя 17, 2019 7:57 pm

И вновь, все та же проблема! Штатные средства переадресации ПУ почему то вызывают у Яндекса многочисленный редирект и отказывается грузить robots.txt с выдачей ошибки

Код: Выделить всё

Server responds to request for robots.txt with redirect
Удалось сгенерировать правило для NGINX, которое решило все проблемы

Код: Выделить всё

if ($http_host ~* "^www\.dsdnr\.ru$"){
    rewrite ^(.*)$ https://dsdnr.ru/$1 redirect; }
Разместил в секции /etc/brainy/data/webserver_config/user_includes/host_akka/my_site.nginx Индивидуальной донастройки виртхостов.
Но столкнулся с тем, что при первом обращении к сайту сначала грузится незащищенный режим, а при обновлении страницы появляется защищенный.
В чем может быть ошибка и как наконец правильно настроить и переадрессацию с HTTP на HTTPS и не потерять ни ROBOTS ни SITEMAP?

vikont
Сообщения: 271
Зарегистрирован: Сб ноя 11, 2017 10:51 pm

Re: Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Сообщение vikont » Пн ноя 18, 2019 10:44 pm

Ситуация проясняется, но пока не полностью:
Обратил внимание, что проблема доступности robots.txt проявляется не на всех аккаунтах. При проверке настроек NGINX для сайтов в /etc/nginx/sites-available/ у проблемных сайтов обнаружилась строка

Код: Выделить всё

rewrite ^(.*) https://$http_host$request_uri permanent;
Откуда берется пока не понял.
При работе с Донастройкой виртуальных хостов в секции без ssl, эта строка появляется вновь.
Как от этого избавится?

Сейчас сайты работают с включенным в ПУ перенаправлением http -> https, и строкой запрещающей перенаправление robots.txt в локальной секции с ssl, в других местах не работает

Код: Выделить всё

location ~ /robots\.txt$ {
}
НО, при таких настройках NGINX при первом вызове сайт грузится в незащищенном режиме (в браузере нет замочка), а при обновлении страницы уже виден замочек защищенного режима.
Как это исправить?

Аватара пользователя
sbury
Сообщения: 1344
Зарегистрирован: Вт фев 06, 2018 7:51 am

Re: Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Сообщение sbury » Вт ноя 19, 2019 6:55 am

vikont писал(а):
Пн ноя 18, 2019 10:44 pm
Ситуация проясняется, но пока не полностью:
Обратил внимание, что проблема доступности robots.txt проявляется не на всех аккаунтах. При проверке настроек NGINX для сайтов в /etc/nginx/sites-available/ у проблемных сайтов обнаружилась строка

Код: Выделить всё

rewrite ^(.*) https://$http_host$request_uri permanent;
Откуда берется пока не понял.
При работе с Донастройкой виртуальных хостов в секции без ssl, эта строка появляется вновь.
Как от этого избавится?
эта запись появляется при включении переадресации http->https

vikont
Сообщения: 271
Зарегистрирован: Сб ноя 11, 2017 10:51 pm

Re: Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Сообщение vikont » Вт ноя 19, 2019 9:35 am

sbury писал(а):
Вт ноя 19, 2019 6:55 am
vikont писал(а):
Пн ноя 18, 2019 10:44 pm
Ситуация проясняется, но пока не полностью:
Обратил внимание, что проблема доступности robots.txt проявляется не на всех аккаунтах. При проверке настроек NGINX для сайтов в /etc/nginx/sites-available/ у проблемных сайтов обнаружилась строка

Код: Выделить всё

rewrite ^(.*) https://$http_host$request_uri permanent;
Откуда берется пока не понял.
При работе с Донастройкой виртуальных хостов в секции без ssl, эта строка появляется вновь.
Как от этого избавится?
эта запись появляется при включении переадресации http->https
Спасибо, я это уже понял и даже редактировал пост, но видимо не сохранил...
Вопрос теперь в другом, почему блокируется robots.txt, не помогают никакие средства из интернета и почему при удалении строки переадресация продолжает работать? Кеш чистил, NGINX перезапускал.
Как все правильно настроить?

vikont
Сообщения: 271
Зарегистрирован: Сб ноя 11, 2017 10:51 pm

Re: Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

Сообщение vikont » Вт дек 17, 2019 1:09 am

Опять что то изменилось и вновь Янлдекс не видит robots из-за редиректа.
Сервер NGINX + PHP-FRM? PHP 7.3 CentOS 7 Установлен модуль PageSpeed.
Редирект с http на https работает, но при его включении Яндекс не видит robots. Старые инструкции для NGINX почему то перестали работать.
Подскажите, как, где и что правильно прописать, чтобы Яндекс видел robots и при этом другое случайно не отвалилось.
Гуглить не посылайте, варианты закончились. Необходимо решение исходящее из реалий ПУ BrainyCP.
Проблема как на основных доменах, так и на их поддоменах.

ПС. При более детальной проверке выяснилось, что есть сайты с нормальной переадресацией и доступным robots, а настройки у всех одинаковые! Видимо где то закешировались сбойные настройки и переходят с сервера на сервер вместе с сайтом.
Где и что удалить? Кеши на сайтах почищены.

Ответить