Как удалить свой сайт из веб архива (archive.org) ?
Советы и рекомендацииНедавно в очередной раз копался по веб архиву и задался мыслью... а реально ли вообще удалить от туда какие либо страницы или же сразу всю историю. Валяется у меня один дроп домен с плохой историей, но хорошим именем, решил провести на нём эксперимент.
Что такое веб архив (web.archive.org)?
Wayback Machine или просто , это сайт который, позволяет смотреть историю сайтов. Конечно, не всех, а только тех которые попали в его базу. Поисковый робот вебархива идексирует интернет сайты и архивирует их.
Как удалить свой сайт из интернет архива?
Самый просто способ предлагают сами разработчики веб архива, а именно добавление инструкций для их робота в robots.txt вашего сайта.
User-agent: ia_archiver
Disallow: /Благодаря этим строчкам вы сообщите их роботу архива что не нужно индексировать ваш сайт + разработчики уверяют что такой способ способствует удалению всей истории в архиве. ()
15.05.2013 02:40:31
admin
5696
16
Комментарии
Arkady
14.12.2013 16:39:44
14.12.2013 16:39:44
Автор, прошло полгода - сайт удалился из архива, метод работает?
Да, конечно, удалился через месяц или два. Потом пробовал еще на паре сайтов, так же, работает.
Alex
16.10.2015 15:14:23
16.10.2015 15:14:23
Подскажите, плиз, сколько занимает процесс удаления из архива? Спасибо.
А черт его знает. Наверно пока бот вебархива (ia_archiver) не зайдет на сайт и не увидит что в robots.txt запрет для этого бота.
Только что пытался как то привлечь бота на свои сайты. Делал запросы с сайта вебархива, но в логах пусто, бот так и не пришел. Я не знаю как можно ускорить его.
Только что пытался как то привлечь бота на свои сайты. Делал запросы с сайта вебархива, но в логах пусто, бот так и не пришел. Я не знаю как можно ускорить его.
Alex
16.10.2015 22:40:11
16.10.2015 22:40:11
stk, а вы могли бы посмотреть корректность роботса? вы разбираетесь в этом?
Alex
16.10.2015 22:46:30
16.10.2015 22:46:30
Цель — закрыть сайт от индексации любыми поисковиками, ну и удалить из archive.org естесно. Спасибо!
# Generated by pr-cy.ru/
User-agent: *
Disallow: /
User-agent: ia_archiver
Disallow: /
# Generated by pr-cy.ru/
User-agent: *
Disallow: /
User-agent: ia_archiver
Disallow: /
Всё верно.
Alex
17.10.2015 01:12:59
17.10.2015 01:12:59
Благодарю
solt
06.12.2015 20:54:44
06.12.2015 20:54:44
Как удалить свои личные данные с архивированного сайта?
А черт его знает :)
MEGA MASS
24.04.2016 20:47:52
24.04.2016 20:47:52
Что за робот? Куда нажимать?
Мне надо удалить частично сохраненные страницы с профилем на одном сайте. Его кто-то сохранял без моего ведома аж 7-8 раз, позже и я сохранил несколько раз. Сохраненное не мной надо бы удалить.
Мне надо удалить частично сохраненные страницы с профилем на одном сайте. Его кто-то сохранял без моего ведома аж 7-8 раз, позже и я сохранил несколько раз. Сохраненное не мной надо бы удалить.
MEGA MASS, удалить из вебархива можно всё или ничего и только на своём сайте.
Василий
14.07.2017 02:17:23
14.07.2017 02:17:23
Пару месяцев это работало,когда поставил,позже сайт начал снова индексироваться,поэтому прочитал что надо ставить так ia_archiver-web.archive.org
Argos
25.10.2017 00:33:44
25.10.2017 00:33:44
пожалуйста помогите срочно нужно помощь , как мне удалить сайт срочно из веб архива
Argos, я знаю только один вариант - сделать то что указано в статье и может быть попробовать сделать запрос своего сайта на web.archive.org
Вдруг это как то спровоцирует выкинуть сайт быстрее.
Вдруг это как то спровоцирует выкинуть сайт быстрее.
Павел
21.09.2018 09:00:56
21.09.2018 09:00:56
Здравствуйте! Stk, известно ли Вам, как из Веб-архива удалить конкретную страницу?