отправить сайт на индексацию google
Индексирование сайта. Рассказываем, как добавляться в поисковые системы, и отвечаем на важные вопрос
Статья из блога АРТИЗАН-ТИМ.
Вы решили создать сайт. Выбрали перспективную тематику, придумали доменное имя и развернули ресурс на хостинге. Что делать дальше? Следующий шаг — добавление сайта в Google и Яндекс. Это очень важно, поскольку пока о сайте не узнают поисковые роботы, пользователи не смогут находить вас через поиск. Ресурс будет нормально работать, но не сможет получать самое ценное — органический трафик.
Забегая вперед отметим, что первые полгода-год рассчитывать на поток органики нет смысла. Молодой сайт по умолчанию попадает в песочницу и его видимость в поиске ограничена. Больше о том, что такое песочница и как из нее быстрее выйти — читайте здесь.
В добавлении в индекс нет ничего сверхсложного. Если коротко: нужно создать учетные записи в вебмастерках Google и Яндекса и подтвердить в них права на владение сайтом; далее создаем карту сайта в xml-формате и забрасываем ее в соответствующие разделы каждого из сервисов. Теперь наглядно и более детально, как это делать. По ходу дела будем давать ответы на самые животрепещущие вопросы, возникающие у новичков.
Вам также может быть интересен наш курс молодого seo-бойца, как создать и по-белому продвинуть сайт, имея скромный бюджет:
Индексируем сайт в Google
Основной способ добавить ресурс в поиск Google — сделать это посредством Google Search Console. Вы можете встретить и другие варианты, но связываться с ними мы бы категорически не советовали, ниже расскажем почему.
Google Search Console — это бесплатный сервис для вебмастеров, через который отслеживают все жизненно важные параметры сайта в поисковой системе Google. О назначении и основных фишках консоли можно почитать здесь. Ну, или просто поверьте на слово, что привязка сайта к этому сервису — мастхэв для любого вебмастера, конечно, если вы не намерены пренебрегать трафиком из Гугла.
Подтверждаем права на сайт в Google Search Console
Для начала вам понадобится — аккаунт в Google. Он создается за пару минут здесь. Далее переходим на страницу сервиса и привязываем к нему свой сайт. Но сначала нужно пройти верификацию, что вполне логично, т.к. система должна убедиться, что права на сайт принадлежат вам.
Так приветствует Search Console. Начинаем верификацию. Мы покажем самый популярный (да, он не один) способ подтверждения прав — с помощью DNS.
Сначала указываем сайт. Можно ввести либо просто доменное имя (слева), либо URL ресурса (справа). Подробные подсказки даны в каждом из полей.
Прописав имя сайта, и нажав продолжить, появится окно с перечнем вариантов, каким именно способом вы желаете подтвердить права на сайт. Выбираем «Добавление записи DNS в конфигурацию домена». Вам будет доступно окно, изображенное на скриншоте. Сгенерированная TXT-запись – это персональный ключ верификации, который нужно добавить в конфигурацию DNS домена в панели управления хостингом.
Давайте посмотрим, как это сделать на примере самой популярной панели управления веб-хостингом cPanel. В блоке «Домены» переходим в Zone Editor, выбираем нужный домен (если он не один) и нажимаем «Управлять».
Откроется новое окно.
В нем еще раз выбираем интересующий нас домен (в поле «имя»), а в графу «запись» вводим скопированный TXT-ключ. Нажимаем «Добавить запись».
Права на сайт подтверждены, но нужно подождать несколько часов пока обновится DNS.
Есть и другие способы подтверждения прав в Google Search Console. Возможно, они и несколько сложней для новичков, но хороши тем, что позволяют пользоваться консолью сразу после верификации. Это может быть удобно, когда по каким-то причинам нет времени ждать обновления DNS. Подробно об остальных способах верификации — читайте в справке Google.
Отправляем запрос на индексирование
После того как мы добавили сайт в вебмастерку и прошли верификацию, отправляем запрос на индексирование. Для этого:
1. Переходим во вкладку «Проверка URL».
2. В поисковой строке консоли вбиваем адрес ресурса (или новой страницы).
3. Запрашиваем индексирование.
Если указанный URL доступен для сканирования поисковыми роботами (их также называют краулерами), страница попадает в очередь на индексирование, о чем вас уведомят следующим сообщением.
Создаем и добавляем sitemap.xml
Чтобы помочь краулерам Google корректно проиндексировать сайт, в вебмастерку необходимо загрузить карту сайта. Начинающие вебмастера почему-то думают, что это очень сложно. Расслабьтесь, это не так. Все просто, но давайте по порядку. Sitemap.xml — это список XML-документов, в которые вшиты служебные данные. Вся эта информация — своего рода ориентиры, необходимые поисковым системам для удобной и эффективной индексации всех страниц сайта.
Выглядит sitemap.xml вот так:
Сгенерировать sitemap.xml можно при помощи специальных программ и даже онлайн-сервисов. С сайтами на WordPress, все еще проще: можно использовать плагины Yoast или Google XML Sitemaps, которые сделают большую часть работы сами.
Сгенерировав файл sitemap.xml, далее его нужно загрузить на сервер. Обратите внимание, это актуально, если вы создавали карту сайта с помощью сервисов или программ. В cPanel это делают через «Диспетчер файлов», доступный в блоке «Файлы» на стартовой странице.
Если использовались плагины для WordPress, файл sitemap.xml подтянется на сервер автоматически.
Остался финальный аккорд — забрасываем карту сайта в соответствующий раздел Google Search Console: Индекс → Файлы Sitemap
Об альтернативных способах индексирования
На форумах вебмастеров можно встретить дискуссии, на тему альтернативных способов отправки страниц в индекс. Например, многие оптимизаторы уверены, что если прогрузить в браузере Google Chrome главную или новые страницы сайта, они автоматически залетят в гугловский индекс. Или, что если добавить на непроиндексированные страницы код счетчика Google Analytics, поиск автоматически получит информацию о появлении новых документов, которые необходимо просканировать.
Эти способы, не требующие практически никаких усилий, могут показаться привлекательными для начинающих вебмастеров. Но связываться с ними мы бы категорически НЕ рекомендовали. Нет убедительных оснований считать, что Google Chrome и GA каким-либо образом влияют на индексирование страниц. Это подтверждено, в том числе, экспериментально1. В самом Google также никогда официально не высказывались на этот счет.
Поэтому пользуйтесь только общепризнанным алгоритмом добавления в индекс Google. Еще раз, теперь уже вкратце, подытожим, что нужно делать:
Добавляем сайт в поиск Яндекса
Чтобы страницы нового сайта начали отображаться в поиске Яндекса их также нужно добавить в индекс. Механика процесса идентична поисковой системе Google. Добавление ресурса в поиск осуществляют через консоль Яндекс.Вебмастер. При этом есть и другие способы (о них мы расскажем ниже), но наиболее рабочим считается именно этот. Возможности вебмастерки Яндекса в целом аналогичны Search Console. Более подробно об этом сервисе можно почитать здесь.
Добавление в Яндекс.Вебмастер и подтверждение прав на сайт
Для привязки сайта к вебмастерке понадобится учетная запись в Яндексе. Если она есть, что вероятнее всего, т.к. многие пользуются почтой и другими яндексовскими сервисами, переходим сюда и указываем адрес сайта.
Как и в случае с гугловской консолью, дальше нужно пройти верификацию и подтвердить права. Сделать это можно по-разному:
Для подтверждения прав удобнее всего использовать первый способ — через HTML-файл. Указав сайт и перейдя во вкладку, отмеченную на скриншоте, система сгенерирует файл с уникальным именем и содержимым. Его нужно скачать и разместить в корневом каталоге сайта. Далее проверяем, что файл открывается по указанной ссылке. Нажимаем кнопку «Проверить». Если все сделано правильно, панель инструментов слева станет кликабельной.
Добавляем сайт в индекс
После верификации и получения доступа к функционалу вебмастерки, выполняем следующие действия.
Переходим во вкладку «Индексирование» → «Переобход страниц»
Добавляем главную страницу и основные разделы сайта — нажимаем «Отправить». Обратите внимание, в Яндексе установлен лимит на количество индексируемых страниц.
Все новые страницы, которые в дальнейшем будут добавляться на сайт, отправляют на переиндексацию по аналогичной схеме.
Дополнительно в Яндекс.Вебмастер необходимо добавить файл sitemap.xml. Здесь работает та же механика, что и в Google. Сначала необходимо создать саму карту. Если это сделано не через плагин — размещаем sitemap на сервере. Далее в разделе «Индексирование» → Файлы Sitemap вписываем в поле URL, по которому доступен файл. Нажимаем «Добавить».
После добавления файл будет какое-то время обрабатываться. Это происходит не быстро, и может занять до двух недель. По завершении обработки напротив файлов должен отображаться статус «OK». Если присутствует статус «Редирект», «Ошибка» или «Не проиндексирован», необходимо определить причину некорректной индексации, исправить ее, после чего сообщить роботам об обновлении.
Индексируем страницы через Яндекс.Метрику
Существует еще один способ сообщить краулерам Яндекса о новых страницах сайта — через Метрику. Этот вариант менее удобен, чем первый, но знать о нем вебмастеру не помешает. Для этого на сайте должен быть добавлен и настроен счетчик Яндекс.Метрики. В любом случае рано или поздно его придется добавить, конечно, если вы намерены серьезно заниматься продвижением своего проекта.
Итак, чтобы роботы Яндекса подтягивали сведения о новых страницах из данных Метрики, нужно разрешить обход страниц, на которых установлен счетчик. Для этого выполняем следующие действия.
Активировав эту опцию, во вкладке Привязка к Яндекс.Метрике отобразится статус «Связан с сайтом в Вебмастере».
Сколько ждать попадания в индекс?
В индекс Google новый сайт залетает в среднем спустя неделю. В Яндексе — это может занимать до двух недель. Эти сроки актуальны, если на сайте не создано никаких препятствий для обхода поисковыми роботами. Важно понимать, попадание в индекс не означает, что страницы со старта получат высокие позиции в поиске. В первое время, скорее всего, они будут на задворках выдачи — на второй-третьей странице. И только постепенно начнут укреплять свои позиции. Также они могут вовсе не отображаться по основным поисковым запросам (находясь при этом в индексе). Второй сценарий больше актуален для молодых сайтов, пребывающих в песочнице.
Как быстро проверить индексацию?
Узнать, попал ли сайт в индекс, вы можете по-разному. Основной способ — через панель вебмастера.
В Google SC сведения представлены в отчете Индекс → Покрытие. Количество страниц, попавших в индекс, доступно в зеленой графе.
Здесь же красным цветом будет отображаться количество страниц с ошибками. Перейдя по вкладке, можно ознакомиться с расширенным отчетом: что конкретно за ошибка и когда она была обнаружена.
В яндексовской вебмастерке интересующая нас информация находится в разделе Индексирование → Проверить статус URL.
Перейдя в отчет «Страницы в поиске» можно ознакомиться со всеми проиндексированными страницами, посмотреть их распределение по разделам, узнать, что исключено из индекса.
Второй способ быстро проверить индексацию в Google и Яндексе — через операторы расширенного поиска. Вбиваем в поисковую строку команду site:+название домена, и получаем сведения о количестве страниц в индексе.
Аналогичным образом можно проверить не только весь сайт, но и конкретную страницу. Для этого вместо доменного имени достаточно ввести URL нужной страницы.
Аналогичным образом оператор работает в выдаче Яндекса.
Вообще, операторы расширенного поиска — очень полезная и недооцененная штука. Больше о том, какую пользу они могут принести сеошникам и вебмастерам — читайте здесь.
Почему не индексируется ресурс?
Прошло недостаточно времени. Владельцам новых сайтов, нужно запастись терпением. Нередко попадание в индекс растягивается больше, чем на две недели.
Не добавлена карта сайта. Если вы решили проигнорировать sitemap.xml, возвращайтесь наверх и читайте, как это исправить.
Запрет на индексацию в файле robots.txt. Некоторые страницы сайта советуют закрывать от индексации. Это делают через прописывание специальных директив в служебном файле robots.txt. Здесь нужно быть предельно аккуратным. Лишний символ — и можно закрыть то, что должно быть доступным для поисковых роботов. В этом случае будут проблемы.
Метатег может появиться там, где не нужно. Часто это случается при изменении настроек движка или хостинга.
Тег rel=”canonical”. Этот тег используют на страницах с дублированным содержимым, указывая с его помощью поисковым роботам адрес основного документа. Если страницы не попадают в индекс, причиной может быть наличие этого тега.
X‑Robots-Tag. В файле конфигурации сервера может быть прописана директива X Robots-Tag, запрещающая индексирование документов.
Долгий или неверный ответ сервера. Критически низкий отклик сервера создает сложности поисковым роботам при обходе сайта, из-за чего часть страниц может не залететь в индекс.
Некачественный контент на страницах. Плагиат, дубли, ссылочный переспам, автоматически сгенерированные тексты — все это также создает потенциальные риски.
Как видим, причин, по которым возможны проблемы с индексированием, довольно много. Но не переживайте, все это не нужно тестить вручную. Вебмастерки регулярно оповещают о возникших ошибках. Ваша задача — следить за уведомлениями в Яндекс.Вебмастере и Google Search Console и своевременно исправлять ошибки.
Можно ли индексировать пустой сайт? Или сначала лучше наполнить его контентом?
Мы отправили на индексацию не один десяток сайтов, и убедились, что особой разницы нет. Если сайт новый.
Вы можете сделать 5-10 стартовых страниц, наполнить их контентом и забросить сайт на индексацию. А можете добавить сайт пустым, и не спеша наполнять его контентом. Это не должно отразиться на скорости и качестве индексирования. Конечно, если не растягивать наполнение этих 5-10 страниц на месяцы. А вот с чем можно повременить на первых порах — оттачивание дизайна, создание перелинковки, размещение виджетов и пр. Это не так принципиально, если вы не планируете сразу же лить рекламный трафик на сайт.
Индексация сайта в Google
Чтобы пользователи могли найти ваш сайт, поисковые системы должны его проиндексировать. После этого он будет доступен всем, кто введет в строку поиска соответствующий запрос. Рассказываем в статье более подробно о том, как добавить сайт в Google и избежать возможных ошибок.
Зачем поисковики индексируют сайты;
Почему это важно пользователям и компаниям;
Что влияет на индексацию;
Как проиндексировать сайт в Google;
Индексация сайта: зачем она нужна и как выполняется
Индексацию выполняют поисковые роботы. Они в автоматизированном режиме проверяют обновление контента на сайте. Считается, что среди всех поисковых систем именно Google выполняет проверку новых ресурсов быстрее всего. Тем не менее, на скорость работы роботов также влияет посещаемость сайта и частота обновления информации. Например, на новостные порталы, где контент обновляется постоянно и через короткие промежутки времени, роботы заходят до нескольких раз в день. Если информация обновляется реже, то индексация может проводиться 1-2 раза в неделю. Если содержание страницы не обновлялось давно, робот будет заходить на нее, но не чаще раза в неделю.
За одно посещение робот индексирует 20-30 страниц, чтобы не перегружать сервер. Если на сайте больше страниц, робот зайдет на него несколько раз.
Каждый поисковик устанавливает глубину индексации – то есть, на сколько уровней робот может опуститься, переходя по ссылкам одного ресурса. Как правило, он изучает верхние уровни и при достижении определенной метки покидает сайт. Это означает, что при разветвленной структуре некоторые вложенные страницы могут остаться непроиндексированными.
Ранжирование сайта после индексации
После того, как роботы закончат анализ страницы, они вносят всю информацию в базу данных каталога, ранжируют сайт и определяют его авторитетность. Показатели PageRank зависят от количества и качества ссылок, которые ведут на ресурс – чем больше ссылочная масса, тем выше рейтинг. Авторитетность страниц определяется по 10-балльной шкале. Если сайт набрал 4-5 баллов, то это хороший показатель.
Требования к сайту для индексации
Есть три основных фактора, которые влияют на индексацию.
Посещаемость ресурса. Содержание страниц должно соответствовать запросам пользователей в поисковике. Для этого в текстах и метатегах необходимо размесить ключевые слова.
Внутренняя оптимизация. Сайт должен иметь понятную и удобную для пользователей структуру. Необходимо, чтобы раздел контактов и обратной связи содержал релевантную информацию. Желательно размещать портфолио и отзывы. Все исходящие ссылки должны быть работающими.
Как добавить сайт на индексацию в Google?
Для того чтобы сайт появился в результатах поиска Google, не обязательно предпринимать какие-либо действия. Рано или поздно поисковые роботы найдут его и проиндексируют. Но, как мы говорили выше, боты перемещаются по сайту, переходя по ссылкам, и если ссылочной массы, ведущей на страницу, недостаточно, то пройдет довольно много времени, прежде чем роботы попадут на неё.
Чтобы помочь поисковым алгоритмам быстрее понять, как организован контент на вашем сайте, и точнее проиндексировать его, Google предлагает бесплатный инструмент Search Console. С его помощью можно подавать запросы на индексирование, узнать, как роботы видят сайт, выявить и устранить проблемы. В Google Search Console можно получить информацию, которая поможет улучшить взаимодействие ресурса с системами и пользователями.
Индексация сайта с помощью Search Console
Введите адрес главной страницы сайта и пройдите проверку, что вы не робот.
Подтвердите свои права на сайт. В инструкции Google предлагает 8 вариантов подтверждения и напоминает, что лучше иметь несколько запасных на случай, если основной перестанет работать.
После проверки в этом же разделе нажмите на кнопку «Отправить файл Sitemap ».
Как проверить, что сайт проиндексирован
Второй вариант проверки – вручную с помощью поискового оператора « site :». Введите в поисковую строку команду: site :[ url _сайта], чтобы получить данные о количестве проиндексированных страниц.
В автоматическом режиме можно выполнить проверку с помощь плагинов и букмарклетов – закладок браузера.
Возможные проблемы при индексации
Возможны две ситуации, при которых Google не проиндексирует ваш сайт:
В случае проблем с сервером. Вы увидите сообщение о том, что хостинг не отвечает на запросы системы, и не сможете выполнить процедуру. В этом случае повторите попытку позже, когда сайт снова заработает. Если проблемы с хостингом возникают систематически, подумайте о смене провайдера. Отсутствие ошибок на сайтах и стабильная их работа учитывается алгоритмами поисковых систем при ранжировании в выдаче. Кроме того, вряд ли вы захотите потерять клиентов из-за неработающего сайта.
Быстрая индексация в Google
С использованием файла Site m ap.xml. Он определяет скорость индексации новых страниц, поэтому ссылки на них нужно добавлять сразу же. Так роботы будут находить их быстрее. Рекомендуем использовать динамический Site m ap.XML, а не обновлять его вручную после каждой корректировки сайта.
С помощью оптимизации файла robots.txt. Этот файл позволяет задать поисковым роботам Google директивы, в соответствии с которыми они могут проиндексировать содержимое сайта. На скорость процесса особенно влияет директива Disallow. Она определяет, какие файлы, веб-страницы и разделы не нужно индексировать и благодаря этому роботы быстрее доходят до новых страниц.
Индексация сайта в Google – не самая сложная задача. Однако после индексации стоит заняться продвижением, а это уже требует комплексной и продолжительной работы.
Материал подготовила Светлана Сирвида-Льорентэ.
Как проиндексировать сайт в Яндексе, Google и других поисковиках
Индексирование сайта — что это и для чего необходимо?
Индексация сайта в поисковых системах — необходимое условие его видимости при поиске в интернете. Если просто создать сайт и не заботиться о его индексации, скорее всего, на него смогут попасть только те, кто знает непосредственный адрес домена.
Индексирование — это процесс считывания страниц сайта роботом той или иной поисковой системы с последующим добавлением данных страниц в базу поисковой системы
Краулеры с некоторой периодичностью обходят страницы сайта, считывая
И множество других данных.
Благодаря тому, что поисковая система узнаёт о сайте, она способна предлагать и продвигать его в результатах поиска. На основе контента, ссылок и ряда факторов определяется тематическая категория сайта, ключевые фразы, по которым он наиболее релевантен поисковым запросам.
Таким образом, поисковая система предлагает пользователям страницы вашего сайта, максимально соответствующие их запросам.
Индексация всего лишь способствует актуализации материалов сайта. Благодаря этому страницы и их содержимое, во-первых, попадают в поисковую выдачу с наименьшей задержкой. А, во-вторых, постоянно обновляются.
Как эффективно проиндексировать сайт
Чтобы сайт как можно быстрее начали индексировать поисковые системы, его надо добавить в базу поисковиков через инструменты для вебмастеров.
Добавьте сайт в Яндекс.Вебмастер
Простой ответ на вопрос «Как проиндексировать сайт в Яндексе?» — добавить его в Вебмастер.
В том же меню есть информация о том, когда и с каким результатом робот обходил страницы, какие из них есть в поиске, а также функция добавления Sitemap, запуска переобхода и настройки скорости обхода.
Добавьте сайт в Google Search Console
Перейдите на https://search.google.com/search-console/welcome и войдите в учётную запись. Добавьте сайт в систему.
Как и в Яндекс.Вебмастере, инструмент предлагает множество отчётов о состоянии индексации сайта. Вы может увидеть, какие страницы проиндексированы и добавлены в поиск, внутренние и внешние ссылки и многое другое.
Добавление сайта в прочие поисковые системы
В российском сегменте интернета доля поисковых систем помимо Яндекса и Google стремится к нулю. Тем не менее, не следует ими пренебрегать, если сайт является важным имиджевым элементом крупного проекта или организации.
Рамблер основан на тех же данных индексации, которые собирает Яндекс — в этом случае нет необходимости в дополнительных настройках.
Как ускорить индексацию сайта в поисковиках
Создайте файл robots.txt
Файл robots.txt даёт поисковым роботам указание — какие страницы и разделы сайта следует читать, а какие — нет.
На сайте всегда присутствуют технические страницы — в частности, результаты поиска, этапы регистрации, системные файлы, теги и подобное. Также со временем может скопиться некоторый объём неактуальных страниц — контент на них может быть устаревшим или наоборот, он ждёт публикации не ранее назначенной даты.