Методы SEO-маскировки, которых следует избегать в 2011 году

Глава Google Web Spam, Мэтт Каттс, в конце 2010 года взял перерыв у Оззи и Эмми (Мэтт Каттс «Кэттс»), чтобы опубликовать в Твиттере небольшую замануху для веб-мастеров и специалистов по поисковой оптимизации, что, я уверен, усилило похмелье. для нескольких черных шляп в праздничный сезон.

В первом квартале 2011 года Google уделит больше внимания маскировке. Важно не только содержание страницы; избегайте разных заголовков/перенаправлений на Googlebot вместо пользователей.

Маскировка — это метод, используемый для представления другого контента, макета, функциональности или заголовков (совершенно другой страницы или части страницы, известной как маскировка мозаики) поисковой системе, а не веб-браузеру пользователя.

Этическая маскировка не является «черной шляпой», однако в прошлом спамеры использовали методы манипулирования методами маскировки, для ясности давайте будем называть это маскировкой-спамом, чтобы обмануть алгоритм (Google). Это не новое явление. Вначале спамеры злоупотребляли тегом meta keywords, и в результате он больше не является фактором ранжирования, а к тегу <noscript> также можно относиться с некоторым подозрением, так как им также злоупотребляли в прошлом (возможно, нам следует открыть убежище для злоупотребляемых HTML-элементов….)

Прежде всего, позвольте мне сказать, что, если это вообще возможно, ИЗБЕГАЙТЕ МАСКИРОВКИ. Маскировка — это мероприятие с высоким риском, которое, если оно необходимо, должно выполняться с соблюдением этических норм и с соблюдением Руководства Google для веб-мастеров, чтобы гарантировать, что ваш веб-сайт не будет оштрафован или исключен из индекса.

К сожалению, некоторые веб-мастера могут не понимать последствий и непреднамеренно скрывать контент, ссылки или целые веб-сайты, даже не подозревая об этом. В этой статье описываются некоторые общие функции на сайте, которые могут быть (неправильно) истолкованы как маскировка спама.

Имейте в виду, что Google активно расследует случаи маскировки спама и блокирует веб-сайты из своего индекса. Они также отслеживают обнаружение маскировки и неестественных ссылок с уведомлениями веб-мастеров через Инструменты для веб-мастеров. В настоящее время Google становится все лучше и лучше в алгоритмическом обнаружении скрытого спама , даже IP-доставка не является безошибочной, и, конечно же, Google всегда поощряет ваших конкурентов использовать отчет о спаме, если они обнаруживают что-то подозрительное на вашей странице.

Алгоритмическая идентификация маскирующего спама требует от поисковой системы сравнения одной веб-страницы, полученной с помощью двух или более механизмов (например, двух или более диапазонов IP-адресов, идентификаторов агента пользователя или различных уровней функциональности HTML/JavaScript). В конце 2006 года Microsoft зарегистрировала патент на систему, облегчающую обнаружение скрытой веб-страницы.

Естественно, это приводит к вопросу, как поисковая система могла собрать и проанализировать два примера веб-страницы для сравнения? Некоторые методы могут включать:

• Частичная дифференциация контента с использованием анализа тем контента, сегментации страниц, скрытого семантического анализа (LSA), использования ключевых слов, ссылок на странице и других факторов на странице.
• Различные IP-адреса/отдельные диапазоны IP-адресов или прокси-серверы для анализа веб-спама
• Различные пользовательские агенты (например, используйте пользовательский агент браузера для проверки скрытого контента)
• Отчеты о спаме от сообщества веб-мастеров
• Пользовательское тестирование
• Анализ более 5 связанных перенаправлений для проверки на маскировку (возможно, ограничение индексации и потока PageRank, авторитета, доверия и т. д. через 5 связанных перенаправлений)
• Улучшенная интерпретация кода JavaScript (в частности, оценка сложных и/или закодированных функций JavaScript, содержащих ссылки или перенаправления).
• Механизм для приема файлов cookie (возможно, в сочетании с приведенным выше анализом JavaScript и перенаправления)

Конечно, сбор данных можно передать на аутсорсинг отдельной компании, чтобы не было проблем с IP-доставкой.

Бывают случаи, когда компания может пожелать предоставить другую или дополнительную информацию своим пользователям. Например:

• Геотаргетинг
• Вошедшие пользователи (настроенная домашняя страница и т. д.)
• Отслеживание рефералов — например, предоставление обратной связи пользователю на основе его запроса в поисковой системе, например выделение слов на странице, соответствующих запросу.
• Маскировка устройств для мобильных телефонов и сенсорных устройств
• Оптимизация для определенных браузеров или для обратной совместимости
• Оптимизация отображения (хотя обычно это можно контролировать с помощью CSS)
• Первый клик бесплатно – Или первые пять кликов бесплатно
• A/B или многовариантное тестирование
• Тщеславные URL-адреса (маскировка ссылок)
• Показать проверку возраста (www.bacardi.com использует комбинацию обнаружения пользовательского агента и файлов cookie, чтобы отображать приветственную страницу проверки возраста для пользователей, но разрешать поисковым системам доступ к веб-сайту. Несмотря на то, что Google всего 14 лет)
• Балансировки нагрузки
• Замена шрифта (с помощью таких технологий, как sIFR или Cufon) — Примечание: возможно, но не оптимально для Google Preview (по состоянию на декабрь 2010 г.)
• SWFОбъект

Убедитесь, что вы учитываете последствия SEO при использовании любого из методов или функций, упомянутых выше, поскольку неправильная конфигурация может привести к маскировке спама или может быть неоптимальной для SEO.

Итак, это не учебник по маскировке; это «список запретов на маскировку спама 2011 года» или, по крайней мере, список методов, которых следует избегать, или проблем, которые необходимо исправить в начале 2011 года.

Некоторые формы маскировки являются преднамеренными (например, IP-доставка или маскировка пользовательского агента), однако многие формы маскирующего спама могут быть случайными. Случайные типы маскирующего спама, которые непреднамеренно блокируют вас в Google, вызывают наибольшую озабоченность, поскольку веб-мастер может не знать об этой проблеме. Даже крупные компании иногда ошибаются.

Мы рассмотрим некоторые из наиболее распространенных методов маскировки спама ниже, чтобы обучить и гарантировать, что веб-мастера и SEO-специалисты могут убедиться, что они не используют их на своем веб-сайте.

Обычно веб-мастера скрывают контент от пользователей или поисковых систем тремя способами:

1. IP-доставка
2. Анализ пользовательского агента (Вы можете проверить маскировку пользовательского агента с помощью бесплатной программы проверки SEO Cloaking от Брюса Клея.
3. Использование известного поведения поисковых систем, такого как выполнение JavaScript или перенаправления, а также индексация или способность поисковых роботов различных элементов HTML.

Доставка различного контента в зависимости от IP-адреса запрашивающего веб-браузера или паука поисковой системы. [Доставка по IP более подробно описана здесь.]

Обратный DNS и прямой DNS

Обратный DNS и прямой поиск DNS не являются формой маскировки, но могут использоваться для запроса DNS-записей запрашивающего IP-адреса. Google предоставляет подробную информацию о том, как убедиться, что Googlebot действительно тот, за кого себя выдает.

Предоставление различного контента на основе агента пользователя запрашивающего веб-браузера или паука поисковой системы. Например, Googlebot/2.1 (+http://www.google.com/bot.html) или Mozilla/5.0 (Windows; U; MSIE 7.0; Windows NT 6.0; en-US)

Google может индексировать страницу, содержащую JavaScript, но может не следовать перенаправлению JavaScript, однако мы наблюдаем значительные улучшения в интерпретации Google кода JavaScript (например, генератор предварительного просмотра Google отображает JavaScript, AJAX, CSS3, фреймы и фреймы).

Веб-мастера иногда используют перенаправления JavaScript, когда они не могут реализовать перенаправление на стороне сервера, непреднамеренно оставляя робота Googlebot на первой странице и отправляя веб-браузер (который следует за перенаправлением JavaScript) на вторую страницу, содержащую другой контент, и, таким образом, помечается как маскирующий спам.

Обратите внимание на следующий код:

<script type="text/javascript"> window.location="http://www.yoursite.com/second-page.html" </script>

Тег, добавляемый в раздел заголовка HTML-страницы для перенаправления пользователей на другую страницу по истечении заданного периода времени. Мета-тег обновления не считается маскировкой, когда используется сам по себе, однако его можно комбинировать с JavaScript, фреймами или другими методами для отправки пользователя на другую страницу для поисковых роботов.

Обратите внимание на следующий код:

<meta http-equiv="refresh" content="0;url=http://www.yoursite.com/second-page.html">

Двойное/многократное метаобновление или маскировка реферера

Можно использовать несколько мета-обновлений, чтобы скрыть реферера от партнерских веб-сайтов. Избегайте объединения нескольких перенаправлений любого рода, так как это может негативно сказаться на поисковой оптимизации и даже может противоречить условиям обслуживания (TOS) ваших аффилированных партнеров.

Метаобновление в JavaScript или тег <noscript>

Хорошо, теперь мы переходим к царствам «черной шляпы». Маловероятно, что веб-мастер стал бы сочетать метаобновление с JavaScript, если только они не замышляли ничего хорошего.

Это легко обнаружить поисковой системе. Не делай этого.

Поисковые системы не могут выполнять несколько связанных перенаправлений (в соответствии с рекомендациями в спецификации HTML рекомендуемое количество было установлено на уровне 5 перенаправлений). Google может выполнить около 5 связанных перенаправлений. Веб-браузеры могут следовать больше.

Множественные обратные перенаправления (особенно сочетание различных типов перенаправлений 301, 302, метаобновление, JavaScript и т. д.) влияют на время загрузки страницы, могут повлиять на поток PageRank (даже при перенаправлении 301 может наблюдаться некоторое снижение PageRank) и могут рассматриваться как маскировка. спам.

Я не смог найти никаких данных о том, сколько перенаправлений будет выполняться веб-браузером, поэтому я создал быстрый скрипт с цепочкой перенаправлений, чтобы протестировать некоторые браузеры, установленные на моем компьютере, и предоставить некоторые статистические данные о приблизительном количестве перенаправлений (по типу перенаправления) . Я ограничил скрипт максимум 5000 связанных перенаправлений.

Когда сценарий был написан, мы подумали, что проведем дополнительный тест и отправим URL-адрес перенаправления в Google. Мы также связались со сценарием из Twitter. Результаты приведены в таблице ниже.

Хотя в этом случае робот Googlebot просканировал только 5 постоянных перенаправлений, справедливо предположить, что Google может внедрить проверку на основе обхода для проверки перенаправлений, превышающих ограничение в 5 перенаправлений, подобно тому, как Microsoft, описанная выше, выполняет примерно 25 связанных перенаправлений. Примечание. Мы предположили, что это IP-адрес, принадлежащий Microsoft, на основании информации об IP-адресе Whois из инструментов домена.

Фреймы позволяют веб-мастеру встраивать другой документ в HTML-страницу. Поисковые системы традиционно не умеют связывать содержимое во фреймах с родительской страницей, что позволяет веб-мастеру запретить поисковым системам просматривать часть или все содержимое на странице.

Фреймы и iFrames являются законными HTML-элементами (хотя они и не всегда являются лучшими практиками с точки зрения SEO), однако их также можно комбинировать с другими методами для обмана пользователей.

Фреймы с редиректом JavaScript

Встраивание фрейма с перенаправлением JavaScript может оставить пауков поисковых систем на первой странице и незаметно перенаправить пользователей с включенным JavaScript на вторую «скрытую» страницу.

Я не могу придумать законной причины «белой шляпы», по которой вы решили бы использовать это. Это может привести к штрафу или бану. Проверьте исходный код ваших документов во фреймах, удалите этот код или внедрите соответствующую SEO-оптимальную переадресацию.

Тег <noscript> был разработан, чтобы предоставить не-JavaScript-эквивалент для контента JavaScript, чтобы браузеры, работающие только с текстом, и поисковые системы могли интерпретировать более сложные формы контента. К тегу <noscript> можно относиться с некоторым подозрением, так как в прошлом им злоупотребляли спамеры.

Создавайте функциональные возможности JavaScript/AJAX с учетом прогрессивного улучшения, чтобы содержимое подходило для всех пользователей и не требовало использования тега <noscript>. Если на вашем веб-сайте используется тег <noscript> и вы не можете обновить код, убедитесь, что любой текст, ссылки и изображения в теге <noscript> точно описывают содержимое JavaScript, AJAX или Flash, которое он представляет, в точном, ясном и кратком виде. способ.

Если нарушающая страница или веб-сайт имеют проблемы с индексацией, рассмотрите возможность пересмотра кода <noscript> в рамках тщательного SEO-аудита веб-сайта.

Сети доставки контента (CDN) позволяют компаниям распространять свой статический контент в нескольких географических точках, чтобы повысить производительность для конечных пользователей. В зависимости от конфигурации CDN существует несколько способов перенаправить клиентский запрос к лучшему доступному источнику для обслуживания содержимого. CDN — это сложная область, обычно реализуемая глобальными компаниями, которым необходимо обслуживать пользовательский контент в кратчайшие сроки.

Если вы используете CDN, убедитесь, что он позволяет поисковой системе получать доступ к тому же контенту и информации, которые видят пользователи, и убедитесь, что нет ничего, что поисковая система могла бы ошибочно воспринять как вводящую в заблуждение.

Хакеры использовали эксплойты в распространенных CMS, чтобы направлять трафик на неэтичные сторонние веб-сайты. Одним из примеров является взлом WordPress Pharma, в котором использовалась маскировка, чтобы представить контент, связанный с фармацевтикой, в поисковых системах, но скрыть этот контент от веб-мастера.

Убедитесь, что на вашей CMS, веб-сервере и программном обеспечении операционной системы установлены последние версии и что они защищены. Некоторые из наиболее распространенных эксплойтов — это неверные пароли, небезопасное программное обеспечение или скрипты, недовольные сотрудники и уловки социальной инженерии.

Заголовки HTTP отправляют дополнительную информацию о запрошенной странице поисковому роботу или веб-браузеру. Например, статус страницы, информация о кэшировании/сроке действия, информация о перенаправлении и т. д.

Отправка различных заголовков в поисковую систему с целью обмана может привести к штрафу. Например, замена хорошего контента на высокорейтинговой странице формой регистрации и изменение сроков действия и/или заголовков управления кешем в попытке обмануть поисковые системы, заставив сохранить высокорейтинговую версию с хорошим контентом, не сработает.

Робот Googlebot может периодически загружать контент независимо от истечения срока действия и заголовков управления кешем, чтобы убедиться, что контент действительно не изменился.

Вы можете проверить статус заголовков ответа вашего сервера, используя один из наших бесплатных инструментов SEO.

Цитирую Гугл:

«Дорвеи обычно представляют собой большие наборы некачественных страниц, каждая из которых оптимизирована для определенного ключевого слова или фразы. Во многих случаях дорвеи создаются для ранжирования по определенной фразе, а затем направляют пользователей к одному месту назначения».

Источник: http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=66355.

У Мэтта Каттса есть разглагольствования о страницах Doorway здесь.

Инструменты многовариантного тестирования, такие как Google Website Optimizer, позволяют повысить эффективность вашего веб-сайта путем тестирования изменений в содержании и дизайне вашего веб-сайта, чтобы улучшить показатели конверсии (или другие важные измеряемые показатели).

Многовариантное тестирование — это этичное использование маскировки, однако Google заявляет:

«Если мы обнаружим сайт, на котором одна неоригинальная комбинация работает на 100% в течение нескольких месяцев, или если исходная страница сайта загружена ключевыми словами, которые не относятся к комбинациям, показываемым посетителям, мы можем удалить этот сайт. из нашего индекса».

Не обязательно маскирующий спам как таковой, а метод приманки и переключения, который 301 перенаправляет несвязанные домены (обычно домены, которые выставлены на продажу или срок действия которых истек, но все еще имеет PageRank или важные внешние ссылки) на вредоносный или несвязанный домен по совершенно другой теме. .https://www.youtube.com/watch?v=70LR8H8pn1Mhttps://searchengineland.com/do-links-from-expired-domains-count-with-google-17811

Это вводит пользователей в заблуждение, поскольку они могут ожидать другой веб-сайт и могут передавать несвязанный якорный текст в ваш домен.

Кроме того, не ждите похвалы за регистрацию доменов с истекшим сроком действия с внешними ссылками в надежде на PR или увеличение количества ссылок.

Исторически сложилось так, что поисковые системы изо всех сил пытались эффективно интерпретировать и индексировать Flash-контент, но они постоянно совершенствуются.

Веб-мастерам приходилось учитывать пользователей и поисковые системы, у которых не было браузеров с поддержкой Flash, и либо создавать стандартный HTML-сайт «за кулисами» для поисковых систем, либо использовать тег <noscript>, JavaScript или аналогичный метод для индексации своего текстового контента. К сожалению, это может быть непреднамеренно идентифицировано поисковыми системами как маскировка, если содержимое, проиндексированное из Flash-содержимого, не соответствует текстовому содержимому.

Создание всего веб-сайта на Flash по-прежнему не является хорошей идеей с точки зрения SEO, однако, если у вас есть некоторый Flash-контент, рассмотрите возможность реализации SWFObject или аналогичного метода, чтобы гарантировать, что Flash изящно деградирует как для пользователей, так и для поисковых систем.

Сами по себе всплывающие элементы и реклама не маскируют. Когда промежуточные объявления или всплывающие элементы не могут быть закрыты (например, если пользователь не зарегистрируется), вы можете представлять контент поисковым системам, а форму регистрации своим пользователям.

Убедитесь, что пользователи могут закрыть или пропустить межстраничную рекламу, всплывающие окна, поповеры, наложенные элементы div, лайтбоксы и т. д., а также просмотреть доступный контент.

AJAX (асинхронный JavaScript и XML) — это форма JavaScript, которая позволяет веб-странице извлекать динамический контент с сервера без перезагрузки страницы. Он стал очень популярным за последние пару лет и часто (более) используется во многих приложениях Web 2.0.

AJAX можно использовать обманчивым образом, чтобы представить разный контент пользователю и поисковой системе — не делайте этого.

Кроме того, есть и другая сторона медали: при «негативной маскировке» пользователь может видеть контент, а поисковая система — нет, поскольку она не может выполнять вызовы JavaScript, которые извлекают динамический контент с сервера. Что-то проверить.

Многие из методов, описанных в этой статье, можно комбинировать, нарезать или манипулировать ими в тщетной попытке обмануть поисковые системы.

Одним из таких примеров является объединение JavaScript и файлов cookie для сокрытия контента. Если функция JavaScript не может записывать или читать файл cookie (например, паук поисковой системы), то отображайте контент, отличный от обычного пользователя с включенными файлами cookie. Также есть несколько примеров скриптов JQuery, которые позволят сделать это недобросовестному человеку.

Маскировка ссылок означает отправку пользователя на URL-адрес, отличный от того, на который нажали, с использованием перенаправления в той или иной форме. Как мы видели выше, перенаправления можно использовать как во благо, так и во вред. Маскировка ссылок часто используется в аналитических целях или в целях обслуживания. Для этого есть ряд практических причин, например:

• Чтобы сохранить ссылку на аффилированное лицо в синдицированном PDF-файле или приложении. Использование аналогичного персонализированного URL-адреса и перенаправления выше, чтобы гарантировать, что если партнер обновит структуру своего URL-адреса, вы сможете обновить перенаправление на персональный URL-адрес и, таким образом, убедиться, что ссылки в электронной книге и синдицированном контенте по-прежнему работают.
• Тщеславные URL-адреса, используемые в маркетинговых и рекламных материалах, которые легче запомнить, чем стандартную версию URL-адреса.

Конечно, это может быть использовано для введения в заблуждение и обмана, например, для маскировки партнерской ссылки (например, замена ссылки на http://mysite.com/vanity-url и перенаправление на http://affiliate.com/offer.html). ?=мой-партнерский-код).

Изменение анкорного текста или атрибутов ссылки с помощью JavaScript или аналогичного механизма для обмана или обмана пользователей. Это форма маскировки, которая изменяет только небольшой компонент страницы, чтобы обмануть пользователя.

• Перехват события onClick для отправки пользователя по другому URL-адресу в поисковые системы.
• Добавление атрибута rel="nofollow" к ссылкам, отображаемым для поисковых систем, и удаление его из кода, отображаемого для пользователей
• Изменение анкорного текста ссылок для включения ключевых слов в анкорный текст, отправляемый поисковым системам, и отображение чего-то другого для пользователей.

Избегайте перехвата ссылок для обмана пользователей, так как это может привести к штрафным санкциям поисковых систем или блокировке вашего сайта.

Существуют этические формы этой техники, гарантирующие, что и пользователи, и поисковые системы смогут видеть ваш AJAX-контент с помощью HiJAX, как это рекомендовано в блоге Google.

Скрытие текста противоречит TOS и Руководству для веб-мастеров Google. Это форма маскировки, поскольку поисковая система может видеть текстовое содержимое, а пользователь — нет. Избегайте следующих типов скрытого текста:

• Неразборчивый текст на фоне (например, темно-серый на черном фоне)
• Установка размера шрифта на 0
• Стилизация анкорного текста с ключевыми словами, как у стандартного основного текста, чтобы пользователи не понимали, что это ссылка.
• Отображение каскадных таблиц стилей (CSS): нет
• Текст за изображениями. Всегда сложная тема и часто открытая для дискуссий среди SEO-специалистов. Если текст за изображением является точным и достоверным представлением изображения (например, заголовок с нестандартным шрифтом), вы «должны быть в порядке», как цитирует Мэтта Каттса. Окончательное решение будет зависеть от ваших конкретных обстоятельств, однако для получения рекомендаций обратитесь к следующим ресурсам: W3C: использование CSS для замены текста изображениями, замена изображения Фарнера (FIR), масштабируемая замена флэш-памяти Inman (sIFR) (обратите внимание, что текст, замененный sIFR, может не отображается в Google Preview по состоянию на декабрь 2010 г.)

Если для вас важен трафик из поисковых систем, убедитесь, что вы учитываете следующее в отношении маскировки:

• Убедитесь, что вы знакомы с очевидными и не столь очевидными формами маскировки, указанными выше, и знаете, как они используются на вашем сайте, чтобы избежать любых потенциальных санкций.
• Если вы применяете какую-либо форму маскировки, убедитесь, что она надлежащим образом проверена с точки зрения SEO, чтобы избежать возможных штрафов.