Керівництво з технічного SEO-аудиту сайту – LuxSite

Технічний аудит сайту використовується для того щоб виявити його слабкі місця і виправити їх. Для проведення такого роду аналізу використовують спеціальні програми і сервіси. Ми розповімо в цій статті як провести на сайті аудит з технічного боку, використовуючи для цього спеціальну програму – Screaming Frog.

SEO-аудіт

Налаштовуємо програму для подальшої роботи.

Можна, звичайно, проводити аналіз і зі стандартно налаштованої програмою, але ми радимо внести в настройки деякі зміни. Для початку в конфігураціях перейдіть у вкладку advanced і поставте позначки на пунктах respecrt noindex і respect canonical. Так ви зможете аналізувати сайт таким, як він буде індексуватися.

Парсинг об’ємних сайтів

Якщо на сайті, який ви збираєтеся аналізувати, досить багато сторінок, по парсинг може тривати навіть кілька днів. Найчастіше помилки в кожному розділі сайту носять однаковий характер, тому глибину парсинга можна поставити на 4-5 рівні. Щоб це зробити у вкладці Limits того ж меню конфігурацій виставляємо показник Limit Search Depth.
Також для об’ємних сайтів краще відключити функцію зупинки парсинга в разі використання великого обсягу пам’яті. Для цього у вкладці advanced треба прибрати позначку навпроти Pause On High Memory Usage.

Парсинг окремих сторінок

Парсинг окремих сторінок

Для того щоб провести аналіз окремих розділів або сторінок сайту в меню конфігурацій include задати шаблони сторінок і розділів. Таким же чином можна виключити з парсинга сторінки і розділи.
Так ви не тільки прискорити процес, але і зменшите навантаження на сайт.

Парсинг сайту, який знаходиться в розробці

Ще до запуску сайту і навіть до викочування його на основний домен треба перевірити його і виправити помилки. Для цього аналіз сайту проводиться коли він знаходиться ще на сервері розробника. Тут вам знадобляться дані для аутентифікації. Якщо у вас є логін і пароль – входите і аналізуєте без проблем. Також, так як сайт на цій стадії закритий для індексації, необхідно включити таку опцію, як ignore robots.txt. Інакше парсинг не почнеться, адже програма працює з підтримкою цього файлу.
Таким чином, ви зможете виправити деякі помилки ще до завершення розробки. Але після відкриття сайту для індексації і настройки інструкцій robots.txt треба буде провести парсинг повторно.

Швидкість проведення аналізу сайту

Швидкість парсинга сторінок сайту важливо обмежувати, так як не всі сайти можуть витримати велику кількість перевірок / звернень в секунду. Тому в налаштуваннях configuration – speed треба поставити позначку навпроти Limit URS / s і вибрати кількість звернень в секунду. Встановіть показник на 10. Після початку парсинга зверніть увагу на те, як сайт справляється з такою кількістю звернень і при потребі зменшіть його.

Щоб ваш IP не заблокований при парсінгу використовуйте proxy-сервер. Для цього просто поставте позначку в меню proxy configuration навпаки user proxy.

Пошук списку сторінок можна налаштувати за даними, які містяться або не міститися на сторінках. Для цього вводимо потрібні нам параметри в Custom Filter Configuration.

Далі всі встановлені настройки необхідно зберегти. Бажано зробити їх настройками за замовчуванням, щоб не налаштовувати заново кожен раз.

Internal

Пошук і виправлення порожніх сторінок

У вкладці Internal ми можемо провести аналіз всіх сторінок сайту і зрозуміти, які з них потрібно наповнити контентом, а які необхідно буде закрити від індексації. Щоб знайти такі сторінки треба налаштувати фільтр на html і експортувати список в Exel. В отриманому файлі сортуємо список по зростанню показника Word Count. Для зручності можна перенести цю колонку ближче до списку посилань на сторінки. Нам треба відфільтрувати сторінки з відповіддю сервера 200, це можна зробити в колонці Status Code (виключаємо 301 і 302). В результаті у верхній частині списку ми побачимо сторінки, на яких значно менше контенту, ніж на інших. Найчастіше це такі сторінки авторизації, корзина і т.п. Їх можна виключити з індексації. Для цього треба додати інструкцію disallow для кожної такої сторінки в файл robots.txt.
Далі збираємо в окремий список сторінки, на яких немає контенту. В результаті отримаємо сторінки двох видів – відсутній товар і відсутній текст. Отже, їх треба або заповнити, або закрити.

Аналіз перелінковки

Такий аналіз покаже кількість вхідних і вихідних посилань сторінок і рівень їх вкладеності. Найважливіші сторінки повинні мати менше вихідних посилань і більше входять, а також бути максимально наближеними до головної сторінки.
Щоб відсортувати сторінки за рівнем вкладеності фільтруємо Level або перевіряємо якусь сторінку, вписавши її url в пошук.
Щоб перевірити кількість вхідних посилань сортуємо колонку inlinks по спадаючій. Відповідно, у верхній частині списку буде сторінка, яка отримує найбільшу кількість посилань з інших сторінок. Також потрібно переконатися що з важливих сторінок немає перелинковки на неважливі, такі як сторінки, призначені для реєстрації, авторизації, корзина товарів і т.п.

External

Пошук і виправлення зовнішніх посилань

Дуже важливо періодично перевіряти сайт і переглядати на які ресурси з нього йдуть посилання. Може бути таке, що веб-майстер поставить на вашому сайті посилання на свій ресурс, або зовсім сайт зламають і поставлять невидимі посилання. Вкрай важливо контролювати всі вихідні посилання з сайту.
Щоб визначити, скільки разів ваш сайту посилання веде на конкретну зовнішню сторінку виберете посилання на неї в списку та у вкладці In Links побачите список сторінок, що посилаються на неї.
Також ви можете вивантажити (Bulk Export) всю інформацію про зовнішні посилання (All Out Links) – з якої сторінки на яку – на вашому сайті.

Response Codes

У цій вкладці ви можете подивитися яку відповідь сервер дає на всі внутрішні і зовнішні посилання. В ідеалі всі відповіді повинні бути 200, але на практиці у вас завжди будуть і помилки і редіректи.

Для того щоб знайти сторінки, на які сервер відповідає помилкою вибираємо у вкладці Response Codes фільтр Client Error (4xx). Список сторінок, з яких йдуть посилання на биті сторінки можна подивитися внизу в In Links або ж виконає розвантаження Bulk Export – Client Error (4xx) in links. Всі номери з помилками треба виправити.

Для того щоб знайти редіректи вибираємо фільтр Redirects (3xx). Зручніше буде вивантажити список в файл Exel. В отриманому звіті ви знайдете список сторінок, з яких йде редирект (Adress) і на які він наводить (Redirect URL). Якщо виконати вивантаження Bulk Export – Redirect (3xx) in links, то отримаємо список сторінок, з яких (Source) і за якими (Destination) відбувається редирект. Тепер потрібно зробити так, щоб сторінки з другого звіту (Source) вели на правильні сторінки з першого звіту (Redirect URL).

Якщо на деякі сторінки сервер не відповідає, то є відповідь – No Response, то, швидше за все, причиною цьому послужила велике навантаження на сайт, створена програмою, або блокування вашого IP. В цьому випадку для подальшої перевірки знадобиться змінити IP, або ж використовувати proxy. Також необхідно зменшити швидкість перевірки, щоб не перевантажити сайт знову.

URL

Помилки, пов'язані з URL

Помилки, пов’язані з URL шукаємо за допомогою таких фільтрів, як Non ASCII Characters, Underscores, Duplicate, Dynamic, Over 115 characters.
Non ASCII Characters покаже вам посилання, в структурі яких є символи, що не входять в кодування ASCII. Такі посилання потрібно виправити, щоб уникнути проблем з ними в майбутньому.
Underscores покаже посилання, в яких використовується символ нижнього підкреслення. Замість нього краще використовувати дефіс, але це не критично.
Duplicate як зрозуміло з називання покаже дублікати сторінок.
Dynamic виведе список посилань, в яких містяться параметри (& ,? і т.п.).
Over 115 characters покаже список URL довжина яких перевищує 115 символів. Не потрібно проставляти занадто багато ключових слів на засланні, так як це дасть пошуковику сигнал про те, що на сайті може бути Переспа.

Page Title

У цій вкладці ви можете переглянути повну інформацію про мета-тегах.

title

Вибравши фільтр Missing, ви побачите сторінки, на яких відсутній title і зможете його прописати.
Фільтр Multiple допоможе вам побачити сторінки, на яких мета-тег title використовувався більше одного разу. Таку помилку допускають рідко, але краще перевірити.
Якщо title дублюється, то напевно на сайті продубльована ціла сторінка. З’ясовуємо причину появи дубліката та усуваємо її.
Фільтр Same as H1 вкаже вам на сторінки сайту, на яких збігається H1 і title. Такі збіги небажані, тому виправте title на сторінках з отриманого списку.

Після виправлення всіх цих помилок можна приступити до оптимізації title.
В ідеалі title не повинен перевищувати 65 символів, але і не повинен бути менше 30 символів. Якщо title не відповідає даним параметрам – виправте його.

Description

У цій вкладці розписана детальна інформація по мета тегу description. Найчастіше цей мета-тег використовується для формування сниппета, який виводиться в пошуковику. Краще заповнити description вручну, ніж ставити на автоматичну генерацію. Аналізувати його потрібно так само як і title.

Keywords

У цій вкладці ви побачите повну інформацію по тегу keywords. Проте цей тег вже практично не використовується. Але якщо ви його заповнюєте, то переконаєтеся що його зміст унікально.

Н1

Цей тег не так важливий для пошукової оптимізації, як інші перераховані вище, але все ж прописати його краще правильно. Тут ви зможете побачити на яких сторінках цей тег відсутній (Missing), на яких дублюється (Duplicate), на яких перевищує рекомендований розмір (Over 70 characters) і на яких повторюється (Multiply).

Н2

Тут ви побачите інформацію такого ж роду, як по Н1, тільки для Н2. Для вас важливо відстежити щоб тег був використаний правильно, так як часто при верстці його проставляють там, де можна було використовувати <div> або стилі. В такому випадку h2 буде дублюватися.

Images

У цій вкладці ви можете простежити за тим, чи були допущені помилки при використанні картинок. Якщо зображення мають занадто великий розмір (Over 100kb), не мають опису alt (Missing Alt Text) або ж мають занадто довгий опис (Alt Text Over 100 Characters).

Directives

Directives фото

У цій вкладці ви можете перевірити правильність використання директив, таких як rel = “canonical», rel = “prev» і rel = “next”.
Наприклад, перевіримо чи правильно використовується директива rel = “canonical». Для цього вибираємо фільтри Canonical, Canonicalised, No Canonical. Далі переглядаємо сторінки з директивою rel = “canonical». Дивимося щоб канонічна посилання вела на релевантну сторінку з відповіддю сервера 200. Стежимо щоб не було повторного використання директиви. Стежимо щоб канонічні посилання не вели на головну сторінку.
Щоб виявити неправильне використання цієї директиви заходимо в звіти (Reports) і вибираємо там Canonical Errors.

Аналіз sitemap.xml

Після завершення парсинга сайту потрібно перевірити список посилань у файлі sitemap.xml і простежити щоб там не було сторінок з дублюючим контентом, неіснуючих сторінок або тих, за якими відбувається редирект.
Далі збираються дані про сторінки в цій файлі і по ним проводиться повна перевірка, за всіма зазначеними вище пунктами. Особливо уважно перевіряємо Response Codes – відповідь сервера повинен бути 200 для всіх сторінок.

У цій статті ми як приклад розглянули програму Screaming Frog SEO Spider. Але існують і інші програми для аудиту сайту. Головне – перевірити сайт ретельно за всіма пунктами, щоб максимально оптимізувати його технічну сторону під пошукову систему.

Технический аудит сайта используется для того чтобы выявить его слабые места и исправить их. Для проведения такого рода анализа используют специальные программы и сервисы. Мы расскажем в этой статье как провести на сайте аудит с технической стороны, используя для этого специальную программу — Screaming Frog.

SEO-аудит

Настраиваем программу для последующей работы.

Можно, конечно, проводить анализ и со стандартно настроенной программой, но мы советуем внести в настройки некоторые изменения. Для начала в конфигурациях перейдите во вкладку advanced и поставьте отметки на пунктах respecrt noindex и respect canonical. Так вы сможете анализировать сайт таким, как он будет индексироваться.

Парсинг объёмных сайтов

Если на сайте, который вы собираетесь анализировать, довольно много страниц, по парсинг может длиться даже несколько дней. Зачастую ошибки в каждом разделе сайта носят одинаковый характер, потому глубину парсинга можно поставить на 4-5 уровне. Чтобы это сделать во вкладке Limits того же меню конфигураций выставляем показатель Limit Search Depth.
Также для объёмных сайтов лучше отключить функцию остановки парсинга в случае использования большого объёма памяти. Для этого во вкладке advanced надо убрать отметку напротив Pause On High Memory Usage.

Парсинг отдельных страниц

Парсинг отдельных страниц

Для того чтобы провести анализ отдельных разделов или страниц сайта в меню конфигураций include задать шаблоны страниц и разделов. Таким же образом можно исключить из парсинга страницы и разделы.
Так вы не только ускорите процесс, но и уменьшите нагрузку на сайт.

Парсинг сайта, который находится в разработке

Ещё до запуска сайта и даже до выкатки его на основной домен надо проверить его и исправить ошибки. Для этого анализ сайта проводится когда он находится ещё на сервере разработчика. Тут вам понадобятся данные для аутентификации. Если у вас есть логин и пароль — входите и анализируете без проблем. Также, так как сайт на этой стадии закрыт для индексации, необходимо включить такую опцию, как ignore robots.txt. Иначе парсинг не начнётся, ведь программа работает с поддержкой этого файла.
Таким образом, вы сможете исправить некоторые ошибки ещё до завершения разработки. Но после открытия сайта для индексации и настройки инструкций robots.txt надо будет провести парсинг повторно.

Скорость проведения анализа сайта

Скорость парсинга страниц сайта важно ограничивать, так как не все сайты могут выдержать большого количества проверок/обращений в секунду. Потому в настройках configuration — speed надо поставить отметку напротив Limit URS/s и выбрать количество обращений в секунду. Установите показатель на 10. После начала парсинга обратите внимание на то, как сайт справляется с таким количеством обращений и при надобности уменьшите его.

Чтобы ваш IP не заблокировали при парсинге используйте proxy-сервер. Для этого просто поставьте отметку в меню proxy configuration напротив user proxy.

Поиск списка страниц можно настроить по данным, которые содержаться либо не содержаться на страницах. Для этого вводим нужные нам параметры в Custom Filter Configuration.

Далее все установленные настройки необходимо сохранить. Желательно сделать их настройками по умолчанию, чтобы не настраивать заново каждый раз.

Internal

Поиск и исправление пустых страниц

Во вкладке Internal мы можем провести анализ всех страниц сайта и понять, какие из них нужно наполнить контентом, а какие необходимо будет закрыть от индексации. Чтобы найти такие страницы надо настроить фильтр на html и экспортировать список в Exel. В полученном файле сортируем список по возрастанию показателя Word Count. Для удобства можно перенести эту колонку ближе к списку ссылок на страницы. Нам надо отфильтровать страницы с ответом сервера 200, это можно сделать в колонке Status Code (исключаем 301 и 302). В результате вверху списка мы увидим страницы, на которых значительно меньше контента, чем на других. Зачастую это такие страницы авторизации, корзина и т.п. Их можно исключить из индексации. Для этого надо добавить инструкцию disallow для каждой такой страницы в файл robots.txt.
Далее собираем в отдельный список страницы, на которых нет контента. В результате получим страницы двух видов — отсутствующий товар и отсутствующий текст. Следовательно, их надо либо заполнить, либо закрыть.

Анализ перелинковки

Такой анализ покажет количество входящих и исходящих ссылок страниц и уровень их вложенности. Самые важные страницы должны иметь меньше исходящих ссылок и больше входящих, а также быть максимально приближенными к главной странице.
Чтобы отсортировать страницы по уровню вложенности фильтруем Level или проверяем какую-то страницу, вписав её url в поиск.
Чтобы проверить количество входящих ссылок сортируем колонку inlinks по убыванию. Соответственно, вверху списка будет страница, получающая самое большое количество ссылок с других страниц. Также нужно убедиться что с важных страниц нет перелинковки на неважные, такие как страницы, предназначенные для регистрации, авторизации, корзина товаров и т.п.

External

Поиск и исправление внешних ссылок

Очень важно периодически перепроверять сайт и просматривать на какие ресурсы с него идут ссылки. Может быть такое, что веб-мастер поставит на вашем сайте ссылку на свой ресурс, или вовсе сайт взломают и поставят невидимые ссылки. Крайне важно контролировать все исходящие ссылки с сайта.
Чтобы определить с каких страниц вашего сайта ссылка ведёт на конкретную внешнюю страницу выберете ссылку на неё в списке и во вкладке In Links увидите список страниц, ссылающихся на неё.
Также вы можете выгрузить (Bulk Export) всю информацию о внешних ссылках (All Out Links) — с какой страницы на какую — на вашем сайте.

Response Codes

В этой вкладке вы можете посмотреть какой ответ сервер даёт на все внутренние и внешние ссылки. В идеале все ответы должны быть 200, но на практике у вас всегда будут и ошибки и редиректы.

Для того чтобы найти страницы, на которые сервер отвечает ошибкой выбираем во вкладке Response Codes фильтр Client Error (4xx). Список страниц, с которых идут ссылки на битые страницы можно посмотреть внизу в In Links или же выполнит выгрузку Bulk Export — Client Error (4xx) in links. Все ссылки с ошибками надо исправить.

Для того чтобы найти редиректы выбираем фильтр Redirects (3xx). Удобнее будет выгрузить список в файл Exel. В полученном отчёте вы найдёте список страниц, с которых идёт редирект (Adress) и на которые он приводит (Redirect URL). Если выполнить выгрузку Bulk Export — Redirect (3xx) in links, то получим список страниц, с которых (Source) и по которым (Destination) происходит редирект. Теперь нужно сделать так, чтобы страницы из второго отчёта (Source) вели на правильные страницы из первого отчёта (Redirect URL).

Если на некоторые страницы сервер не отвечает, то есть ответ — No Response, то, скорее всего, причиной этому послужила большая нагрузка на сайт, созданная программой, или блокировка вашего IP. В этом случае для дальнейшей проверки понадобится сменить IP, либо же использовать proxy. Также необходимо уменьшить скорость проверки, чтобы не перегрузить сайт снова.

URL

URL

Ошибки, связанные с URL ищем при помощи таких фильтров, как Non ASCII Characters, Underscores, Duplicate, Dynamic, Over 115 characters.
Non ASCII Characters покажет вам ссылки, в структуре которых есть символы, не входящие в кодировку ASCII. Такие ссылкии нужно исправить, чтобы избежать проблем с ними в будущем.
Underscores покажет ссылки, в которых используется символ нижнего подчёркивания. Вместо него лучше использовать дефис, но это не критично.
Duplicate как понятно из называния покажет дубликаты страниц.
Dynamic выведет список ссылок, в которых содержатся параметры (&,? и т.п.).
Over 115 characters покажет список URL длина которых превышает 115 символов. Не нужно проставлять слишком много ключевиков в ссылке, так как это даст поисковику сигнал о том, что на сайте может быть переспам.

Page Title

В этой вкладке вы можете просмотреть полную информацию о мета-тегах.

страница с title

Выбрав фильтр Missing, вы увидите страницы, на которых отсутствует title и сможете его прописать.
Фильтр Multiple поможет вам увидеть страницы, на которых мета-тег title использовался более одного раза. Такую ошибку допускают редко, но лучше проверить.
Если title дублируется, то наверняка на сайте продублирована целая страница. Выясняем причину появления дубликата и устраняем её.
Фильтр Same as H1 укажет вам на страницы сайта, на которых совпадает H1 и title. Такие совпадения нежелательны, потому исправьте title на страницах из полученного списка.

После исправления всех этих ошибок можно приступить к оптимизации title.
В идеале title не должен превышать 65 символов, но и не должен быть меньше 30 символов. Если title не соответствует данным параметрам — исправьте его.

Description

В этой вкладке расписана подробная информация по мета тегу description. Зачастую этот мета-тег используется для формирования сниппета, который выводится в поисковике. Лучше заполнить description вручную, чем ставить на автоматическую генерацию. Анализировать его нужно так же как и title.

Keywords

В этой вкладке вы увидите полную информацию по тегу keywords. Тем не менее этот тег уже практически не используется. Но если вы его заполняете, то убедитесь что его содержание уникально.

Н1

Этот тег не так важен для поисковой оптимизации, как другие вышеперечисленные, но все же прописать его лучше правильно. Тут вы сможете увидеть на каких страницах этот тег отсутствует (Missing), на каких дублируется (Duplicate), на каких превышает рекомендованный размер (Over 70 characters) и на каких повторяется (Multiply).

Н2

Тут вы увидите информацию такого же рода, как по Н1, только для Н2. Для вас важно отследить чтобы тег был использован правильно, так как часто при вёрстке его проставляют там, где можно было использовать <div> или стили. В таком случае h2 будет дублироваться.

Images

В этой вкладке вы можете проследить за тем, были ли допущены ошибки при использовании картинок. Если изображения имеют слишком большой размер (Over 100kb), не имеют описания alt (Missing Alt Text) или же имеют слишком длинное описание (Alt Text Over 100 Characters).

Directives

Directives

В этой вкладке вы можете проверить правильность использования директив, таких как rel=»canonical», rel=»prev» и rel=»next».
Например, проверим правильно ли используется директива rel=»canonical». Для этого выбираем фильтры Canonical, Canonicalised, No Canonical. Далее просматриваем страницы с директивой rel=»canonical». Смотрим чтобы каноническая ссылка вела на релевантную страницу с ответом сервера 200. Следим чтобы не было повторного использования директивы. Следим чтобы канонические ссылки не вели на главную страницу.
Чтобы обнаружить неправильное использование этой директивы заходим в отчёты (Reports) и выбираем там Canonical Errors.

Анализ sitemap.xml

После завершения парсинга сайта нужно проверить список ссылок в файле sitemap.xml и проследить чтобы там не было страниц с дублирующимся контентом, несуществующих страниц или тех, по которым происходит редирект.
Далее собираются данные о страницах в этой файле и по ним проводится полная проверка, по всем указанным выше пунктам. В особенности внимательно проверяем Response Codes — ответ сервера должен быть 200 для всех страниц.

В этой статье мы как пример рассмотрели программу Screaming Frog SEO Spider. Но существуют и другие программы для аудита сайта. Главное — проверить сайт тщательно по всем пунктам, чтобы максимально оптимизировать его техническую сторону под поисковую систему.

Інші новини

1/1

Контакти

+38 (093)500 22 11

с 9:00 до 18:00

вул. Вадима Гетьмана 4;
Київ, Київська обл., 04116

Потрібен якісний інтернет-маркетинг?
Ми допоможемо і попроектно, і з послугами "під ключ"