誰もが「ハック」が大好きです。
私も例外ではありません-私は自分の人生をより良く、より簡単にする方法を見つけるのが大好きです。
そのため、今日お話しするテクニックは、私の絶対的なお気に入りの1つです。これは、すぐに使い始めることができる正当なSEOハックです。
これは、めったに話題にならないすべてのWebサイトの自然な部分を利用して、SEOを向上させる方法です。実装も難しくありません。
これはrobots.txtファイル（ロボット除外プロトコルまたは標準とも呼ばれます）です。
この小さな小さなテキストファイルはインターネット上のすべてのウェブサイトの一部ですが、ほとんどの人はそれについてさえ知りません。
検索エンジンで動作するように設計されていますが、驚くべきことに、ロックが解除されるのを待っているSEOジュースのソースです。
クライアントがSEOを強化しようとして後ろ向きに曲がった後、クライアントを見てきました。小さなテキストファイルを編集できると言っても、ほとんど信じられません。
ただし、SEOを強化する方法は多く、難しくも時間もかかりません。これはその1つです。
robots.txtの機能を活用するために、技術的な経験は必要ありません。あなたのウェブサイトのソースコードを見つけることができれば、これを使うことができます。
ニール・パテルとの協議
私の代理店があなたのウェブサイトへの大量のトラフィックをどのように促進できるかをご覧ください
SEO-大量のSEOトラフィックのロックを解除します。実際の結果をご覧ください。
コンテンツマーケティング-私たちのチームは、共有され、リンクを取得し、トラフィックを引き付ける壮大なコンテンツを作成します。
有料メディア-明確なROIを備えた効果的な有料戦略。
電話を予約する
準備ができたら、私と一緒にフォローしてください。検索エンジンが気に入るように、robots.txtファイルを変更する方法を正確に説明します。
robots.txtファイルが重要な理由
まず、robots.txtファイルが最初に重要である理由を見てみましょう。
robots.txtファイルは、ロボット除外プロトコルまたは標準とも呼ばれ、Webロボット（ほとんどの場合、検索エンジン）にサイトのどのページをクロールするかを指示するテキストファイルです。
また、クロールしないページをWebロボットに指示します。
検索エンジンがサイトにアクセスしようとしているとしましょう。ターゲットページにアクセスする前に、robots.txtで手順を確認します。
robots.txtファイルにはさまざまな種類があるため、それらがどのように見えるかのいくつかの異なる例を見てみましょう。
検索エンジンがこの例のrobots.txtファイルを見つけたとしましょう。
これはrobots.txtファイルの基本的なスケルトンです。
「user-agent」の後のアスタリスクは、robots.txtファイルがサイトにアクセスするすべてのWebロボットに適用されることを意味します。
「Disallow」の後のスラッシュは、ロボットにサイトのどのページにもアクセスしないように指示します。
なぜ誰もがWebロボットが自分のサイトにアクセスするのを止めたいのか疑問に思うかもしれません。
結局のところ、SEOの主要な目標の1つは、検索エンジンがサイトを簡単にクロールできるようにして、ランキングを上げることです。
これが、このSEOハックの秘訣です。
あなたはおそらくあなたのサイトにたくさんのページを持っていますよね？思わない場合でも、チェックしてください。驚かれるかもしれません。
検索エンジンがあなたのサイトをクロールする場合、それはあなたのページのすべてをクロールします。
また、ページ数が多い場合は、検索エンジンボットがページをクロールするのに時間がかかり、ランキングに悪影響を与える可能性があります。
これは、Googlebot（Googleの検索エンジンボット）に「クロール予算」があるためです。
これは2つの部分に分かれます。 1つ目はクロール速度の制限です。 Googleがそれを説明する方法は次のとおりです。
2番目の部分はクロールデマンドです。
基本的に、クロールの予算は「GooglebotがクロールできるURLとクロールしたいURLの数」です。
Googlebotがサイトのクロール予算を可能な限り最善の方法で費やすのを支援したいと考えています。言い換えれば、それはあなたの最も価値のあるページをクロールするべきです。
グーグルによれば、「サイトのクロールとインデックス作成に悪影響を与える」特定の要因があります。
これらの要因は次のとおりです。
では、robots.txtに戻りましょう。
適切なrobots.txtページを作成すると、検索エンジンボット（特にGooglebot）に特定のページを回避するように指示できます。
影響について考えてください。検索エンジンボットに最も有用なコンテンツのみをクロールするように指示すると、ボットはそのコンテンツのみに基づいてサイトをクロールしてインデックスに登録します。
グーグルが言うように：
「サーバーがGoogleのクローラーに圧倒されたり、サイト上の重要でないページや同様のページをクロールするクロール予算を浪費したりすることは望ましくありません。」
robots.txtを正しい方法で使用することで、検索エンジンボットにクロール予算を賢く使うように指示できます。そして、それがrobots.txtファイルをSEOコンテキストで非常に役立つものにしているのです。
robots.txtの力に興味がありますか？
あなたはそうあるべきです！それを見つけて使用する方法について話しましょう。
robots.txtファイルを見つける
robots.txtファイルを簡単に確認したい場合は、非常に簡単に表示できます。
実際、この方法はどのサイトでも機能します。そのため、他のサイトのファイルを覗いて、それらが何をしているのかを確認できます。
サイトの基本URLをブラウザの検索バー（neilpatel.com、quicksprout.comなど）に入力するだけです。次に、/robots.txtを最後に追加します。
次の3つの状況のいずれかが発生します。
1）robots.txtファイルがあります。
2）
空のファイルが見つかります。
たとえば、Disneyにはrobots.txtファイルがないようです。
3）404を取得します。
メソッドはrobots.txtに対して404を返します。
少し時間を取って、自分のサイトのrobots.txtファイルを表示してください。
空のファイルまたは404を見つけた場合は、それを修正する必要があります。
有効なファイルが見つかった場合は、サイトの作成時に作成されたデフォルト設定に設定されている可能性があります。
他のサイトのrobots.txtファイルを見るこの方法が特に好きです。 robots.txtの詳細を理解したら、これは貴重な演習になる可能性があります。
次に、robots.txtファイルを実際に変更する方法を見てみましょう。
robots.txtファイルを見つける
次のステップはすべて、robots.txtファイルがあるかどうかによって異なります。 （上記の方法で行うかどうかを確認してください。）
robots.txtファイルがない場合は、最初から作成する必要があります。メモ帳（Windows）やテキストエディット（Mac）などのプレーンテキストエディタを開きます。
これにはプレーンテキストエディタのみを使用してください。 Microsoft Wordなどのプログラムを使用している場合、プログラムはテキストに追加のコードを挿入する可能性があります。
Editpad.orgは素晴らしい無料のオプションであり、それがこの記事で私が使用しているものです。
robots.txtに戻ります。 robots.txtファイルがある場合は、サイトのルートディレクトリで見つける必要があります。
ソースコードをいじくり回すのに慣れていない場合は、robots.txtファイルの編集可能なバージョンを見つけるのが少し難しいかもしれません。
通常、ルートディレクトリを見つけるには、ホスティングアカウントのWebサイトにアクセスしてログインし、サイトのファイル管理またはFTPセクションに移動します。
次のようなものが表示されます。
robots.txtファイルを見つけて、編集用に開きます。すべてのテキストを削除しますが、ファイルは保持します。
注：WordPressを使用している場合、yoursite.com / robots.txtにアクセスするとrobots.txtファイルが表示されることがありますが、ファイル内で見つけることはできません。
これは、ルートディレクトリにrobots.txtがない場合、WordPressが仮想robots.txtファイルを作成するためです。
これが発生した場合は、新しいrobots.txtファイルを作成する必要があります。
robots.txtファイルを作成する
選択したプレーンテキストエディタを使用して、新しいrobots.txtファイルを作成できます。 （プレーンテキストエディタのみを使用することを忘れないでください。）
すでにrobots.txtファイルがある場合は、テキストを削除したことを確認してください（ファイルは削除していません）。
まず、robots.txtファイルで使用されている構文のいくつかに精通する必要があります。
Googleには、robots.txtの基本的な用語についてのわかりやすい説明があります。
簡単なrobot.txtファイルを設定する方法を紹介し、次にSEO用にカスタマイズする方法を見ていきます。
ユーザーエージェント用語を設定することから始めます。すべてのWebロボットに適用されるように設定します。
これを行うには、次のように、ユーザーエージェント用語の後にアスタリスクを使用します。
次に、「Disallow：」と入力しますが、それ以降は何も入力しないでください。
許可されなかった後は何もないため、Webロボットはサイト全体をクロールするように指示されます。現在、あなたのサイトのすべては公正なゲームです。
これまでのところ、robots.txtファイルは次のようになっているはずです。
とてもシンプルに見えることは知っていますが、これらの2つの行はすでに多くのことを行っています。
XMLサイトマップにリンクすることもできますが、必須ではありません。必要に応じて、次のように入力します。
信じられないかもしれませんが、これは基本的なrobots.txtファイルのようです。
それでは、それを次のレベルに引き上げて、この小さなファイルをSEOブースターに変えましょう。
SEOのためのrobots.txtの最適化
robots.txtを最適化する方法はすべて、サイトにあるコンテンツによって異なります。 robots.txtを活用するにはさまざまな方法があります。
それを使用する最も一般的な方法のいくつかを見ていきます。
（robots.txtを使用して検索エンジンからのページをブロックしないように注意してください。これは大したことではありません。）
robots.txtファイルの最適な使用法の1つは、公開されていないサイトの部分をクロールしないように検索エンジンに指示することで、検索エンジンのクロール予算を最大化することです。
たとえば、このサイトのrobots.txtファイル（neilpatel.com）にアクセスすると、ログインページ（wp-admin）が許可されていないことがわかります。
そのページはサイトのバックエンドにログインするためだけに使用されるため、検索エンジンボットがページをクロールする時間を無駄にすることは意味がありません。
（WordPressを使用している場合は、まったく同じ禁止行を使用できます。）
同様のディレクティブ（またはコマンド）を使用して、ボットが特定のページをクロールするのを防ぐことができます。禁止した後、.comの後に続くURLの部分を入力します。それを2つのスラッシュの間に入れます。
したがって、ボットにページhttp://yoursite.com/page/をクロールしないように指示する場合は、次のように入力できます。
インデックス作成から除外するページの種類を具体的に疑問に思うかもしれません。これが発生する一般的なシナリオを次に示します。
意図的な重複コンテンツ。重複するコンテンツはほとんどの場合悪いことですが、それが必要で許容できる場合もいくつかあります。
たとえば、プリンタ対応バージョンのページがある場合、技術的にはコンテンツが重複しています。この場合、これらのバージョンの1つ（通常はプリンター対応バージョン）をクロールしないようにボットに指示できます。
。
これは、コンテンツは同じでデザインが異なるページを分割テストする場合にも便利です。
ありがとうページ。ありがとうページは、新しいリードを意味するため、マーケティング担当者のお気に入りのページの1つです。
…右？
結局のところ、いくつかのありがとうページはグーグルを通してアクセス可能です。つまり、リードキャプチャプロセスを経ることなくこれらのページにアクセスできるということです。これは悪いニュースです。
ありがとうページをブロックすることで、資格のあるリードだけがそれらを見るようにすることができます。
それで、あなたのありがとうページがhttps://yoursite.com/thank-you/にあるとしましょう。 robots.txtファイルでは、そのページをブロックすると次のようになります。
どのページを禁止するかについての普遍的なルールがないため、robots.txtファイルはサイトに固有のものになります。ここであなたの判断を使用してください。
知っておくべき他の2つのディレクティブがあります：noindexとnofollowです。
私たちが使用しているdisallowディレクティブをご存知ですか？実際には、ページのインデックス作成が妨げられるわけではありません。
したがって、理論的には、ページを禁止することはできますが、それでもインデックスに含まれる可能性があります。
一般的に、あなたはそれを望んでいません。
そのため、noindexディレクティブが必要です。これは、disallowディレクティブと連携して、ボットが特定のページにアクセスしたりインデックスを作成したりしないようにします。
インデックスに登録したくないページがある場合（貴重なありがとうページなど）、disallowディレクティブとnoindexディレクティブの両方を使用できます。
これで、そのページはSERPに表示されなくなります。
最後に、nofollowディレクティブがあります。これは実際にはnofollowリンクと同じです。つまり、ページ上のリンクをクロールしないようにWebロボットに指示します。
ただし、nofollowディレクティブは、実際にはrobots.txtファイルの一部ではないため、少し異なる方法で実装されます。
ただし、nofollowディレクティブは引き続きWebロボットに指示しているため、同じ概念です。唯一の違いは、それが行われる場所です。
変更するページのソースコードを見つけて、<head>タグの間にあることを確認します。
次に、この行を貼り付けます。
<meta name =” robots” content =” nofollow”>
したがって、次のようになります。
この行を他のタグの間に入れないように注意してください。<head>タグだけです。
ウェブロボットはリードマグネットやその他の独占的なコンテンツへのリンクをクロールしないため、これはお礼のページに適したもう1つのオプションです。
noindexディレクティブとnofollowディレクティブの両方を追加する場合は、次のコード行を使用します。
<meta name =” robots” content =” noindex、nofollow”>
これにより、Webロボットに両方のディレクティブが同時に与えられます。
すべてをテストする
最後に、robots.txtファイルをテストして、すべてが有効で正しく動作していることを確認します。
Googleは、ウェブマスターツールの一部として無料のrobots.txtテスターを提供しています。
まず、右上隅にある[サインイン]をクリックして、Webマスターアカウントにサインインします。
プロパティ（ウェブサイトなど）を選択し、左側のサイドバーにある[クロール]をクリックします。
「robots.txtテスター」が表示されます。それをクリックします。
ボックスにすでにコードが含まれている場合は、それを削除して、新しいrobots.txtファイルに置き換えます。
画面右下の「テスト」をクリックします。
「テスト」のテキストが「許可」に変わった場合は、robots.txtが有効であることを意味します。
すべてが何を意味するのかを詳細に学ぶことができるように、ツールに関する詳細情報を以下に示します。
最後に、robots.txtをルートディレクトリにアップロードします（または、すでに持っている場合はそこに保存します）。これで強力なファイルが用意され、検索の可視性が向上するはずです。
結論
私はいつも、あまり知られていないSEOの「ハック」を共有するのが大好きです。これは、1つ以上の方法で本当の利点をもたらすことができます。
robots.txtファイルを正しい方法で設定することで、独自のSEOを強化するだけではありません。また、訪問者を支援しています。
検索エンジンボットがクロール予算を賢く使うことができれば、SERP内のコンテンツを最適な方法で整理して表示できるため、より目立つようになります。
また、robots.txtファイルを設定するのにそれほど手間はかかりません。ほとんどの場合1回限りの設定であり、必要に応じて少し変更を加えることができます。
最初のサイトと5番目のサイトのどちらを開始する場合でも、robots.txtを使用すると大きな違いが生まれます。まだ行ったことがない場合は、試してみることをお勧めします。
robots.txtファイルを作成した経験は何ですか？
