ほとんどの人は、Googleにページのインデックスを解除するのではなく、インデックスを作成させる方法について心配しています。実際、ほとんどの人はペストのようにインデックスを解除しようとしないようにしています。
検索エンジンの結果ページに対する権限を高めようとしている場合、ウェブサイトのできるだけ多くのページにインデックスを付けたくなるかもしれません。そして、ほとんどの場合、それは機能します。
ただし、これは、可能な限り多くのトラフィックを取得するのに必ずしも役立つとは限りません。
なんで？ターゲットを絞ったキーワードを含む多数のページを公開すると、それらの特定のキーワードのランク付けに役立つことは事実です。
ただし、実際には、サイトのページの一部を検索エンジンのインデックスから除外する方がランキングに役立つ場合があります。
これにより、トラフィックは代わりに関連するページに誘導され、ユーザーがGoogleを使用してサイトのコンテンツを検索したときに重要でないページが表示されなくなります。
トラフィックを増やすには、ページのインデックスを解除する必要がある理由（および方法）は次のとおりです。
はじめに、クロールとインデックス作成の違いを見てみましょう。
クロールとインデックス作成の説明
SEOの世界では、サイトをクロールするということは、パスをたどることを意味します。
クロールとは、リンクをたどり、Webサイトの隅々までクロールするサイトクローラー（スパイダーとも呼ばれます）を指します。
ニール・パテルとの相談
私の代理店があなたのウェブサイトへの大量のトラフィックをどのように促進できるかをご覧ください
SEO-大量のSEOトラフィックのロックを解除します。実際の結果をご覧ください。
コンテンツマーケティング-私たちのチームは、共有され、リンクを取得し、トラフィックを引き付ける壮大なコンテンツを作成します。
有料メディア-明確なROIを備えた効果的な有料戦略。
電話を予約する
クローラーは、HTMLコードまたはハイパーリンクを検証できます。また、特定のWebサイトからデータを抽出することもできます。これはWebスクレイピングと呼ばれます。
Googleのボットがウェブサイトにアクセスしてクロールすると、サイトにある他のリンクされたページをたどります。
次に、ボットはこの情報を使用して、ページに関する最新のデータを検索者に提供します。また、ランキングアルゴリズムの作成にも使用されます。
これが、サイトマップが非常に重要である理由の1つです。サイトマップにはサイト上のすべてのリンクが含まれているため、Googleのボットはページを簡単に詳しく調べることができます。
Webページをクロールする
一方、インデックス作成とは、Googleで検索可能なすべてのページのインデックスに特定のウェブページを追加するプロセスを指します。
ウェブページがインデックスに登録されている場合、Googleはそのページをクロールしてインデックスに登録できます。ページのインデックスを解除すると、Googleはそのページのインデックスを作成できなくなります。
デフォルトでは、すべてのWordPressの投稿とページにインデックスが付けられます。
Googleでの露出は、より多くのクリックを獲得し、より多くのトラフィックをもたらすのに役立つため、関連するページをインデックスに登録することをお勧めします。これは、より多くのお金とブランドの露出につながります。
ただし、重要ではないブログやWebサイトの一部をインデックスに登録すると、利益よりも害を及ぼす可能性があります。
ページのインデックスを解除するとトラフィックが増える理由は次のとおりです。
検索結果からページを削除するとトラフィックが増える理由
サイトを過度に最適化することは不可能だと思うかもしれません。
しかし、そうです。
SEOが多すぎると、サイトの上位ランク付け能力が損なわれる可能性があります。船外に出ないでください。
検索エンジンのインデックス作成とクロールからWebページ（または少なくともその一部）を除外する必要がある（または必要とする）さまざまな機会があります。
明らかな理由は、重複するコンテンツがインデックスに登録されないようにすることです。
重複コンテンツとは、1つのWebページに複数のバージョンがあることを指します。たとえば、一方はプリンタ対応バージョンで、もう一方はそうではない場合があります。
異なるURLでコンテンツを複製する
どちらのバージョンも検索結果に表示される必要はありません。 1つだけです。プリンタ対応バージョンのインデックスを解除し、通常のページのインデックスを保持します。
インデックスを解除したいページのもう1つの良い例は、ありがとうページです。これは、訪問者がソフトウェアのダウンロードなどの目的のアクションを実行した後に表示されるページです。
このページは通常、サイトの訪問者が、たとえば電子書籍など、アクションと引き換えに約束したものにアクセスできる場所です。
商品の購入やリードフォームへの記入など、ユーザーに実行してもらいたいアクションを完了させたために、ユーザーに感謝のページを表示してもらいたいだけです。
彼らがGoogle検索であなたのありがとうページを見つけたからではありません。そうした場合、彼らはあなたが望む行動を完了することなく、あなたが提供しているものにアクセスできるようになります。
それはあなたの最も貴重なコンテンツを無料で提供するだけでなく、不正確なデータであなたのサイト全体の分析を捨てる可能性もあります。
これらのページがインデックスに登録されている場合、実際よりも多くのリードを獲得していると思うでしょう。
お礼のページにロングテールのキーワードがあり、インデックスを解除していない場合は、必要のないときにかなり上位にランク付けされる可能性があります。
これにより、ますます多くの人がそれらを見つけやすくなります。
また、スパムのコミュニティプロファイルページのインデックスを解除する必要があります。
スパムのコミュニティプロフィールページを削除する
MozのBritneyMullerは最近、Mozのウェブサイトの75％のインデックスを解除し、大きな成功を収めました。
彼女がインデックスを解除したページの種類の大部分は？ Spammyコミュニティのプロフィールページ。
彼女は気づいた
彼女がsite：moz.comを検索したとき、結果の56％以上がMozコミュニティのプロフィールページでした。
彼女がインデックスを解除するために必要なこれらのページは何千もありました。
Mozコミュニティプロファイルはポイントシステムで機能します。ユーザーは、投稿へのコメントやブログの公開など、サイトでのアクションを完了することで、MozPointsと呼ばれるより多くのポイントを獲得できます。
開発者と一緒に座った後、ブリトニーは200ポイント未満のプロファイルページのインデックスを解除することにしました。
すぐに、オーガニックトラフィックとランキングが上がりました。
少数のMozPointsを使用して、このようなユーザーからコミュニティプロファイルページのインデックスを解除することにより、無関係なプロファイルが検索エンジンの結果ページから除外されます。
200ポイント未満のmozはインデックスを解除します
そうすれば、BritneyのようなMozPointがたくさんある、より注目に値するMozコミュニティユーザーだけがSERPに表示されます。
200ポイント以上のブリトニーミュラー
次に、誰かがそれらを検索すると、コメントとアクティビティが最も多いプロファイルが表示されるため、サイトを使用している影響力のある人々を簡単に見つけることができます。
ブリトニー・モズ・サープ
ウェブサイトでコミュニティプロファイルを提供する場合は、Mozのリードに従い、影響力のあるユーザーや有名なユーザーに属していないプロファイルのインデックスを解除してください。
WordPressで「検索エンジンの可視性」をオフにすると、検索エンジンの可視性を削除できると思うかもしれませんが、そうではありません。
ワードプレス検索の可視性
このリクエストを受け入れるのは、実際には検索エンジン次第です。
そのため、結果ページに表示されないように、手動でインデックスを解除する必要があります。まず、noindexタグとnofollowタグの違いを理解する必要があります。
Noindexタグとnofollowタグの説明
メタタグを簡単に使用して、ページがSERPに表示されないようにすることができます。
方法を知る必要があるのは、コピーして貼り付けることだけです。
ページを削除できるタグは、「noindex」および「nofollow」と呼ばれます。
これらのタグを追加する方法を説明する前に、2つのタグの動作の違いを理解する必要があります。
これらは2つの異なるタグですが、単独で使用することも、一緒に使用することもできます。
noindexタグをページに追加すると、検索エンジンは、ページをクロールすることはできても、そのページをインデックスに追加できないことを通知します。
noindexディレクティブを含むページは、検索エンジンのインデックスに登録されません。つまり、検索エンジンの結果のページには表示されません。
サイトのHTMLコードでのnoindexタグは次のようになります。
インデックスHTMLコードなし
nofollowタグをWebページに追加すると、検索エンジンがページ上のリンクをクロールできないようになります。
つまり、ページがリンクしているページに、そのページが持っているランキング権限は渡されません。
ただし、nofollowタグが付いているページは、検索でインデックスに登録できます。ウェブサイトのコードでnofollowタグがどのように表示されるかを次に示します。
nofollowhtmlタグ
noindexタグは、単独で追加することも、nofollowタグを使用して追加することもできます。
nofollowタグを単独で追加することもできます。追加するタグは、特定のページの目標によって異なります。
検索エンジンが検索エンジンの結果でウェブページのインデックスを作成したくないが、そのページのリンクをたどり続けたい場合は、noindexタグのみを追加します。
ランディングページを有料で購入した場合は、noindexタグを追加することをお勧めします。
人々は彼らを見るためにお金を払うことになっているので、あなたは検索エンジンが訪問者を彼らに連れて来ることを望まないでしょう、しかしあなたはリンクされたページがその権威から利益を得ることが欲しいかもしれません。
検索エンジンが結果ページの特定のページにインデックスを付けたいが、その特定のページにあるリンクをたどらないようにする場合は、nofollowタグのみを追加します。
検索エンジンがページにインデックスを付けたり、ページ上のリンクをたどることができないようにする場合は、noindexタグとnofollowタグの両方をページに追加します。
たとえば、ありがとうページにnoindexタグとnofollowタグの両方を追加したい場合があります。
noindexタグとnofollowタグの両方がどのように機能するかがわかったので、次にそれらをサイトに追加する方法を説明します。
「noindex」および/または「nofollow」メタタグを追加する方法
noindexおよび/またはnofollowタグを追加する場合、最初のステップは目的のタグをコピーすることです。
noindexタグの場合は、次のタグをコピーします。
<META NAME =” robots” CONTENT =” noindex”>
nofollowタグの場合は、次のタグをコピーします。
<META NAME =” robots” CONTENT =” nofollow”>
両方のタグについて、次のタグをコピーします。
<META NAME =” robots” CONTENT =” noindex、nofollow”>
タグの追加は、コピーしたタグをページのHTMLのセクションに追加するのと同じくらい簡単です。これは、ページのヘッダーとも呼ばれます。
インデックスを解除するWebページのソースコードを開くだけです。次に、HTMLの<head>セクション内の新しい行にタグを貼り付けます。
頭のhtml
noindexとnofollowの両方のタグがヘッダー内でどのように表示されるかを次に示します。
ロボットのhtmlコード
</head>タグはヘッダーの終わりを示すものであることに注意してください。この領域の外にnoindexまたはnofollowタグを貼り付けないでください。
コードの更新を保存すれば完了です。これで、検索エンジンはあなたのページを検索エンジンの結果から除外します。
robots.txtファイルを変更すると、複数のページをクロールできなくなる可能性があります。
robots.txtとは何ですか。
私はそれにアクセスしますか？
Robots.txtは、ウェブマスターが検索エンジンロボットに、ページをクロールしたりリンクをたどったりする方法を正確に伝えるために作成できる単なるテキストファイルです。
ユーザーエージェントは許可しません
Robots.txtファイルは、特定のWebクロールソフトウェアがWebサイトの特定の部分をクロールすることを許可されているかどうかを示しています。
一度に複数のウェブページを「フォロー」したい場合は、サイトのrobots.txtファイルにアクセスすることで1つの場所からそれを行うことができます。
まず、サイトにrobots.txtファイルがあるかどうかを確認することをお勧めします。これを理解するには、ウェブサイトにアクセスしてから「robots.txt」にアクセスしてください。
www.yoursitehere.com/robots.txtのようになります。
robots.txtファイルは次のようになります。
robotstxturl形式
検索エンジンボットがサイトを頻繁にクロールするのを遅らせるために、サイトに10のクロール遅延が追加されました。これにより、サーバーが圧倒されるのを防ぎます。
そのアドレスにアクセスしても何も表示されない場合、ウェブサイトにはrobots.txtファイルがありません。 Disney.comにはrobots.txtファイルがありません。
ディズニーのロボットのtxtファイルはありません
空白のページの代わりに、代わりに404エラーが表示される場合もあります。
ほとんどすべてのテキストエディタでrobots.txtファイルを作成できます。追加する方法を正確に知るには、このガイドをお読みください。
robots.txtファイルの基本は次のようになります。
ユーザーエージェント： *
禁止：/
次に、Googlebotにクロールさせたくないすべてのページの終了URLを追加できます。
googlebotを禁止する
必要になる可能性のあるrobots.txtコードは次のとおりです。
すべてのインデックスを作成できるようにします。
ユーザーエージェント： *
禁止：
また
ユーザーエージェント： *
許可する： /
インデックス作成を禁止する：
ユーザーエージェント： *
禁止：/
特定のフォルダのインデックスを解除します。
ユーザーエージェント： *
禁止：/ folder /
そのフォルダ内の1つの特定のファイルを除いて、Googlebotがフォルダのインデックスを作成することを禁止します。
ユーザーエージェント：Googlebot
禁止：/ folder1 /
許可：/folder1/myfile.html
GoogleとBingでは、robots.txtファイルでワイルドカードを使用できます。
疑問符などの特殊文字を含むURLへのアクセスをブロックするには、次のコードを使用します。
ユーザーエージェント： *
禁止：/ *？
Googleは、robots.txt内でのnoindexの使用もサポートしています。
robots.txtからnoindexするには、次のコードを使用します。
ユーザーエージェント：Googlebot
禁止：/ page-uno /
Noindex：/ page-uno /
代わりに、X-Robots-tagヘッダーを特定のページに追加することもできます。
「クロールなし」のX-Robotsタグは次のようになります。
HTTP / 1.1 200 OK
（…）
X-Robots-タグ：noindex
（…）
このタグは、nofollowコードとnoindexコードの両方に使用できます。
noindex nofollow
nofollowタグやnoindexタグを追加したり、robots.txtファイルを変更したりしても、一部のページがSERPに表示されたままになる場合があります。それは正常です。
修正方法は次のとおりです。
あなたのページがまだSERPに表示される理由（最初は）
それでもページが検索結果に表示される場合は、タグを追加してからGoogleがウェブサイトをクロールしていないことが原因である可能性があります。
Fetch as Googleツールを使用して、Googleがサイトを再度クロールするようにリクエストします。
ページのURLを入力し、クリックしてフェッチ結果を表示し、URLの送信ステータスを確認するだけです。
グーグルとしてフェッチ
ページがまだ表示されているもう1つの理由は、robots.txtファイルにいくつかの間違いがある可能性があることです。
robots.txtテスターツールを使用して、robots.txtファイルを編集またはテストできます。これは次のようになります。
ロボットtxtテスター
robots.txtでnoindexタグをdisallowタグと一緒に使用しないでください。
robots.txtでnoindexをメタ化して禁止しないでください
多数のページをメタnoindexしても、robots.txtファイルでそれらを許可しない場合、ボットはメタnoindexタグを無視します。
両方のタグを同時に使用しないでください。また、サイトマップをしばらくそのままにして、クローラーに確実に表示されるようにすることもお勧めします。
Mozがコミュニティプロファイルページのいくつかのインデックスを解除したとき、彼らはコミュニティプロファイルサイトマップを数週間そのままにしました。
同じことをするのは良い考えです。
Google AdSenseがページで機能できるようにしながら、サイトがクロールされないようにするオプションもあります。
お問い合わせページやプライバシーポリシーページなど、ページの1つを考えてみてください。おそらく、フッターメニューまたはメインメニューのいずれかで、Webサイトのすべてのページにリンクされています。
ウェブサイトのフッター
それらのページに行くリンクエクイティはたくさんあります。捨てたくないだけです。特に、メインメニューまたはフッターメニューから直接流れる場合。
ウェブサイト構造ページ
そのことを念頭に置いて、robots.txtでブロックするページをXMLサイトマップに含めないでください。
これらのページをXMLサイトマップに含めないでください
robots.txtファイルでページをブロックした後、それをXMLサイトマップに含めると、Googleをからかうことになります。
サイトマップには、「Google、インデックスに登録する必要のある光沢のあるページがあります」と書かれています。ただし、robots.txtファイルはそのページを削除します。
サイトのすべてのコンテンツを2つの異なるカテゴリに分類する必要があります。
高品質の検索ランディングページ
ユーザーにとっては便利ですが、検索ランディングページである必要はないユーティリティページ
の最初のカテゴリで何もブロックする必要はありません
robots.txt。このコンテンツにもnoindexタグを付けないでください。何があっても、これらすべてのページをXMLサイトマップに含めます。
noindex、nofollowタグ、またはrobots.txtを使用して、2番目のカテゴリのすべてをブロックする必要があります。このコンテンツをサイトマップに含めたくはありません。
Googleは、XMLサイトマップで送信されたすべてのものを使用して、サイトのツールにとって何が重要であるか、何が重要でないかを理解します。
ただし、サイトマップに何かが含まれていないからといって、Googleがそれを完全に無視するわけではありません。
サイトを作成する：Googleが現在サイトからインデックスに登録しているすべてのページを検索して、見落としたり忘れたりした可能性のあるページを見つけます。
Googleがまだインデックスに登録している最も弱いページは、サイトの最後にリストされます：検索。
また、Googleウェブマスターツールで送信およびインデックス登録されたページ数を簡単に表示できます。
ウェブマスターツールのウェブページ
結論
大多数の人は、ページのインデックスを解除するのではなく、ページのインデックスを作成する方法について心配しています。
しかし、間違った種類のページのインデックスを作成しすぎると、実際には全体的なランキングに悪影響を与える可能性があります。
開始するには、クロールとインデックス作成の違いを理解する必要があります。
サイトのクロールとは、サイトが所有するすべてのWebページ上のすべてのリンクをボットがクロールすることを指します。
インデックス作成とは、Googleの検索結果ページに表示される可能性のあるすべてのページのGoogleのインデックスにページを追加することです。
ありがとうページのような不要なページを結果ページから削除すると、Googleは重要でないページではなく、関連するページのランク付けにのみ焦点を合わせるため、トラフィックを増やすことができます。
スパムのあるコミュニティプロファイルページがある場合は削除します。 Mozは、200ポイント未満のコミュニティプロフィールページのインデックスを解除し、トラフィックを急速に増やしました。
次に、noindexタグとnofollowタグの違いを理解します。
Noindexタグは、Googleの検索可能なページのインデックスからページを削除します。 Nofollowタグは、Googleがページ上のリンクをクロールするのを防ぎます。
一緒に使用することも、別々に使用することもできます。 1つまたは各タグのコードをページのヘッダーHTMLに追加するだけです。
次に、robots.txtファイルがどのように機能するかを理解します。このページを使用して、Googleが一度に複数のページをクロールするのをブロックできます。
あなたのページは最初はまだSERPに表示されるかもしれませんが、この問題を修正するにはFetchasGoogleツールを使用してください。
ページのインデックスを作成せず、robots.txtで許可しないようにしてください。また、robots.txtファイルでブロックされているページをXMLサイトマップに含めないでください。
最初にインデックスを解除するページはどれですか。
