ブロガーで独自のrobots.txtファイルを追加する方法？

私の以前の記事の一つで、私はブロガーのカスタムロボットヘッダータグの設定を議論していました。 あなたがその記事を読んでいるなら、私はあなたたちは検索ランキングでその重要性を認識している願っています。

今日、私は戻ってrobots.txtのは非常に有用かつ必須意識ブログ用語としています。

ブロガーでは今あなたがお好みに応じてこのファイルをカスタマイズすることができることを意味している独自のrobots.txtとして知られています。 今日のチュートリアルでは、我々は深く、この用語を議論し、その使用と利点について知って来ます。 私はまた、どのようにブロガーでカスタムrobots.txtファイルを追加する方法を教えてくれます。

だから、チュートリアルを始めましょう。

robots.txtのは何ですか？

robots.txtのは、簡単な数行のコードを含むテキストファイルです。 それはどのようにインデックスにウェブクローラに指示し、検索結果にあなたのブログをクロールウェブサイトやブログのサーバーに保存されます。 つまり、あなたのブログのラベルページ、あなたのデモページまたはインデックスを取得することとして重要ではない、他のページのように検索エンジンでインデックスを取得できないようにするために、ウェブクローラからあなたのブログ上の任意のWebページを制限できることを意味します。 常に検索クローラは、任意のWebページをクロールする前に、robots.txtファイルをスキャンすることを覚えておいてください。

何かあるデフォルトrobots.txtファイルを持っているブロガーでホストされている各ブログには、次のようになります。

ユーザーエージェント：は、Mediapartners-グーグル
許可しません：
ユーザーエージェント： *
許可しない：/検索
許可：/
サイトマップ：http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

説明

このコードは、3つのセクションに分割されています。 その後レッツ最初の研究でそれらのそれぞれは、我々はのBlogSpotのブログでカスタムrobots.txtファイルを追加する方法を学習します。

1. ユーザーエージェント：は、Mediapartners-グーグル
このコードは、あなたのブログに、より良い広告を提供するためにそれらを助けるGoogle AdSenseのロボットのためのものです。 あなたのブログにGoogle AdSenseのを使用するか、そのまま単純にそれを残していないのいずれか。
2. ユーザーエージェント： *
これは、アスタリスク（*）でマークされたすべてのロボットのためのものです。 デフォルトの設定では、私たちのブログのラベルリンクはウェブクローラがインデックスので、以下のコードの私達のラベルのページへのリンクをしないことを意味しているサーチ・クローラーによってインデックス付けに制限されています。

許可しない：/検索

つまり、ドメイン名は無視された直後にキーワード検索を持つリンクを意味します。 SEOという名前のラベルのページのリンクである例の下を参照してください。

https://www.bloggertipstricks.com/ 検索 /ラベル/ SEO

我々は不許可を削除する場合と：/検索上記のコードから、その後のクローラがインデックスに私達の全体のブログにアクセスし、その内容やウェブページのすべてをクロールします。

ここで許可：/は、ウェブクローラは、私たちのブログのホームページをクロールし、インデックスすることができます意味のホームページを指します。


特定のポストを許可しません
今、私たちは、インデックス作成から特定のポストを除外したい場合は、我々はコードの行の下に追加することができたとします。

許可しない：/yyyy/mm/post-url.html

ここで、YYYYとMMはそれぞれのポストの出版年月のことをいいます。 例えば、私たちは3月の年2013年にポストを公開しているならば、我々は形式の下に使用する必要があります。

許可しない：/2013/03/post-url.html

この作業を簡単にするためには、単にポストのURLをコピーして、最初からブログの名前を削除することができます。


特定のページを許可しません

我々は特定のページを禁止する必要がある場合、我々は、上記と同様の方法を使用することができます。 単純にページのURLをコピーして、何かがこのようになります。それから、ブログのアドレスを削除します。

許可しない：/p/page-url.html

3. サイトマップ：http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
このコードは、私たちのブログのサイトマップを指します。 ここでは、サイトマップのリンクを追加することで、我々は単に私たちのブログのクロール速度を最適化しています。 ウェブクローラは、私たちのrobots.txtファイルをスキャンするたびに、彼らは私たちの公開記事のすべてのリンクが存在し、当社のサイトマップへのパスを見つけることを意味します。 Webクローラーは、簡単に私たちのすべての投稿をクロールするでしょう。 したがって、ウェブクローラーは、単一のものを無視することなく、私たちのブログの記事のすべてをクロールより良いチャンスがあります。
注：このサイトマップは、最近の25記事に関するウェブクローラを教えてくれます。 あなたのサイトマップ内のリンクの数を増やしたい場合は、以下のいずれかのデフォルトのサイトマップを交換してください。 これは、最初の500の最近の記事のために動作します。

サイトマップ：http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

あなたのブログに500以上の公開された記事を持っているなら、あなたは以下のような2サイトマップを使用することができます。

サイトマップ：http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
サイトマップ：http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Bloggerに独自のrobots.txtを追加します

今、このチュートリアルの主要部分は、ブロガーでカスタムのrobots.txtを追加する方法です。 だから、以下にそれを追加する手順は次のとおりです。

1. あなたのブロガーのブログに移動します。
2. はい>> カスタムのrobots.txt >>編集>> 設定 >> 検索設定 >> クローラとインデックスに移動します
3. さてボックスにrobots.txtファイルのコードを貼り付けます。
4. [変更を保存]ボタンをクリックします。
5. あなたが行われています！

robots.txtファイルを確認する方法？

ブラウザにあなたのブログのURLに最後に/robots.txtを追加することで、あなたのブログにこのファイルを確認することができます。 デモについては、以下の例を見てみましょう。

https://www.bloggertipstricks.com/robots.txt

あなたがrobots.txtファイルのURLをご覧一度あなたがあなたのカスタムのrobots.txtファイルで使用しているコード全体が表示されます。 画像の下を参照してください。

最終的な言葉！

これはブロガーでカスタムrobots.txtファイルを追加する方法については、今日の完全なチュートリアルでした。 私は実際に可能な限り、このチュートリアルでは、ような単純かつ有益にするために、私の心でみてください。 しかし、まだあなたが持っていると疑う場合、またはクエリが、その後私にお気軽に。 それについて知らなくても、カスタムのrobots.txtの設定で任意のコードを入れないでください。 単にあなたのクエリを解決するために私に尋ねます。 私はあなたの詳細のすべてを教えてあげましょう。 おかげでみんな、このチュートリアルを読むため。 あなたがそれを好きなら、あなたのソーシャルメディアのプロファイルにこのポストを共有することで、私の言葉を広めるために私をサポートしてください。 ハッピーブログ！