robots.txtを開いて確かめる｜善意の設定がAIを締め出していないか

• Facebook
• X(旧:Twitter)
• はてブ
• LINE

医院サイトでAIの巡回を意図せず止めていないか確かめるには、まず robots.txt (ロボッツテキストという巡回ルールのファイル)を開き、対象と禁止範囲を読みます。公開中の診療案内まで禁止の対象なら、誰が何の目的で設定したかを確かめたうえで修正を判断できます。

AIの回答への掲載や来院数の増加には、巡回の許可以外の要因も関わります。設定の点検で分かるのは、医院が見せたいページへの巡回を自ら妨げているかどうかです。

この記事では、医院サイトの巡回ルールを開いて読む方法と、意図に合わない設定を元へ戻せる形で修正する順序をまとめています。

robots.txt はサイトの入口から開けます

確認する場所は、医院サイトのドメインの直下です。診療科のページの末尾ではなく、サイトの住所の最初の部分にファイル名を付けて開きます。

医院のトップページから住所をたどる

ブラウザーで医院のトップページを開き、アドレス欄に表示されたドメインの直後に /robots.txt（巡回ルールのファイル名）を付けて確認します。

診療案内の住所に含まれる /診療案内/（診療案内の場所を表す例） などの部分は外し、ドメインのすぐ後ろに /robots.txt を置きます。検索窓へ文字列を入れると別のサイトの説明が出るため、住所を入力する欄から直接開くのが確実です。

英字の入力に不安があれば、開いた住所と表示画面を控えるところまでで十分です。院長が自分で設定を書き換える必要はなく、現在の公開状態を見られれば点検の材料になります。

文字が出る画面とエラー画面を分ける

正常に取得できると、装飾の少ない画面に英字や記号の行が表示されます。医院の案内ページが出たときは、目的のファイルではなく別のページへ移動している疑いがあり、見た目だけで許可状態を判断すると読み違えます。

エラー画面が出たら、その文言と確認日時を残します。「見つからない」と「アクセスを拒否された」では意味が違うため、制作会社には画面の文言に加えてHTTPの応答番号も確認してもらうと状況を区別できます。

別の住所には別の設定がある

医院本体と予約サービスでドメインが違うなら、巡回ルールの対象範囲も別なので、それぞれの住所で確認します。

また、住所の先頭部分や通信方式が違うと、確認すべき場所も分かれます。普段使っているリンクからトップページを開き、移動が終わった後の住所を基準にすると、古い住所の設定だけを見て済ませる失敗を減らせます。

院長が最初に押さえる対象は、患者さんが診療内容や診療時間を読む医院の公開サイトです。運営上使っている別の住所が分かったら、同じ設定だと決めつけず、対象サイト名を添えて管理者へ渡します。

robots.txt は対象と禁止範囲を組で読む

誰の巡回が止まるかは、禁止を示す行と対象の指定で決まります。対象を指定する行からひとまとまりで読むと、サイト全体への禁止と一部の場所への禁止を区別できます。

対象の指定から読み始める

ユーザーエージェントはルールの対象を示す項目で、巡回するプログラムを指すクローラーの名前が入り、値が * なら特定の名前に限定しない共通の対象を表します。

その下に続く許可や禁止の行は、対象の指定と組み合わせて読みます。対象の指定が複数並ぶ形もあるので、画面の途中だけを切り取るより、全文を残してまとまりを追う方が判断しやすくなります。

共通の指定で全体を止めていても、特定の対象向けのまとまりでは扱いが異なり得るため、ファイル内の他の対象指定まで目を通して判断します。

禁止する場所の長さに注目

Disallow は巡回を禁止する場所を示す項目です。その値が / だけならサイト全体に及ぶ禁止となり、/試験/（試験用の場所を表す例） ならその文字列で始まる場所を対象に読みます。

この表は各行の意味を読むための例であり、医院サイトへ適用する際は実際の住所と目的に合わせた設定が必要です。値が空の禁止行と、斜線が1文字入った禁止行は見た目が似ていても意味が大きく違うため、空白や記号を省略せず控えます。

例外と記号を含む行は全文で確認

Allow は巡回を許可する場所を示す項目で、禁止範囲の一部を許可する形でも使われます。同じページに複数の行が当てはまるときは、単純に後の行が勝つと読まず、より具体的に一致する指定を確認する必要があります。

たとえば、全体を禁止する行の下に診療案内を許可する行があれば、全ページが同じ扱いとは限りません。担当者には「この診療案内のURLにはどのまとまりと行が適用されるか」と尋ねると、抽象的な許可済みという返答を避けられます。

行中の # 以降は説明用のコメントとして扱われ、巡回ルールの対象外です。値に * や $ が含まれる場合も、文字列の一致範囲に関わるため、記号を削った要約ではなく元の行を渡します。

公開ページまで止める設定はどこに残る？

公開前の設定の残置や、狭いつもりで書いた禁止範囲が、公開ページへの巡回を止める原因になります。行の強さだけを見て誤設定と決めず、現在公開しているページの住所と突き合わせるのが先です。

公開前の全体禁止が残った場合

制作中のサイトを巡回対象にしたくないという目的で、共通の対象に全体禁止を指定する場面があります。その設定が本番公開後も残れば、医院の案内が人には開けても、ルールを守る巡回プログラムには禁止を伝える状態です。

改装前後の作業記録に「公開時に解除」と書かれていれば、禁止を入れた時期と公開時期を照合し、解除対象が現在のファイルへ反映されたかを追います。

一方、全体禁止が医院の承認した継続方針として置かれているなら、残し忘れとは区別します。理由が分からない段階では消去せず、どのページを巡回可能にしたいかという現在の意図と照合して判断します。

一部を止めたつもりが広く一致

禁止する場所は、管理画面に付けたページの分類名ではなく、URL内の文字列で決まります。見た目で同じ診療案内でも住所が違えば適用範囲は変わり、別の内容のページでも共通する文字列から始まれば同時に対象になり得ます。

実際のサイトでは、診療案内を1つだけ見るより、住所の作りが異なるページを選ぶと範囲をつかめます。先頭の文字列や大文字と小文字の違いも含めて比較し、似ている住所を同じものとして扱わないようにします。

対象を広げた変更の痕跡

以前は特定の対象だけに書かれていた禁止が、変更時に共通の対象の下へ移ると、意図より広い範囲に作用し得ます。禁止する場所の行が同じでも、上にある対象指定が変われば意味が変わる点に注意が必要です。

そのため、新旧の比較では禁止行だけを抜き出さず、対象指定を含めたまとまりを並べます。説明コメントに「特定の巡回を制限」と残っていても、実際の記述が共通指定なら、コメントだけを根拠に限定的な設定と判断できません。

診療時間を調べる患者さんに案内が届いてほしいという医院の意図と、実際の禁止範囲を結び付けるのが点検の基準です。

設定の由来をたどる手がかり

誰がいつ入れたかは、公開中の文字列だけで確定できるとは限りません。コメント、過去の保存内容、制作時のやり取りを照合すると、意図を推測だけで埋めずに済みます。

コメントは理由を探す入口

ファイル内に日付や作業名が書かれていたら、まずその記述を手がかりにします。「公開準備」や「一時制限」といった説明があれば、その作業の完了連絡と対応させると解除漏れの確認につながります。

ただし、コメントの日付がそのまま現在の設定日とは限りません。過去の説明を残したまま内容だけが変わる例もあるため、書いた人や導入目的は、当時の作業記録で裏付けが取れた範囲までとします。

日付も説明もなく、全文を読んでも設定者や目的が分からなければ、制作会社の判断だったはずだと推測で補わず、由来は不明として記録します。

変更前の控えと公開時期を照合

過去のファイルやバックアップがあれば、問題の行がいつから存在するかを絞れます。公開直前の控えと公開後の控えを比較し、どちらにも同じ全体禁止があるなら、公開作業の確認項目をたどる材料になります。

• 公開前後の保存内容 … 対象指定と禁止範囲の差
• 改装や移転の作業記録 … 設定を引き継いだ時期
• 保守依頼のやり取り … 制限の理由と解除予定

記録が途切れているときは、分かる期間を区切って扱います。「先月の保存内容には存在するが導入日は不明」のように書けば、確認済みの事実と未確認の部分を混同せず、現在の方針を決める材料にできます。

公開ファイルを作る場所まで確認

ブラウザーに表示される内容が、同名の実ファイルをそのまま配信したものとは限りません。ホームページを管理する仕組みが自動で文章を作る場合は、公開画面の文字と編集すべき設定欄が別になります。

制作会社には、実ファイルの編集で変わるのか、管理機能の設定から生成されるのかを確認します。編集した場所が表示内容の生成元でなければ、修正が反映されなかったり、次の更新で以前の内容に戻ったりする原因になります。

現在の保守担当者が導入したとは限らないため、複数の管理機能が関わる場合は、最終的に公開内容を決める設定と、その変更場所まで特定します。

修正は元へ戻せる準備から始めます

修正前の全文と戻し方を確保してから、意図に合わない箇所を変更します。全体を空にするより、許可したいページと残したい制限を先に決める方が、変更の影響を追いやすくなります。

変更前の全文と確認日時を保存

保存するのは、問題と思う1行だけでなく、対象の指定や説明を含む全文です。確認したURLと日時を添えておくと、別のサイトの設定や別の日の画面を取り違えず、戻すべき内容を特定できます。

自動で生成される形なら、表示された文章に加えて、生成元の設定値も担当者に控えてもらいます。文章のコピーだけでは管理機能の設定を復元できないため、戻し方は実際に変更する場所に合わせる必要があります。

準備の中心は、変更前へ戻せる記録。復元を行う担当者と作業方法まで分かれば、意図しない範囲へ影響した際に、判断と対応を同じ資料から進められます。

許可したいページを住所で指定

変更する禁止を具体的に決めるため、患者さんが読む診療案内や診療時間のページを実際の住所で挙げ、それぞれが修正後にどう扱われるかを確認します。

巡回ルールはアクセスを守る鍵ではなく、対応する巡回プログラムへ希望を伝える仕組みです。秘密情報を隠す目的で禁止を残していると分かった場合は、削除か維持かを即決せず、管理者へ目的に合う保護になっているか確認します。

変更案と影響範囲を一緒に確認

変更案は、削除する行と追加する行が分かる形で確認します。1行の削除でも広い範囲に影響するため、変更量の少なさではなく、どの対象のどのページが変わるかで判断します。

たとえば、対象指定まで消してしまうと、続く行のまとまりを変えるおそれがあります。禁止行の見た目だけを整理せず、修正後の全文で対象と範囲の組み合わせが保たれているかを担当者と確かめましょう。

公開は作業後の確認を行える時間に予定します。別の大きな変更は、今回の修正を確認してから進めましょう。想定と違う表示になった際に、どの変更が影響したかを追いやすくなります。

robots.txt の修正後は公開内容で確かめる

管理画面で保存を終えても、公開中の内容が変わったかは別に確認が必要です。最初に開いた住所から再度取得し、変更案と一致するか、残すはずの指定が維持されているかを見ます。

編集画面と公開画面の一致

修正後は、医院のトップページを開いたときの住所を基準に、巡回ルールのファイルを開き直します。編集画面の保存完了という表示だけでは、別の場所を編集したのか、公開まで反映されたのかを区別できないためです。

ブラウザーなどに以前の内容が一時保存されていると、修正済みでも古い文字列が見える場合があります。担当者には一時保存の影響を除いた取得結果を確認してもらい、表示が変わらない理由を反映待ちと決めつけないようにします。

公開中の全文が変更案と一致した時刻を残せば、後日の確認でも同じ基準を使えます。

代表ページへの適用結果を照合

次に、修正前に選んだページの住所に、新しいルールを当てはめます。許可したいページの禁止が解けただけでなく、残す予定だった範囲が変わっていないかまで見ると、修正の成功を具体的に判定できます。

• 公開内容 … 承認した変更案との一致
• 代表ページ … 対象ごとの許可状態
• 維持する指定 … 変更前に決めた範囲との一致

担当者が確認用の判定機能を使う場合は、読み込ませた全文と調べたURLも結果に添えてもらいます。古いファイルや別の住所で許可と判定されても、現在の医院サイトの確認にはならないため、対象を揃えるのが大切です。

完了の基準と再点検の時期

点検の完了は、公開中のルールが医院の意図と一致し、代表ページへの適用結果も確認できた時点です。AIの回答で医院名が見つかるかどうかだけを修正の合否にすると、設定の反映と掲載の判断を混同してしまいます。

とはいえ、一度合った設定もサイトの改装や管理機能の変更で置き換わるおそれがあります。公開し直したときや設定の生成元を変えたときには、今回と同じ住所と代表ページで再点検する予定を作っておくと実務に沿います。

院長が判断する順序は、現状の把握、設定意図の確認、影響を絞った修正、公開後の照合です。まずは現行ファイルを開き、サイト全体や公開中の診療案内に禁止が及んでいないかを見るところから始められます。

よくある質問

• Facebook
• X(旧:Twitter)
• はてブ
• LINE