User-agent: *
Allow: /

# 管理用ディレクトリをクロール禁止
Disallow: /config/
Disallow: /_backup/
Disallow: /jfp21-pend/

# 一時ファイルやテストファイルをクロール禁止
Disallow: /*.txt$
Disallow: /*.sql$
Disallow: /test*
Disallow: /setup_database.php
Disallow: /test_common_database.php

# プライベート画像ディレクトリをクロール禁止
Disallow: /private/
Disallow: /private1.html

# ログファイルや設定ファイルをクロール禁止
Disallow: /*.log$
Disallow: /*.ini$
Disallow: /passtxt

# クロール間隔の推奨（秒）
Crawl-delay: 1