/data/crawlers/
../
bingbot.yaml
duckduckbot.yaml
googlebot.yaml
internet-archive.yaml
kagibot.yaml
marginalia.yaml
mojeekbot.yaml
qwantbot.yaml