Некоторые полезные линки для спама и парсинга

 Достать валидные строки с юзерагентами поисковиков

Специальный сервис useragentstring.com/pages/useragentstring.php с легкостью предоставляет тебе такую возможность. Зайдя на представленную выше страницу ты увидишь полные списки из всех известных юзерагентов, разбитые по категорияем:

• кравлеры или пауки поисковых машин;
• браузеры;
• консоли;
• оффлайн браузеры;
• e-mail клиенты;
• линк-чекеры;
• e-mail коллекторы;
• валидаторы;
• фид-ридеры;
• библиотеки;
• другие.

Нажав, например, на ссылку с юзерагентом "Googlebot", ты увидишь все возможные useragent strings для этого паука:

Mozilla/5.0 (compatible; Googlebot/2.1; +google.com/bot.html)
Googlebot/2.1 (+googlebot.com/bot.html)
Googlebot/2.1 (+google.com/bot.html)

Далее, нажав на одну из этих строк, ты увидишь ее подробнейший разбор, включая ip-адреса гугла, что не может не пригодиться тебе при кодинге клоакинг-доргена :)

более или менее полные списки городов и стран мира?

Существуют множество сайтов, посвященных созданию и заполнению различных списков объектов, существующих на нашей планете.
Один из моих любимых сервисов - worldatlas.com/geoquiz/thelist.htm.

Здесь ты можешь найти некоторые данные о Земле (вес, население, площадь, скорость вращения и т.д.), списки наиболее крупных морей, островов, озер, рек, океанов, континентов, гор. Также здесь есть и интересующие тебя списки стран и городов мира (с указанием различных данных по населению) в самых различных вариациях. Например, вот список 10 наиболее крупных городов США:

New York City, NY 8.09 million
Los Angeles, CA 3.8 million
Chicago, IL 3.1 million
Houston, TX 2.78 million
Philadelphia, PA 1.62 million
Phoenix, AZ 1.54 million
San Antonio, TX 1.5 million
San Diego, CA 1.4 million
Dallas, TX 1.32 million
Detroit, MI 1 million

Если же тебя (и твоего спамбота :) такие подробности не интересуют, то заходи на http://openconcept.ca/blog/mgifford/text_list_all_countries и копипасть себе простой текстовый список из 195 стран мира.

Для городов мира (а также для любых других локаций) также существует один из наиболее подробнейших списков, качай его по адресу world-gazetteer.com/dataen.zip.

В архиве содержится простой текстовый файл, имеющий следующую структуру:

• уникальный id номер географического объекта;
• имя объекта (на английском, если доступно);
• альтернативные имена;
• имя на оригинальном языке (кириллица и т.д.);
• тип географического объекта (страна, город и т.д.);
• текущая популяция;
• широта;
• долгота;
• страна
• головная административная единица первого, второго и третьего уровней.