Прокси сервер

Что это? Принципы работы, виды, цели и варианты использования

Что такое прокси сервер?

Скучная теория

Прокси-сервер - это компьютер (сервер), который служит промежуточным звеном обмена данными между пользователем и ресурсами (в нашем случае - Интернет-ресурсами). Т.е. любой запрос к интернет-сайту, если используется прокси-сервер, сначала идёт на прокси (естественно, через интернет-провайдера), а тот уже транслирует его дальше - по назначению. Затем прокси-сервер получает данные с запрашиваемого сайта и транслирует их клиенту (естественно, через интернет-провайдера). Таким образом, прокси-сервер является "посредником" между компьютером пользователя и удаленным ресурсом.

Прокси-серверы могут обладать функцией кэширования, т.е. сохранения всей передаваемой информации на своих носителях. Тогда при следующем запросе прокси будет забирать с Интернет-ресурса только новую/обновленную информацию. Всё остальное он "отдаст" пользователю непосредственно из кэша, минуя лишние запросы к удаленному ресурсу (сайту). Всё это в отдельных случаях ускоряет работу в сети Интернет.

Справедливости ради нужно сказать, что публичные прокси, как правило, никакой функцией кэширования не обладают. Прочтя данную статью, вы поймёте почему.

Сказки про анонимность

В сети Интернет исторически принята следующая классификация публичных прокси: анонимный, высокоанонимный, прозрачный. Однако эта классификация сейчас неактуальна. В силу современных технологий, используемых провайдерами для анализа пакетов, анонимных прокси сейчас просто нет и быть не может. Вот почему бесполезно использовать прокси из нашего списка (да и вообще любой HTTP прокси), если сайт заблокирован на стороне провайдера (например, по требованию Роскомнадзора). Но это касаемо провайдера.

Что касается удаленного web-сервера (сайта), то он получает информацию о посетителе, анализируя метаданные, извлеченные посредством HEAD запроса. В заголовках ответа на данный запрос содержатся сведения, которые (в некоторых случаях) позволяют сделать вывод о том, что пользователь использует прокси сервер.

Какие они бывают, эти прокси

Вот почему на PremProxy.com применяется другая классификация прокси:

  • элитный
  • нормальный
  • прозрачный

Как видите, ни о какой анонимности в данной классификации речи не идёт.

Элитный - данный тип прокси в ответ на HEAD запрос не отдает никаких переменных, которые характерны для прокси-сервера. Т.е. такой IP неотличим от IP любого ISP.

Нормальный - данный тип прокси возвращает переменные, которые характерны для прокси серверов (например HTTP_VIA). Этот тип прокси не передает хосту информацию об IP адресе клиента, который его использует. Т.е. сайт, "видит" что посетитель использует прокси, - но и только.

Прозрачный прокси потому и называется прозрачным, что "через него" хосту "виден" не только прокси, но и IP пользователя (передается в переменных семейства "FORWARDED" и в некоторых случаях - CLIENT_IP).

Ограничения HTTPS сайтов в плане определения прокси

Все вышеизложенное касается исключительно сайтов, работающих на протоколе HTTP (URL начинается с http://). Если хост использует шифрованное SSL соединение, т.e использует протокол HTTPS (URL начинается с https://) он вообще не способен получать никаких переменных окружения, характерных для использования клиентом прокси. Т.е. прокси по заголовкам он не опреляет. Такие сайты могут определить прокси только по "чёрным спискам" IP, для формирования которых PremProxy.com предоставляет полную (платно) или некоторую (бесплатно) информацию.

Для чего и кому они нужны

Стоп-листы и черные списки

Трафик через прокси зачастую не есть то, чему безумно рады администраторы сайтов. Причины тут настолько разнообразные и многогранные, что их перечисление требует отдельной статьи. Актуальность определения прокси именно проверкой по спискам IP соединения пользователя продиктована ещё и повальным переходом сайтов на протокол HTTPS (по мягкому, но настоятельному требованию Google). А, как писалось выше, HTTPS не оставляет шансов определить прокси по метаданным запроса HEAD.

Годятся для SEO?

Ну а почему нет? Посмотреть как твой сайт выглядит в поисковой выдаче в зависимости от географической локации ищущего - весьма полезное дело. Практически любой прокси соответствующей страны здесь поможет, и особенная скорость для этого не важна. Не забудьте только почистить куки и найти способ поменять язык, который будет отдаваться серверу в ответ на HEAD запрос. Проверить язык можно здесь (см. переменную HTTP_ACCEPT_LANGUAGE).

Надежды юношей питают или ещё раз про "анонимность"

Удивительно, но ещё остались люди, которые ставят себе в браузер "анонимный" прокси и воображают, что после этого они в волшебной шапке-неведимке, ну или, как минимум, в маске Зорро.

Хотя тут надо разобраться, а что мы вообще понимаем под анонимностью в интернете. Анонимность-то по отношению к кому? Вот ключевой вопрос.

Провайдеры в настоящее время умеют достаточно хорошо и быстро разбирать незашифрованные пакеты данных, которые вы отправляете и получаете пусть даже через прокси. Т.е. надеяться на эффект любых прокси серверов в плане анонимности по отношению к провайдеру примерно тоже самое, как надеть новые кроссовки и думать, что вас теперь никто не узнает. Да, мы все прекрасно понимаем, что можно быть честным и законопослушным гражданином и при этом не быть в восторге от того, что провайдер может быть в курсе всех ваших интересов в интернете. Однако HTTP прокси вам здесь ничем не помогут. Не для анонимности их придумали.

В то же время, с удаленным хостом, читай сайтом, на который вы заходите через прокси всё несколько по другому. Здесь вы можете скрыть от некоторых, не особенно добросовестных администраторов сайтов свой IP, показывая вместо него IP прокси. Опять же речь идет о тех ситуациях, когда вы вынуждены принимать меры для защиты своих персональных данных. За примерами далеко ходить не надо. Наверное многие из вас знакомы с форумами, владельцы которых, не спрашивая вашего разрешения, в каждом вашем сообщении\посте любезно предоставляют миру (ну или зарегестрированным юзерам, что одно и тоже) ваш IP адрес. Если форум интересен вам, но вы не в восторге от того, что ваш IP после каждого вашего поста становится достоянием мировой общественности, надежный и легальный прокси поможет вам.

Безопасность использования

Постановка вопроса

Конечно тут имеется в виду не формирование чёрных списков на основе известных прокси, что по определению безопасно (и правильнее всего!), а использование прокси для интернет-соединения.

Для того чтобы ответить на вопрос насколько безопасно использовать публичные прокси, нужно понять, а для чего вообще существуют прокси-серверы, которыми "за так" может пользоваться любой? И это вопрос на миллион долларов.

Откуда дровишки?

Процент прокси, открытых на веб-серверах по ошибке администратора чрезвычайно мал. Да к тому же их еще надо кому-то найти. Это во-первых. Во-вторых, эта ошибка очень быстро обнаруживается и устраняется самим администратором сервера. Что неудивительно: трудно не заметить взрывной рост нагрузки на сервер, что определяет его резкое замедление от нагруженности запросами (вплоть до полной остановки); ну, и бонусом идёт неимоверный расход трафика.

Итак, объяснить наличие открытых прокси массовой криворукостью админов не получается. Но при этом мы видим в своей базе открытых прокси (которую ведем более 10 лет) прокси серверы, которым по 1-3 и даже по 5 лет!

Ответ как всегда прост. Владельцы "долгоиграющих" открытых прокси не филантропы и не благодетели. Это расчетливые бизнесмены, которых очень интересуют ваши интересы и пристрастия, ваши проблемы и предпочтения - всё о чем можно сделать вывод на основе вашей интернет активности и затем продать. А "пищевая база" у этих бизнесменов очень обильна.

Например, контингент, неформально определяемый как "офисный планктон". Его не интересует, что логи "б\п" прокси мониторятся и обрабатываются так, что он там, фигурально выражаясь, "светит" все свои интересы и предпочтения в сети Интернет. Он об этом не думает. Его главная задача - использование офисного интернета так, чтобы сисадмин не знал, куда он лазит, и в этом ему помогает (как он думает) бесплатный прокси.

Профиль интересов интернет-пользователей интересует также и поисковиков со своими браузерами и многочисленными "барами". Но логи открытого прокси переплюнут по количеству собранной информации всех их вместе взятых. Первыми это поняли разработчики браузера "Opera" - так в их продукции появились разнообразные прокси- и VPN режимы. И всё же это браузер, который надо выпустить, раскрутить. А вот открыть прокси может любой мало-мальски знакомый с серверным администрированием человек - и вуаля! Успех гарантирован и зависит только от финансовых вложений в сервер и трафик (у жлобов никому не нужные, медленные прокси).

Есть еще группа очень сомнительных прокси серверов - те что открыты на IP интернет-провайдеров. Как правило они имеют "нестандартные" 4-5-значные порты. К тому же все они короткоживущие. Можно думать, что это какой-то злонамеренный дилетант решил поиграться с домашним проксиком и поснифить чужой интернет трафик для чего-то. Можно так же предположить, что это инфицированные компьютеры, либо "дыры" на стороне провайдера и т.д. Но всё это - гадание на кофейной гуще: в любом случае такие прокси подозрительны, небезопасны и могут использоваться исключительно для чёрных списков, но ни для чего более. Использовать их для интернет-соединений нельзя, во всяком случае тем, кто "дружит с головой" и кому не нужны нежелательные и вредные последствия.

Правила безопасного тона

Ну а всё-таки, если вы понимате, что прокси запущен "черными" маркетологами, но ничего не имеете против того, что владелец админ прокси увидит куда вы через него ходили, - тогда как? Если данную информацию вы не считаете уж очень приватной и готовы предоставлять ее в качестве платы за прокси, разве тогда нельзя? Решать вам. Но надо помнить о некоторых правилах.

Правило №1. Открытым прокси доверять нельзя. Никогда.

Правило №2. Если вы видите хороший, надёжный открытый прокси см. правило №1.

Правило №3. Никогда и ни при каких услових не используйте прокси для работы с онлайн-банками. ЭТОГО ДЕЛАТЬ НЕЛЬЗЯ КАТЕГОРИЧЕСКИ!

Правило №4. Совершение онлайн-покупок через прокси-серверы также НЕДОПУСТИМО.

Правило №5. Во избежание нежелательных последствий, связанных с возможным перехватом данных учетной записи никогда и ни при каких обстоятельствах не авторизуйтесь (не логиньтесь) через публичный прокси на интернет-ресурсах (сайтах):

  • которые содержат в личном кабинете (панели управления, профиле и т.д.) ваши реальные персональные данные;
  • которые являются доскми объявлений, а равно ресурсами на которых можно разместить сообщение, содержащее условие финансового (материального) возмещения (продажа, пожертвование, обмен и т.д.);
  • являющихся почтовыми сервисами, мессенджерами, социальными сетями;
  • взимающих плату за пользования ими;
  • потрея аккаунта на которых была бы крайне нежелательной.

Выводы

Чёрные списки на основе IP адресов всех известных открытых (публичных) прокси - великолепный способ для администратора сайта отсеить заведомо нежелательный контингент посетителей.

Также (отчасти) такие прокси могут быть полезны для SEO экспериментов.

В остальном использование публичных прокси, в некторых случаях, может оказаться небезопасным.