Як використовувати проксі з cURL і wget?

Автор

Ви втомилися від блокування доступу до певних веб-сайтів або служб?

Бажаєте обійти ці обмеження та отримати доступ до потрібного вмісту?

Якщо ваша відповідь ствердна, ви можете розглянути можливість використання проксі-сервера через інтерфейс командного рядка за допомогою інструментів cURL або wget.

Спочатку давайте подивимося, що таке проксі і як він працює.

Що таке проксі-сервер?

Проксі-сервер діє як посередник між вашим пристроєм (наприклад, комп’ютером або телефоном) та Інтернетом.

Коли ви хочете отримати доступ до веб-сайту чи служби, ваш запит спочатку надсилається на проксі-сервер, а не безпосередньо до місця призначення.

Потім проксі-сервер надсилає ваш запит на сервер призначення від вашого імені та отримує відповідь від сервера призначення. Нарешті, проксі-сервер надсилає відповідь на ваш пристрій.

Це схоже на особистий помічник, який піклується про весь зв’язок між вами та сервером призначення.

Але навіщо взагалі використовувати проксі-сервер?

Що ж, є кілька причин.

Використання проксі-сервера може допомогти захистити вашу конфіденційність і анонімність. Коли ви підключаєтеся до веб-сайту чи служби через проксі-сервер, ваша IP-адреса прихована від сервера призначення. Натомість сервер бачить лише IP-адресу проксі. Це може ускладнити веб-сайтам відстеження вашої активності в Інтернеті.

І…

Ще однією причиною використання проксі-сервера є фільтрація вмісту. Це може бути особливо корисним для організацій, які хочуть контролювати або обмежувати доступ до певних типів вмісту.

Проксі-сервери можна налаштувати для блокування доступу до певних веб-сайтів на основі певних критеріїв, таких як ключові слова чи категорії URL-адрес. Це може допомогти гарантувати, що співробітники не відвідуватимуть неприйнятні веб-сайти або веб-сайти, які відволікають увагу, у робочий час.

Якщо ви хочете знати ключові відмінності між проксі та VPN, не соромтеся відвідати цю статтю.

Як використовувати проксі з cURL?

cURL — це інструмент командного рядка з відкритим кодом, призначений для передачі даних між серверами, що робить його улюбленим вибором для технічних майстрів у всьому світі. Завдяки вражаючій сумісності з широким спектром протоколів, таких як HTTP, FTP і SMTP.

Він з легкістю впорається навіть із найскладнішими завданнями передачі даних. Крім того, цей інноваційний інструмент оснащено набором надійних методів шифрування, які допомагають зберігати дані в безпеці протягом усього процесу передачі.

cURL легко доступний для використання в більшості операційних систем. Якщо ви виявите, що його не встановлено у вашій системі, не хвилюйтеся – ви можете легко завантажити його вручну. Просто виконайте наведені нижче дії, щоб установити cURL і повністю розкрити його потенціал.

  Як дізнатися, чи є у вас Shadowbanned на Reddit

вікна

  • Завантажте виконуваний файл curl з офіційного сайту.
  • Розпакуйте файл zip у папку на комп’ютері.
  • Додайте шлях до папки до системної змінної середовища PATH.

Mac OS

  • Відкрийте програму терміналу.
  • Встановіть Homebrew (якщо ви цього ще не зробили), виконавши таку команду.
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  • Тепер встановіть cURL, виконавши таку команду.
brew install curl

Linux

У більшості дистрибутивів Linux cURL встановлено за замовчуванням. Якщо він відсутній, ви повинні встановити його за допомогою менеджера пакетів, який відповідає вашому дистрибутиву.

Наприклад, в Ubuntu або Debian ви можете встановити cURL, виконавши таку команду.

sudo apt-get install curl

У CentOS або Fedora ви можете скористатися наведеною нижче командою.

sudo yum install curl

Після встановлення cURL ви можете перевірити його, виконавши команду «curl –version» у терміналі/командному рядку.

Переходимо до нашої головної теми.

Ви можете використовувати проксі-сервер із cURL, вказавши проксі-сервер і номер порту в команді cURL за допомогою опції -x або –proxy.

Ось базовий синтаксис команди cURL, яка використовує проксі.

curl -x <proxy-server>:<port-number> <url>

Замініть іменем хоста або IP-адресою проксі-сервера, номером порту, який використовує проксі, а URL-адресою веб-сайту або кінцевої точки API, до якої ви хочете отримати доступ.

Ось зразок прикладу.

curl -x 5.189.184.6:80  ipinfo.io

Ця команда надсилає запит на веб-сайт ipinfo.io через проксі-сервер за адресою 5.189.184.6 на порту 80. Цей зразок адреси проксі-сервера я взяв із загальнодоступного списку проксі-серверів. Не соромтеся відвідати цей веб-сайт, якщо ви шукаєте тимчасову проксі-адресу. Спробуйте на свій страх і ризик!☢️

Зауважте, що іноді вам також може знадобитися надати облікові дані для автентифікації проксі-серверу. У цьому випадку ви можете використовувати параметри «–proxy-user» і «–proxy-password», щоб включити своє ім’я користувача та пароль. Наприклад:

curl -x  5.189.184.6:80 --proxy-user username:password  <target-url>

Замініть «ім’я користувача» та «пароль» своїми фактичними обліковими даними автентифікації для проксі-сервера.

Тестування проксі-з’єднання з cURL

Перед використанням проксі

Тут ви можете побачити, що cURL показує мою початкову IP-адресу та місцезнаходження. З міркувань безпеки мені довелося приховати свою IP-адресу.

Після використання проксі

Тут cURL показує адресу проксі замість моєї оригінальної IP-адреси.

Як використовувати проксі з wget?

wget — це інструмент командного рядка, який використовується для завантаження файлів з Інтернету. Він попередньо встановлений у більшості систем Linux, Unix і macOS, а також доступний для Windows.

  Чи варто купувати доповнення до об’єктива камери для смартфонів?

Щоб установити wget у системі Linux, ви можете скористатися менеджером пакетів вашого дистрибутива.

Наприклад, у Debian або Ubuntu ви можете використати таку команду:

sudo apt-get install wget

На CentOS або Fedora

sudo yum install wget

У macOS ви можете встановити wget за допомогою Homebrew.

brew install wget

У Windows ви можете встановити wget, завантаживши бінарний виконуваний файл з офіційного веб-сайту GNU і додавши його до свого системного шляху.

Після встановлення wget ви можете використовувати його для завантаження файлів із командного рядка, вказавши URL-адресу файлу, який ви хочете завантажити. Наприклад, щоб завантажити файл із назвою «example.zip» із веб-сайту, ви можете використати таку команду:

wget http://example.com/example.zip

Ви також можете скористатися додатковими параметрами для налаштування завантаження, як-от вказати ім’я вихідного файлу або каталог, обмежити швидкість завантаження та відновити перервані завантаження. Щоб дізнатися більше про доступні параметри, скористайтеся посібником з wget, ввівши «man wget» у своєму терміналі.

Давайте зануримося в налаштування проксі за допомогою цього wget.

Спочатку встановіть змінні середовища для проксі-сервера, виконавши таку команду в терміналі.

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Перевірте, чи правильно налаштовано проксі-сервер, виконавши таку команду:

wget <target-url>

Замініть на URL-адресу файлу або веб-сторінки, які ви хочете завантажити за допомогою проксі-сервера. Якщо команді вдалося завантажити файл або веб-сторінку, це означає, що проксі-сервер налаштовано правильно. Якщо це не вдасться, можливо, вам доведеться перевірити налаштування проксі-сервера та облікові дані.

(Необов’язково) Щоб зробити параметри проксі-сервера постійними, ви можете додати змінні середовища до файлу профілю оболонки, наприклад ~/.bashrc або ~/.bash_profile. Ви можете додати такі рядки в кінець файлу:

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Якщо ваш проксі-сервер вимагає автентифікації, ви можете включити своє ім’я користувача та пароль у змінні «http_proxy» і «https_proxy environment». 

export http_proxy=http://<username>:<password>@<proxy_server>:<port>
export https_proxy=https://<username>:<password>@<proxy_server>:<port>

Примітка. Деякі проксі-сервери можуть використовувати іншу схему протоколу, наприклад socks замість «http» або «https». У такому випадку вам потрібно налаштувати схему відповідно до змінних середовища та URL-адрес.

Тестування проксі-з’єднання з wget

Перед використанням проксі

wget показує мою оригінальну IP-адресу перед використанням проксі-адреси. З міркувань безпеки мені довелося приховати свою IP-адресу.

Після використання проксі

Тут ви бачите, що wget намагається підключитися до проксі-сервера перед доступом до веб-сайту.

  Як слухати Apple Music на робочому столі

Усунення поширених проблем

Використання проксі-сервера з cURL і wget іноді може призвести до проблем. Не бійтеся, у нас є кілька поширених порад щодо усунення несправностей, які допоможуть вам повернутися на правильний шлях!

#1. Проксі-сервер не відповідає

Якщо ваш проксі-сервер не відповідає, можливо, він не працює або має проблеми. Щоб зрозуміти, що відбувається, спробуйте наступне.

  • Перевірте, чи працює проксі-сервер, виконавши команду ping на IP-адресу сервера.
  • Переконайтеся, що ви ввели правильну адресу проксі-сервера та номер порту.
  • Спробуйте використати інший проксі-сервер, щоб перевірити, чи проблема не зникає.

#2. З’єднання відхилено

Ой, підключення відмовлено?

Це не добре.

Ця помилка зазвичай вказує на те, що проксі-сервер не приймає підключення. Ось кілька кроків для вирішення цієї проблеми:

  • Спочатку перевірте, чи проксі-сервер налаштовано на прийом з’єднань із вашої IP-адреси чи підмережі.
  • Переконайтеся, що проксі-сервер не блокується брандмауером або антивірусним програмним забезпеченням.
  • Потім перевірте, чи вимагає проксі-сервер облікові дані для автентифікації, і переконайтеся, що ви ввели правильні облікові дані.

Не забудьте спробувати інший проксі-сервер, якщо жодна з цих порад не працює.

#3. Не вдалося перевірити сертифікат SSL/TLS

не вдалося перевірити сертифікат?

Звучить як проблема із сертифікатом SSL/TLS проксі-сервера.

Щоб вирішити цю проблему, спробуйте наступне:

  • Перевірте сертифікат проксі-сервера, щоб переконатися, що він дійсний і не минув.
  • Якщо сертифікат недійсний, зверніться до адміністратора проксі-сервера, щоб отримати дійсний сертифікат SSL/TLS.
  • Якщо сертифікат дійсний і все одно не працює. Ви можете вимкнути перевірку сертифіката SSL/TLS, але будьте обережні, оскільки це може поставити під загрозу вашу безпеку.

#4. Помилка автентифікації

Якщо проксі-сервер вимагає автентифікації, а ви не можете пройти автентифікацію, можливо, ви ввели неправильне ім’я користувача та пароль або проксі-сервер використовує інший метод автентифікації.

Спробуйте відповідно налаштувати свої облікові дані автентифікації або зверніться по допомогу до адміністратора проксі-сервера.

Примітка автора✍️

В Інтернеті доступно багато безкоштовних і платних проксі-серверів, але одним із рекомендованих варіантів для комерційного використання є IPRoyal. IPRoyal пропонує широкий вибір проксі-рішень для бізнесу, включаючи проксі-сервери для домашніх і центрів обробки даних із різними розташуваннями та типами IP-адрес на вибір.

Він надає надійні та безпечні проксі-сервіси для різноманітних випадків використання, таких як веб-скрапінг, аналіз даних і автоматизація.

Сподіваюся, ця стаття допоможе вам дізнатися про використання проксі-сервера з інструментами командного рядка cURL і wget. Вам також може бути цікаво дізнатися, як анонімізувати трафік Linux за допомогою ланцюжків проксі та мережі Tor.