10 Використання команди cURL у прикладі реального часу

Зміст

cURL являє собою інструмент командного рядка, що використовується для передачі даних через URL-адреси.

Розробники програмного забезпечення та спеціалісти технічної підтримки часто використовують cURL для виявлення та усунення несправностей веб-додатків. Ця утиліта є кросплатформенною, тобто її можна застосовувати в операційних системах Windows, macOS та UNIX.

Далі розглянемо деякі поширені приклади використання cURL із відповідними командами.

Перевірка з’єднання з URL-адресою

При роботі в середовищі UNIX і необхідності підключення до зовнішньої URL-адреси, першим кроком має бути перевірка її доступності за допомогою cURL.

Команда:

curl yoururl.com

У випадку успішного з’єднання, ця команда не виведе жодного повідомлення. Якщо ж сервер не може встановити з’єднання, з’явиться повідомлення про помилку, наприклад “не вдалося знайти хост”.

[[email protected] tmp]# curl helloitdoesntexist.com
curl: (6) Could not resolve host: helloitdoesntexist.com; Unknown error
[[email protected] tmp]#

Збереження результату URL/URI у файл

Для збереження вмісту URL-адреси або URI у файл, використовуйте наступну команду:

curl https://yoururl.com > yoururl.html

Наприклад:

[[email protected] tmp]# curl https://gf.dev > /tmp/gfhtml
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 18557    0 18557    0     0  72565      0 --:--:-- --:--:-- --:--:-- 72772
[[email protected] tmp]#

У цьому прикладі весь вміст веб-сторінки gf.dev буде збережено у файл /tmp/gf.html.

Відображення заголовків запиту та відповіді

Для діагностики проблем, коли потрібно проаналізувати заголовки запиту і відповіді, використовується команда:

curl -v yoururl.com

Наприклад:

[[email protected] tmp]# curl -v https://techukraine.net.com
* About to connect() to techukraine.net.com port 443 (#0)
*   Trying 104.25.134.107...
* Connected to techukraine.net.com (104.25.134.107) port 443 (#0)
* Initializing NSS with certpath: sql:/etc/pki/nssdb
*   CAfile: /etc/pki/tls/certs/ca-bundle.crt
  CApath: none
* SSL connection using TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256
* Server certificate:
* 	subject: CN=ssl371609.cloudflaressl.com,OU=PositiveSSL Multi-Domain,OU=Domain Control Validated
* 	start date: Nov 07 00:00:00 2019 GMT
* 	expire date: May 15 23:59:59 2020 GMT
* 	common name: ssl371609.cloudflaressl.com
* 	issuer: CN=COMODO ECC Domain Validation Secure Server CA 2,O=COMODO CA Limited,L=Salford,ST=Greater Manchester,C=GB
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: techukraine.net.com
> Accept: */*
> 
< HTTP/1.1 200 OK
< Date: Sat, 09 Nov 2019 19:41:37 GMT
< Content-Type: text/html; charset=UTF-8
< Transfer-Encoding: chunked
< Connection: keep-alive
< Set-Cookie: __cfduid=d2ce6cd359ebc0b6eb5ff3a454ed042021573328497; expires=Sun, 08-Nov-20 19:41:37 GMT; path=/; domain=.techukraine.net.com; HttpOnly; Secure
< Vary: Accept-Encoding
< Link: <https://techukraine.net.com/wp-json/>; rel="https://api.w.org/"
< Link: <https://techukraine.net.com/>; rel=shortlink
< X-SRCache-Fetch-Status: HIT
< X-SRCache-Store-Status: BYPASS
< X-Frame-Options: SAMEORIGIN
< X-Powered-By: EasyEngine v4.0.12
< Via: 1.1 google
< CF-Cache-Status: DYNAMIC
< Strict-Transport-Security: max-age=15552000; preload
< X-Content-Type-Options: nosniff
< Alt-Svc: h3-23=":443"; ma=86400
< Expect-CT: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
< Server: cloudflare
< CF-RAY: 533243e4bcd4bbf4-LHR
<

Завантаження з обмеженням швидкості

Для тестування завантаження з певною швидкістю, використовується параметр --limit-rate, наприклад:

curl --limit-rate 2000B https://gf.dev

Ця команда обмежить швидкість завантаження до 2000 байт на секунду.

Використання проксі-сервера

У випадках, коли потрібне підключення до зовнішніх ресурсів через проксі-сервер, використовуйте:

curl --proxy yourproxy:port https://yoururl.com

Для передачі заголовків з даними, наприклад Content-Type:

curl --header 'Content-Type: application/json' http://yoururl.com

Для перевірки заголовків відповіді можна використовувати наступну команду:

curl --head http://yoururl.com

Наприклад:

[[email protected] tmp]# curl --head https://chandan.io
HTTP/1.1 200 OK
Date: Sat, 09 Nov 2019 19:51:23 GMT
Content-Type: text/html
Connection: keep-alive
Set-Cookie: __cfduid=d3cb2c7b8e566ad99c870b0af12b0f1eb1573329083; expires=Sun, 08-Nov-20 19:51:23 GMT; path=/; domain=.chandan.io; HttpOnly
X-GUploader-UploadID: AEnB2Uo96JhvJmR2zYUL-Ndh2ta3UD_ykQAB5C7O8cjZQhCf-GxHQ0MsodSzRnl3guSN3ywAYNjtWcPXfwDXjLg3bQ-P5vQMOA
Expires: Sat, 09 Nov 2019 20:51:23 GMT
Cache-Control: public, max-age=3600
Last-Modified: Mon, 06 Aug 2018 10:45:47 GMT
x-goog-generation: 1533552347482034
x-goog-metageneration: 1
x-goog-stored-content-encoding: identity
x-goog-stored-content-length: 24620
x-goog-hash: crc32c=DpDPAQ==
x-goog-hash: md5=cIP/3rusdUx12Zla1kf1yA==
x-goog-storage-class: MULTI_REGIONAL
Accept-Ranges: bytes
CF-Cache-Status: DYNAMIC
Expect-CT: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
Server: cloudflare
CF-RAY: 53325234dc2fbb9a-LHR

[[email protected] tmp]#

Підключення до HTTPS/SSL з ігноруванням помилок сертифіката

У випадках, коли сертифікат SSL/TLS є недійсним або CN не збігається, cURL може видати помилку:

curl: (51) Unable to communicate securely with peer: requested domain name does not match the server's certificate.

Щоб ігнорувати такі помилки, використовуйте параметр --insecure:

curl --insecure https://yoururl.com

Підключення з використанням конкретного протоколу (SSL/TLS)

Для перевірки з’єднання через певний протокол SSL/TLS, можна використовувати наступні команди:

Для SSL v3:

curl --sslv3 https://yoururl.com

Для різних версій TLS:

curl --tlsv1 https://example.com
curl --tlsv1.0 https://example.com
curl --tlsv1.1 https://example.com
curl --tlsv1.2 https://example.com
curl --tlsv1.3 https://example.com

Завантаження файлів з FTP-сервера

cURL також дозволяє завантажувати файли з FTP-сервера з використанням імені користувача та пароля:

curl -u user:password -O ftp://ftpurl/style.css

Для отримання додаткової інформації про процес, використовуйте параметр -v.

Заголовок Host корисний для перевірки URL-адреси за IP-адресою, особливо коли вміст доступний лише при співпадінні заголовка Host, або при перевірці програм через балансувальник навантаження IP/URL.

curl --header 'Host: targetapplication.com' https://192.0.0.1:8080/

Можливість використання cURL онлайн

Існують онлайн-інструменти, що дозволяють виконувати запити cURL віддалено:

Онлайн cURL – легкий інструмент для отримання URL-адрес з можливістю задання параметрів, таких як:

--connect-timeout
--cookie
--data
--header
--head
--location
--max-time
--proxy
--request
--user
--url
--user-agent

Конструктор команд cURL – інструмент з зручним інтерфейсом, що дозволяє формувати команди cURL на основі введених параметрів.

cURL – це потужна утиліта для діагностики проблем з підключенням, і сподіваюсь, що наведені приклади будуть корисними. Якщо ви хочете поглибити свої знання про командний рядок Linux, рекомендую онлайн курс “Основи командного рядка Linux”.