cURL đã được đưa vào thế giới để truyền dữ liệu. Khi kết hợp với proxy, nó biến thành một công cụ khai thác dữ liệu mạnh mẽ.
Hướng dẫn này sẽ giới thiệu cURL và giải thích một số cách khác nhau mà bạn có thể sử dụng liền mạch với proxy.
Proxy là gì?
Proxy là một máy tính nằm giữa máy tính của bạn và internet, định tuyến tất cả lưu lượng mạng của bạn. Bạn có thể sử dụng nó cho các mục đích khác nhau, chẳng hạn như lưu vào bộ nhớ đệm các trang web hoặc ẩn danh kết nối.
Một Khu dân cư PRoxy Kết nối bạn với Internet thông qua một máy chủ thực khác (thường ở một vị trí khác), làm cho nó có vẻ như bạn đang duyệt từ nơi đó thay vì nhà của bạn.
cURL là gì?
Nếu bạn chưa bao giờ nghe nói về cURL, có thể bạn biết nó bằng những cái tên cũ hơn - httpget hoặc urlget. Nó đã được khoảng một thời gian, kể từ năm 1996. Đó là một công cụ tiện dụng cho phép bạn chuyển dữ liệu từ các máy chủ từ xa. Bạn có thể sử dụng cURL với proxy để tìm nạp các trang web, tải xuống các tệp từ xa và thực hiện nhiều việc khác mà không bị phát hiện.
URL là gì?
Uniform Resource Locator là thuật ngữ thích hợp cho một địa chỉ web như https://example.com, ví dụ. (Cái gì? Đó là một ví dụ điển hình!)
Phần đầu tiên của URL (HTTPS) là mã định danh giao thức. Đôi khi giao thức là HTTP và đôi khi là HTTPS. Sự khác biệt là một (HTTPS) sử dụng giao thức an toàn với mã hóa và giao thức kia (HTTP) không được mã hóa. Có rất nhiều giao thức hơn, nhưng tôi sẽ chủ yếu tập trung vào hai giao thức này.
Which should you use? It depends on your risk tolerance. You can read more about encryption and risk here.
Phần thứ hai của URL (example.com) là tài nguyên.
Và chữ 'c' nhỏ ở phía trước URL?
Nó là viết tắt của client. (Đó sẽ là bạn)
Kết hợp chúng và bạn nhận được cURL. Bạn và URL, kết nối và định vị tài nguyên với nhau. (Chạm vào đồ đạc!)
cURL làm gì?
cURL hoạt động trên các hệ điều hành Linux, Windows và Mac, cũng như Android và iOS. Nó cũng cung cấp các tùy chọn để tùy chỉnh các tính năng của nó, làm cho nó trở thành một công cụ rất mong muốn trong cộng đồng quản trị viên web.
It also supports authentication methods such as Basic and Digest and can handle user-level HTTP proxy configurations exceptionally well.
cURL có nhiều tùy chọn cấu hình cho phép bạn quyết định nó nên làm gì khi gặp một số điều kiện nhất định, chẳng hạn như mã lỗi HTTP.
Điểm mấu chốt: nó thực hiện hầu hết mọi thứ mà trình duyệt làm, nhưng tất cả trong một cửa sổ nhỏ màu đen không có hình ảnh và tất cả những thứ thú vị đó.
Hướng dẫn cài đặt cURL nhanh:
Nếu bạn sử dụng Mac OSX hoặc thiết bị Apple (IOS), curl được cài đặt sẵn, vì vậy chỉ cần bỏ qua phần này.
For Windows with Cygwin already installed, curl will be recognized as an internal command, so there’s no need to download it. If you’re a Windows user and don’t have Cygwin installed, cURL is most likely not in your c:windowssystem32 directory
Ví dụ: nếu bạn đang sử dụng Ubuntu, cURL sẽ có sẵn trong kho lưu trữ mặc định, vì vậy chỉ cần đưa ra lệnh này: Sudo apt-get install curl.
Các phần thiết yếu của dòng lệnh cURL
Nếu bạn không phải là một nhà vật lý thiên văn máy tính, hãy cho phép tôi làm sáng tỏ cấu trúc của một dòng lệnh.
- Giao thức - đề cập đến các sơ đồ truyền thông mạng như HTTP, HTTPS, SOCKS, v.v.
- Proxy server – the address of the proxy server or proxy host you plan to use
- Số cổng - cổng bạn sẽ truy cập thông qua
- Địa chỉ tài nguyên – trang web bạn muốn nhắm mục tiêu
- Tên người dùng và mật khẩu - nếu địa chỉ proxy yêu cầu xác thực
- Thẻ - là các tùy chọn dòng lệnh bật và tắt từng lệnh
- Đối số dòng lệnh - cho phép bạn truyền thông tin liên quan đến tùy chọn dòng lệnh (thẻ)
Đặt tất cả chúng lại với nhau, và bạn có một cái gì đó như thế này:
Làm thế nào để bạn chạy cURL với proxy?
You can set up cURL with various kinds of proxies like residential proxies, private proxies, shared proxies, and datacenter proxies.
Cách phổ biến nhất để thiết lập cURL với proxy là sử dụng lệnh proxy.
Sử dụng lệnh proxy
Lệnh proxy là một tùy chọn dòng lệnh hoặc thẻ ảnh hưởng đến chuỗi proxy (chi tiết proxy + cổng + người dùng + vượt qua). Ảnh hưởng chủ yếu chỉ là bật hoặc tắt proxy.
Mỗi thẻ có một phiên bản ngắn (-) và dài (-). Giống như dits và dahs của mã morse.
-x là lựa chọn ngắn.
là lựa chọn dài.
Cả hai đều làm điều tương tự, ngoại trừ -x hiệu quả hơn (và có lẽ đẹp mắt hơn về mặt thẩm mỹ).
Để kết nối cURL đúng cách với proxy, hãy sử dụng thẻ -x hoặc –proxy theo sau là giao thức, máy chủ proxy, số cổng và bất kỳ tài nguyên nào bạn đang sử dụng.
Dưới đây là một ví dụ cơ bản về dòng lệnh có thể trông như thế nào:
-x, --proxy [protocol]://[proxyhost]:[port][resource address]Và thêm một chút xác thịt:
-x, --proxy http://residential.ipb.server:7777 https://google.comCó một vài cách khác để sử dụng proxy với cURL.
Các phần sau sẽ đề cập đến sơ đồ xác thực cơ bản, sử dụng các biến môi trường, bí danh, tệp cấu hình lại, các giao thức khác nhau và vô hiệu hóa proxy.
cURL với tên người dùng và mật khẩu
Thẻ để sử dụng lược đồ xác thực proxy là -u hoặc –proxy-user. Ngay giữa chuỗi proxy và tài nguyên, hãy ném thẻ, tên người dùng và mật khẩu vào.
$ curl -x http://residential.ipb.server:7777 [-u username:password] http://google.comSử dụng bí danh
Một bí danh cho một lệnh, cho một proxy, nghe giống như các chiến thuật kiểu ba tác nhân tuyệt mật.
Nó thực sự khá đơn giản.
Bạn chỉ cần làm cho lệnh curl bằng lệnh curl + các chi tiết proxy.
Vì vậy, khi bạn nhập:
$ curl https//google.comNó thực sự có nghĩa là:
$ curl -x [all your proxy details] https://google.comThuật sĩ này được thực hiện như thế nào? Đơn giản (như tôi đã nói):
$ alias curl=curl -x [enter all the proxy details here]Sử dụng biến môi trường
Biến môi trường là gì? Nếu bạn đang nghĩ điều gì đó như điều kiện đường trơn trượt do mưa - gần, nhưng không hoàn toàn.
Trong trường hợp này, đó là một lối tắt.
Thay vì gõ chuỗi proxy mọi lúc, bạn có thể đặt proxy vĩnh viễn.
Biến môi trường hoạt động cho mọi loại giao thức. Tất cả những gì bạn cần làm là kích hoạt nó bằng cách đặt biến PROTOCOL_PROXY.
http_proxy, HTTPS_PROXY, FTP_PROXY... và cứ như vậy cho bất kỳ sự kết hợp protocol_proxy nào bạn chọn. Lưu ý rằng HTTP là HTTP duy nhất trong các chữ cái viết hoa nhỏ hơn. Đó là có chủ đích. Đó là cái duy nhất phải là chữ thường, nhưng tôi sẽ không đi sâu vào lý do kỹ thuật cho nó ở đây.
Bạn cũng có thể sử dụng:
ALL_PROXYNếu nhiệm vụ của bạn không dành riêng cho giao thức.
Ví dụ: hãy tạo một chuỗi proxy theo mẫu này:
$ curl -x [proxy server]:[port] [username:password] [resource](bịa đặt)
$ curl -x http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.comSử dụng tùy chọn lệnh proxy, bạn sẽ phải gõ nó ra mọi lúc. Thay vào đó, hãy đặt biến với export, như thế này:
export http_proxy=http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.com
or
export WHATEVER OTHER PROTOCOL YOU WANT_PROXY:// [proxy server]:[port] [username:password]Bây giờ, tất cả những gì bạn phải nhập vào dòng lệnh là:
$ curl https//nimblejack.comVà bạn tốt để đi!
Lưu ý: Nếu bạn muốn sử dụng proxy khác sau khi đặt biến môi trường, thẻ -x sẽ ghi đè biến đó.
Thay đổi rc.file
Here you appeal to cURL’s inherent nature to use its default settings. When the program loads, it will search %APPDATA% or %USERPROFILE%Application Data for the reconfig file.
Nó sẽ trông giống như rc.file trên Mac và Linux, và _curlrc trên Windows.
Vì vậy, tất cả những gì bạn cần làm là mở tệp đó và thay đổi chi tiết proxy:
proxy=http://[proxy details]cURL với proxy SOCKS
cURL hỗ trợ SOCKS phiên bản SOCKS4 và SOCKS5.
Nếu máy chủ proxy sử dụng giao thức socks, cú pháp vẫn giữ nguyên: -socks4://, socks4a:// hoặc socks5://.
Dưới đây là các tùy chọn dòng lệnh cho từng phiên bản SOCKS cụ thể:
VỚ4:
$ curl -x socks4://180.1.0.0.1222:8080 http://ipburger.comSOCKS4A:
$ curl -x socks4a://180.1.0.0.1222:8080 http://ipburger.com/bestresidentialproxiesVỚ5:
$ curl -x socks5://180.1.0.0.1222:8080 http://ipburger.com/betterthanoxylabsandbrightdataSOCKS5H:
$ curl -x socks5h://180.1.0.0.1222:8080 http://ipburger.com/decentreadingmaterialtooBạn có thể nhận thấy rằng tôi đã không đặt số cổng sau địa chỉ IP.
(Có lẽ bạn đã bị phân tâm...)
Khi sử dụng giao thức SOCKS, bạn không cần phải bao gồm số cổng trong URL vì nó không cần thiết.
Chỉ để bạn biết.
Vô hiệu hóa proxy
Bây giờ chúng ta biết rằng cURL với proxy có thể được đặt bằng tất cả các loại phương tiện. Điều này giúp chạy cURL dễ dàng và tiết kiệm thời gian gõ. Tuy nhiên, bạn có thể cần đặt lại cài đặt proxy hiện tại và kết nối trực tiếp trong một số trường hợp.
Tùy chọn –noproxy có thể được sử dụng để vô hiệu hóa cấu hình proxy hiện tại.
$ curl --noproxy http://ipburger.comIP Burger cURL proxy
Bạn chỉ cần bỏ qua thành phần dòng lệnh. Nó có thể tẻ nhạt, không nghi ngờ gì nữa. Vì vậy, không có sự phán xét nếu bạn muốn chúng kết hợp với nhau cho bạn. Trong thực tế, tôi khuyến khích nó.
Not just because IPBurger delivers residential curl proxies hot off the server, in seconds, but also because you’re probably doing something cool. And I’d rather you spend time doing that than playing lego with boolean bits.
Bạn chỉ có thể tải xuống danh sách các proxy sẵn sàng với đối số dòng lệnh, tham số dòng lệnh, cổng máy chủ giao thức, tên người dùng và truyền tại chỗ.
Tất cả chúng đều kết nối với proxy dân cư hoàn hảo để quét web hoặc những điều thú vị khác mà bạn làm.
FAQ
Tại sao cURL không phải lúc nào cũng sử dụng cùng một proxy?
It doesn’t have a way to utilize a single or specific pool of residential IPs from the list. The best option is to run multiple cURLs simultaneously from separate terminal windows, each on different residential proxies. This guarantees that every request gets its own pool of residential IP addresses.
Tôi có thể kết hợp các giao thức HTTP và HTTPS không?
Bạn hoàn toàn có thể kết hợp các yêu cầu của mình miễn là chúng có cả thông tin đăng nhập minh bạch và ẩn danh. Nếu bạn định tải xuống tệp qua HTTPS, cURL sẽ luôn tự chọn HTTPS.
Làm cách nào để định cấu hình cURL để sử dụng các proxy khác nhau cùng một lúc?
cURL không có tùy chọn nhóm proxy. Nó chỉ hỗ trợ một proxy tại một thời điểm. Để sử dụng nó với nhiều proxy, bạn nên đặt chúng làm tùy chọn cURL và chuyển chúng làm đối số. Nói cách khác,
curl -x http://addr1:port1 -u username -p password URL_SCHEME://addr2:port2Nếu bạn muốn cURL hoạt động với hai hoặc nhiều proxy thông qua các biến môi trường, chỉ cần thêm cài đặt proxy trong tệp .bashrc của bạn. Sau đó, bạn có thể truy cập bất kỳ proxy nào bằng cách sử dụng cURL thông qua máy chủ proxy cụ thể đó bằng cách nhập lệnh vào thiết bị đầu cuối mà không có bất kỳ đối số nào sau khi xuất hồ sơ shell của bạn.
Proxy cURL có cần phải tĩnh không?
Không. Proxy cURL là địa chỉ IP khu dân cư và thay đổi thường xuyên. Nói cách khác, chúng có thể năng động. Các IP khu dân cư động sẽ hoạt động đầy đủ với cURL nếu chúng đủ nhanh để các yêu cầu chạy trơn tru qua chúng.
Curl được sử dụng để làm gì?
Bạn có thể sử dụng nó theo bất kỳ cách nào bạn thấy phù hợp. Thông thường, đó là một tiện ích dòng lệnh mà bạn có thể sử dụng để quét web hoặc tải xuống tệp.
Tôi cần loại proxy nào?
Bạn cần proxy dân dụng là proxy chất lượng tốt vì chúng có thể tự động vượt qua CAPTCHA mà không cần kích hoạt báo động. Bạn nên cân nhắc sử dụng các proxy một kích thước phù hợp với tất cả này, nơi người dùng có thể chọn các tùy chọn khác nhau như tốc độ, mức độ ẩn danh và quốc gia.
Để được trợ giúp thêm về các tùy chọn này, hãy nhập "man curl" hoặc "curl -h" trong thiết bị đầu cuối. Nó sẽ hiển thị trang người đàn ông. (Đó không phải là những gì bạn nghĩ.)
