Bạn sử dụng loại định dạng tệp nào để quét web? Câu trả lời hơi phức tạp, vì vậy hướng dẫn này đơn giản hóa các loại phổ biến nhất cho bạn.
Bạn có bao giờ nhìn dưới mui xe của một trang web? Hãy thử nhấn F12 trên bàn phím của bạn (đừng hoảng sợ).
Nếu bạn đang sử dụng Chrome, các công cụ dành cho nhà phát triển sẽ bật lên và cung cấp cho bạn cái nhìn thoáng qua về sự phức tạp làm nền tảng cho tất cả sự trùng hợp dễ đọc này.
Đây là những thứ bạn thực sự đang cạo từ các trang web.
JavaScript, ngôn ngữ đánh dấu siêu văn bản, PHP và hàng tấn ngôn ngữ khác mà máy tính sử dụng để truyền và hiển thị dữ liệu.
Hãy coi bài đăng này là một nỗ lực để thu hẹp các ngôn ngữ bạn cần biết để quét web.
Định dạng tệp là gì?
Định dạng tệp là một bản đồ cấu trúc cho chương trình biết cách hiển thị và lưu trữ nội dung của nó. Nó chỉ định xem tệp có phải là tệp nhị phân hay không và chỉ cho bạn cách sắp xếp dữ liệu—ví dụ: CSV lưu trữ văn bản thuần túy trong bảng.
Bằng cách xem phần mở rộng tệp, bạn có thể xác định loại định dạng tệp.
Ví dụ: nếu bạn lưu tệp dưới dạng "tài liệu" ở định dạng CSV, tệp đó sẽ xuất hiện dưới dạng "tài liệu.csv". Khi bạn mở nó, bạn có thể thấy dữ liệu ở dạng bảng.
Định dạng tệp bảng tính là gì?
Bảng tính sử dụng số và chữ cái để sắp xếp và gắn nhãn lưới ô của tài liệu thành các hàng và cột. Định dạng tệp bảng tính là tổ chức và lưu trữ dữ liệu trong các ô đó.
Một số định dạng tệp bảng tính phổ biến là Giá trị được phân tách bằng dấu phẩy (.csv), Bảng tính Microsoft Excel (.xls) và Bảng tính Microsoft Excel Open XML (.xlsx).
Sự khác biệt giữa định dạng tệp nhị phân và tệp văn bản là gì?
Bạn đã bao giờ thử mở một jpeg trong Notepad chưa?
Đó là một mớ hỗn độn.
Đó là bởi vì jpeg là một định dạng tệp nhị phân mà con người không thể đọc được và cần một máy tính để giải nén nó. Mặt khác, các định dạng tệp văn bản có thể đọc được bởi con người.
Các tệp nhị phân chuyển nhanh hơn vì bạn không cần phân tích cú pháp bất cứ thứ gì. Nhược điểm là bạn không thể dễ dàng chỉnh sửa các tệp nhị phân. Bạn cần bao gồm các hàm đọc + ghi cũ và mới và nhúng số phiên bản vào tệp.
Bạn có thể chỉnh sửa tệp văn bản bất cứ lúc nào mà không gặp vấn đề gì, nhưng việc sắp xếp các tệp làm cho chức năng chậm hơn.
Chọn định dạng tệp chính xác.
Khi bạn đặt ra một dự án thu thập dữ liệu, bạn cần xem xét định dạng, cách bạn muốn trình bày nó và cách bạn sẽ lưu trữ nó.
Dưới đây là một số yếu tố quan trọng khác:
- Bạn và khách hàng của bạn thường sử dụng những định dạng nào?
- Phần mềm nào tương thích với phần cứng của bạn?
- Bạn dự định phân tích, sắp xếp và lưu trữ dữ liệu của mình như thế nào?
- Định dạng tệp nào dễ chia sẻ nhất?
- Bạn sẽ mở và đọc dữ liệu của mình như thế nào trong tương lai?
Các định dạng dữ liệu phổ biến để quét web
Có vô số dạng dữ liệu. Một số phù hợp hơn để lưu trữ lâu dài như ORC và Parquet, trong khi một số khác tốt hơn cho việc truyền dữ liệu giữa các máy tính.
Đối với quét web, bạn muốn có thể tìm, thu thập, phân tích và lưu trữ dữ liệu.
Định dạng tệp Giá trị Phân tách bằng Dấu phẩy (.csv)
Định dạng phổ biến nhất là định dạng CSV – hầu hết mọi người đều biết nó hoạt động như thế nào.
CSV hoạt động tốt cho dữ liệu hai chiều (hàng và cột). Tuy nhiên, rất nhiều dữ liệu mà chúng ta gặp phải ở nhiều chiều và không hoạt động tốt trong bảng tính hai chiều.
Một nhược điểm của CSV là tính không linh hoạt của nó đối với các biến thể về số lượng cột cho mỗi hàng trong CSV.
Định dạng tệp Microsoft Excel Open XML (.xls hoặc .xlsx)
Excel là một định dạng tệp bảng tính là một tùy chọn tốt để xử lý dữ liệu mà con người có thể đọc được. Dữ liệu phải phẳng (hai chiều) và tốt hơn là sử dụng định dạng này với các bộ dữ liệu nhỏ hơn hoặc phân tích thăm dò.
Các tệp Excel cũng chứa rất nhiều thông tin bổ sung như đồ thị, biểu đồ, định dạng, công thức và hình ảnh.
XLS và XLSX có một chút khác biệt. Chủ yếu, XLS là định dạng tệp mặc định cho Excel từ năm 1997 đến năm 2003 trong khi XLSX là định dạng tệp gần đây nhất từ năm 2007 trở đi.
Ký hiệu đối tượng JavaScript (.json)
JSON is a widely-adopted lightweight format. As a text-based tool, it’s easy for humans to read and write, but it can be challenging to read if there are many nested fields. It is easy for machines to parse as well.
JSON rất phù hợp cho các tập dữ liệu nhỏ, dữ liệu đích hoặc tích hợp API. Nếu bạn cần xử lý một lượng lớn dữ liệu, tốt hơn là chuyển đổi sang định dạng hiệu quả hơn.
Nó có thể dễ dàng xử lý dữ liệu đa chiều và bán cấu trúc và bạn có thể dễ dàng thêm hoặc xóa bất kỳ trường nào.
Hầu hết các cơ sở dữ liệu và ngôn ngữ đều hỗ trợ hoặc có sẵn các thư viện để nhập và xuất JSON.
Định dạng tệp Ngôn ngữ đánh dấu siêu văn bản (.html)
Ngôn ngữ đánh dấu bao gồm các chữ cái và ký hiệu vô hình hướng dẫn nội dung trang hiển thị mà nó đánh dấu. Nói cách khác, chúng tôi sử dụng HTML để mô tả cấu trúc trang web bằng cách chú thích nó bằng các thẻ (chữ cái và ký hiệu).
Không giống như XML, nơi bạn có thể tạo ngôn ngữ đánh dấu của riêng mình từ một khung, bạn không thể tạo các thẻ HTML của riêng mình. HTML đi kèm với một bộ lệnh được xác định trước.
Định dạng tệp Ngôn ngữ đánh dấu mở rộng (.xml)
XML là một ngôn ngữ đánh dấu khác mà chúng ta có thể sử dụng để truyền dữ liệu giữa các máy tính. Giống như HTML, nó là một định dạng tệp dựa trên văn bản có thể đọc được bởi cả con người và máy tính.
Sự khác biệt chính là bạn có thể linh hoạt hơn trong việc xác định cấu trúc trang web vì bạn có thể tạo các lệnh tùy chỉnh.
Định dạng tệp phù hợp để quét web là gì?
Mặc dù CSV phổ biến hơn, định dạng phổ biến và linh hoạt nhất để quét web là JSON. Các định dạng khác có nhiều thách thức và tùy chỉnh hơn, thường làm cho chúng tốn nhiều tài nguyên hơn.
Bạn có thể dễ dàng hiển thị các tệp CSV trong bảng tính Microsoft Excel, thường bằng cách nhấp chuột phải vào tệp và mở nó trong Excel. Điều này làm cho nó lý tưởng để tổ chức và trình bày dữ liệu.
We hope this adds some context to your data collection strategy. If you’re ready for more, you can begin learning how to choose the right web scraping tool for your projects.
