Đọc file CSV, JSON, XLSX bằng Python

Trong kỷ nguyên số hóa hiện nay, dữ liệu đóng một vai trò trung tâm trong việc phân tích, dự đoán và ra quyết định. Dữ liệu có thể được lưu trữ và chia sẻ qua nhiều định dạng khác nhau, trong đó CSV (Comma-Separated Values), JSON (JavaScript Object Notation), và XLSX (Excel Spreadsheet) là ba định dạng phổ biến nhất. Mỗi định dạng có những ưu và nhược điểm riêng, được sử dụng trong các tình huống cụ thể dựa trên yêu cầu của dự án. CSV thường được sử dụng cho dữ liệu dạng bảng đơn giản, JSON thích hợp cho cấu trúc dữ liệu phức tạp với cấp độ lồng nhau, trong khi XLSX chứa các tính năng nâng cao của Excel như công thức, biểu đồ và định dạng tùy chỉnh.

Python, với sự đơn giản, mạnh mẽ và linh hoạt của mình, đã trở thành ngôn ngữ lập trình ưa chuộng trong cộng đồng khoa học dữ liệu. Python cung cấp một loạt các thư viện như pandas, openpyxl, và json, giúp việc xử lý và phân tích dữ liệu trở nên dễ dàng và hiệu quả. Việc hiểu cách đọc các loại file dữ liệu phổ biến bằng Python không chỉ giúp bạn tiếp cận được nguồn dữ liệu đa dạng mà còn mở ra cánh cửa của các phân tích dữ liệu sâu sắc, từ đó đưa ra các quyết định kinh doanh chính xác và có thông tin.

Mục tiêu của bài viết này là cung cấp cho bạn cái nhìn tổng quan về cách thức làm việc với các loại file dữ liệu phổ biến nhất bằng Python. Chúng tôi sẽ đi qua từng bước, từ cơ bản đến nâng cao, về cách mở, đọc và xử lý dữ liệu từ các file này. Bài viết được thiết kế để phục vụ mọi đối tượng quan tâm, từ người mới bắt đầu trong lĩnh vực lập trình Python, đến những nhà phát triển phần mềm và chuyên gia dữ liệu cần xử lý và phân tích dữ liệu hàng ngày. Với sự hướng dẫn cụ thể và các ví dụ minh họa, chúng tôi mong muốn bạn sẽ có được những kỹ năng cần thiết để làm việc với dữ liệu một cách hiệu quả trong các dự án của mình.

Cài đặt môi trường và các thư viện

Trước khi bắt đầu làm việc với các loại file dữ liệu CSV, JSON, và XLSX trong Python, việc đầu tiên cần làm là đảm bảo bạn đã cài đặt Python và thiết lập môi trường làm việc phù hợp. Python có thể được tải xuống từ trang web chính thức của Python python.org, nơi bạn có thể chọn phiên bản phù hợp với hệ điều hành của mình. Việc cài đặt Python cũng bao gồm Pip, quản lý gói mặc định của Python, giúp việc cài đặt các thư viện bổ sung trở nên dễ dàng.

Cài Đặt và Thiết Lập Môi Trường

Sau khi đã cài đặt Python, bạn có thể tạo một môi trường ảo để quản lý các phụ thuộc của dự án một cách dễ dàng. Điều này đặc biệt hữu ích khi làm việc trên nhiều dự án với các yêu cầu thư viện khác nhau. Để tạo một môi trường ảo, bạn có thể sử dụng lệnh sau trong terminal hoặc command prompt:

python -m venv myenv

Trong đó myenv là tên của môi trường ảo. Để kích hoạt môi trường ảo, sử dụng lệnh sau:

• Trên Windows:

myenv\Scripts\activate

• Trên MacOS/Linux:

source myenv/bin/activate

Cài Đặt Các Thư Viện Cần Thiết

Các thư viện cần thiết cho việc xử lý các loại file dữ liệu bao gồm pandas, openpyxl, cũng như csv và json được tích hợp sẵn trong bản cài đặt Python chuẩn. Để cài đặt pandas và openpyxl, bạn có thể sử dụng pip:

pip install pandas openpyxl

• pandas: Thư viện mạnh mẽ dùng để xử lý và phân tích dữ liệu dạng bảng. pandas cung cấp nhiều tính năng tiện lợi để đọc và ghi các loại file dữ liệu khác nhau như CSV, XLSX, và nhiều định dạng khác.
• openpyxl: Thư viện được sử dụng để đọc và ghi các file Excel xlsx/xlsm/xltx/xltm. Đây là thư viện bổ sung cho pandas trong việc xử lý các file Excel phức tạp.
• csv & json: Đây là các module được tích hợp sẵn trong Python, hỗ trợ việc đọc và ghi các file CSV và JSON. Không cần phải cài đặt thêm, bạn có thể sử dụng chúng ngay sau khi cài đặt Python.

Với việc thiết lập môi trường và cài đặt các thư viện cần thiết, bạn đã sẵn sàng để bắt đầu làm việc với các loại file dữ liệu CSV, JSON, và XLSX trong các dự án Python của mình.

Làm thế nào để đọc tệp CSV bằng Python?

Định dạng CSV (Comma-Separated Values) là một trong những định dạng dữ liệu phổ biến nhất dùng trong lĩnh vực khoa học dữ liệu và lập trình, đặc biệt khi làm việc với dữ liệu dạng bảng. Một file CSV chứa dữ liệu được phân tách bằng dấu phẩy (hoặc dấu phân cách khác), nơi mỗi dòng đại diện cho một bản ghi và mỗi cột chứa một loại dữ liệu cụ thể. Định dạng này rất phổ biến do tính đơn giản, dễ đọc và dễ viết bằng cả các trình soạn thảo văn bản cũng như các chương trình tự động.

Python hỗ trợ việc đọc file CSV qua hai thư viện chính: thư viện csv tích hợp sẵn và thư viện pandas, một công cụ mạnh mẽ cho phân tích dữ liệu.

Đọc File CSV Sử Dụng Thư Viện csv

Thư viện csv của Python cung cấp các chức năng cơ bản để làm việc với dữ liệu CSV. Dưới đây là ví dụ về cách đọc một file CSV:

import csv

filename = 'data.csv'
with open(filename, mode='r') as file:
    csv_reader = csv.reader(file)
    header = next(csv_reader)  # Đọc dòng đầu tiên làm tiêu đề
    for row in csv_reader:  # Đọc từng dòng dữ liệu
        print(row)

Trong ví dụ trên, csv.reader được sử dụng để đọc file. Lệnh next(csv_reader) được dùng để bỏ qua tiêu đề (nếu có), và vòng lặp for duyệt qua từng dòng dữ liệu.

Đọc File CSV Sử Dụng Thư Viện pandas

pandas là thư viện phân tích dữ liệu phổ biến nhất trong Python, cung cấp cách tiếp cận mạnh mẽ và linh hoạt hơn để đọc file CSV:

import pandas as pd

filename = 'data.csv'
df = pd.read_csv(filename)  # Đọc file CSV vào DataFrame
print(df)

Sử dụng pandas không chỉ giúp đơn giản hóa quá trình đọc dữ liệu từ file CSV mà còn cung cấp nhiều chức năng mạnh mẽ khác để xử lý và phân tích dữ liệu sau khi đã được đọc vào. DataFrame là một cấu trúc dữ liệu hai chiều trong pandas, giúp lưu trữ dữ liệu dạng bảng một cách dễ dàng với các tiêu đề cột và chỉ số hàng.

Cả hai cách trên đều cung cấp những ưu điểm riêng biệt: sử dụng thư viện csv cho các tác vụ đơn giản và không cần cài đặt thêm, trong khi pandas phù hợp với các tác vụ phức tạp hơn, yêu cầu phân tích và xử lý dữ liệu nâng cao. Việc lựa chọn phương pháp nào phụ thuộc vào yêu cầu cụ thể của dự án và mức độ phức tạp dữ liệu bạn đang làm việc.

Làm thế nào để đọc tệp JSON bằng Python?

Định dạng JSON (JavaScript Object Notation) là một định dạng dữ liệu nhẹ, dựa trên văn bản, dễ đọc và viết cho con người, đồng thời dễ phân tích và tạo ra bằng cách sử dụng máy. JSON trở nên phổ biến trong việc trao đổi dữ liệu giữa máy chủ và ứng dụng web, cũng như trong việc lưu trữ cấu hình và thiết lập. Các ứng dụng của JSON không giới hạn ở web development; nó cũng được sử dụng rộng rãi trong việc lưu trữ và truyền tải dữ liệu trong các ứng dụng khoa học dữ liệu và lập trình tổng quát.

Python cung cấp thư viện json tích hợp sẵn và thư viện pandas để làm việc với dữ liệu JSON.

Đọc File JSON Sử Dụng Thư Viện json

Thư viện json tích hợp sẵn trong Python cho phép bạn dễ dàng đọc và viết dữ liệu JSON. Để đọc một file JSON, bạn có thể sử dụng mã sau:

import json

filename = 'data.json'
with open(filename, 'r') as f:
    data = json.load(f)  # Đọc dữ liệu JSON từ file
    print(data)

Ở đây, json.load(f) được sử dụng để nạp dữ liệu JSON từ file vào một đối tượng Python. Dữ liệu JSON được biểu diễn dưới dạng từ điển hoặc danh sách trong Python, tùy thuộc vào cấu trúc dữ liệu của file JSON.

Đọc File JSON Sử Dụng Thư Viện pandas

pandas cung cấp một phương pháp hiệu quả để đọc dữ liệu JSON và chuyển đổi nó thành một DataFrame, cho phép thực hiện phân tích dữ liệu một cách dễ dàng:

import pandas as pd

filename = 'data.json'
df = pd.read_json(filename)  # Đọc file JSON và chuyển đổi thành DataFrame
print(df)

Sử dụng pd.read_json() giúp đơn giản hóa quá trình đọc file JSON và ngay lập tức chuyển dữ liệu vào cấu trúc DataFrame, nơi bạn có thể dễ dàng thực hiện các thao tác phân tích dữ liệu như sắp xếp, lọc, và tổng hợp dữ liệu.

Ví Dụ Minh Họa

Giả sử data.json chứa dữ liệu sau:

[
    {"name": "John Doe", "age": 30, "city": "New York"},
    {"name": "Jane Doe", "age": 25, "city": "Los Angeles"}
]

Khi sử dụng mã Python trên, đầu ra sẽ là cấu trúc dữ liệu Python tương ứng (khi sử dụng thư viện json) hoặc một DataFrame với các hàng và cột tương ứng với dữ liệu JSON (khi sử dụng pandas).

Qua đây, bạn có thể thấy sự linh hoạt và mạnh mẽ của Python trong việc làm việc với dữ liệu JSON thông qua cả thư viện json và pandas. Lựa chọn phương pháp nào tùy thuộc vào nhu cầu cụ thể của bạn và độ phức tạp của tác vụ phân tích dữ liệu.

Làm thế nào để đọc tệp XLS bằng Python?

Định dạng XLSX là phiên bản nâng cao của định dạng bảng tính Excel, được sử dụng rộng rãi trong môi trường doanh nghiệp và giáo dục để lưu trữ và phân tích dữ liệu. Định dạng này hỗ trợ các tính năng như công thức, biểu đồ, và định dạng tùy chỉnh, làm cho nó trở thành một công cụ mạnh mẽ cho việc lập báo cáo và phân tích dữ liệu. Trong Python, thư viện openpyxl và pandas đều cung cấp khả năng tương tác với các file XLSX, cho phép đọc và ghi dữ liệu một cách linh hoạt.

Đọc File XLSX Sử Dụng Thư Viện openpyxl

openpyxl là một thư viện Python được thiết kế để đọc và ghi các file Excel (.xlsx/.xlsm). Để đọc một file XLSX, bạn sử dụng openpyxl như sau:

from openpyxl import load_workbook

filename = 'data.xlsx'
workbook = load_workbook(filename)
sheet = workbook.active  # Lấy sheet đầu tiên trong workbook

for row in sheet.iter_rows(values_only=True):
    print(row)

Trong ví dụ này, load_workbook(filename) được sử dụng để mở file XLSX. workbook.active trả về sheet đang được kích hoạt và iter_rows(values_only=True) được sử dụng để lặp qua từng dòng trong sheet, in ra giá trị của từng ô trong dòng.

Đọc File XLSX Sử Dụng Thư Viện pandas

pandas cung cấp một phương pháp đơn giản để đọc dữ liệu từ file XLSX vào DataFrame, giúp việc phân tích dữ liệu trở nên dễ dàng hơn:

import pandas as pd

filename = 'data.xlsx'
df = pd.read_excel(filename)  # Đọc file XLSX và chuyển đổi thành DataFrame
print(df)

Sử dụng pd.read_excel(filename) cho phép bạn đọc toàn bộ nội dung của file XLSX và chuyển đổi nó thành một DataFrame, từ đó bạn có thể thực hiện các thao tác phân tích dữ liệu mạnh mẽ như sắp xếp, lọc, tổng hợp, và hơn thế nữa.

Ví Dụ Minh Họa

Giả sử data.xlsx chứa một bảng dữ liệu với các cột là “Tên”, “Tuổi”, và “Thành Phố”. Cả hai phương pháp sử dụng openpyxl và pandas đều sẽ cho phép bạn truy cập và đọc dữ liệu này từ file XLSX.

Khi sử dụng openpyxl, bạn có khả năng truy cập chi tiết đến từng ô và giá trị, cũng như khả năng điều chỉnh và tương tác với cấu trúc của file Excel. Trong khi đó, pandas tập trung vào việc làm việc với dữ liệu dưới dạng bảng, cho phép phân tích và xử lý dữ liệu một cách hiệu quả.

Sự lựa chọn giữa openpyxl và pandas phụ thuộc vào nhu cầu cụ thể của dự án và mức độ tương tác với dữ liệu XLSX của bạn. pandas là lựa chọn tốt cho việc phân tích dữ liệu, trong khi openpyxl phù hợp hơn cho việc làm việc trực tiếp và chi tiết với các file Excel.

Kết luận

Do đó, trong hướng dẫn này, chúng tôi đã thảo luận về các loại Định dạng tệp dữ liệu Python khác nhau. Ngoài ra, chúng tôi cũng đã học cách xử lý / đọc các định dạng như tệp CSV, JSON và XLS bằng Python. Hãy để lại ý kiến ​​của bạn bên dưới và đừng quên truy cập lại để xem một bài hướng dẫn khác vào ngày mai.

Xem thêm Định dạng Number trong SAS