Hub documentation
Thực hiện các thao tác SQL
Thực hiện các thao tác SQL
Thực hiện các thao tác SQL với DuckDB mở ra vô vàn khả năng để truy vấn bộ dữ liệu một cách hiệu quả. Hãy cùng tìm hiểu một số ví dụ minh họa cho sức mạnh của các hàm trong DuckDB.
Trong phần minh họa, chúng ta sẽ khám phá một bộ dữ liệu thú vị. Bộ dữ liệu MMLU là một bài kiểm tra đa nhiệm chứa các câu hỏi trắc nghiệm trải rộng trên nhiều lĩnh vực kiến thức khác nhau.
Để xem trước bộ dữ liệu, hãy chọn một mẫu gồm 3 dòng:
FROM 'hf://datasets/cais/mmlu/all/test-*.parquet' USING SAMPLE 3;
┌──────────────────────┬──────────────────────┬──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬────────┐
│ question │ subject │ choices │ answer │
│ varchar │ varchar │ varchar[] │ int64 │
├──────────────────────┼──────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼────────┤
│ The model of light… │ conceptual_physics │ [wave model, particle model, Both of these, Neither of these] │ 1 │
│ A person who is lo… │ professional_psych… │ [his/her life scripts., his/her own feelings, attitudes, and beliefs., the emotional reactions and behaviors of the people he/she is interacting with.… │ 1 │
│ The thermic effect… │ nutrition │ [is substantially higher for carbohydrate than for protein, is accompanied by a slight decrease in body core temperature., is partly related to sympat… │ 2 │
└──────────────────────┴──────────────────────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴────────┘
Lệnh này lấy một mẫu ngẫu nhiên gồm 3 dòng từ tập dữ liệu để chúng ta xem xét.
Hãy bắt đầu bằng cách xem xét schema của tập dữ liệu của chúng ta. Bảng dưới đây phác thảo cấu trúc của tập dữ liệu:
DESCRIBE FROM 'hf://datasets/cais/mmlu/all/test-*.parquet' USING SAMPLE 3;
┌─────────────┬─────────────┬─────────┬─────────┬─────────┬─────────┐
│ column_name │ column_type │ null │ key │ default │ extra │
│ varchar │ varchar │ varchar │ varchar │ varchar │ varchar │
├─────────────┼─────────────┼─────────┼─────────┼─────────┼─────────┤
│ question │ VARCHAR │ YES │ │ │ │
│ subject │ VARCHAR │ YES │ │ │ │
│ choices │ VARCHAR[] │ YES │ │ │ │
│ answer │ BIGINT │ YES │ │ │ │
└─────────────┴─────────────┴─────────┴─────────┴─────────┴─────────┘
Tiếp theo, hãy phân tích xem liệu có bất kỳ bản ghi nào bị trùng lặp trong bộ dữ liệu của chúng ta không:
SELECT *,
COUNT(*) AS counts
FROM 'hf://datasets/cais/mmlu/all/test-*.parquet'
GROUP BY ALL
HAVING counts > 2;
┌──────────┬─────────┬───────────┬────────┬────────┐
│ question │ subject │ choices │ answer │ counts │
│ varchar │ varchar │ varchar[] │ int64 │ int64 │
├──────────┴─────────┴───────────┴────────┴────────┤
│ 0 rows │
└──────────────────────────────────────────────────┘
May mắn thay, tập dữ liệu của chúng ta không chứa bất kỳ bản ghi nào trùng lặp.
Hãy xem tỷ lệ các câu hỏi dựa trên chủ đề trong biểu đồ cột:
SELECT
subject,
COUNT(*) AS counts,
BAR(COUNT(*), 0, (SELECT COUNT(*) FROM 'hf://datasets/cais/mmlu/all/test-*.parquet')) AS percentage
FROM
'hf://datasets/cais/mmlu/all/test-*.parquet'
GROUP BY
subject
ORDER BY
counts DESC;
┌──────────────────────────────┬────────┬────────────────────────────────────────────────────────────────────────────────┐
│ subject │ counts │ percentage │
│ varchar │ int64 │ varchar │
├──────────────────────────────┼────────┼────────────────────────────────────────────────────────────────────────────────┤
│ professional_law │ 1534 │ ████████▋ │
│ moral_scenarios │ 895 │ █████ │
│ miscellaneous │ 783 │ ████▍ │
│ professional_psychology │ 612 │ ███▍ │
│ high_school_psychology │ 545 │ ███ │
│ high_school_macroeconomics │ 390 │ ██▏ │
│ elementary_mathematics │ 378 │ ██▏ │
│ moral_disputes │ 346 │ █▉ │
├──────────────────────────────┴────────┴────────────────────────────────────────────────────────────────────────────────┤
│ 57 rows (8 shown) 3 columns │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
Bây giờ, hãy chuẩn bị một tập con của bộ dữ liệu chứa các câu hỏi liên quan đến dinh dưỡng và tạo một ánh xạ từ câu hỏi đến đáp án đúng. Lưu ý rằng chúng ta có cột choices, từ đó có thể lấy đáp án đúng bằng cách sử dụng cột answer làm chỉ số.
SELECT *
FROM 'hf://datasets/cais/mmlu/all/test-*.parquet'
WHERE subject = 'nutrition' LIMIT 3;
┌──────────────────────┬───────────┬─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬────────┐
│ question │ subject │ choices │ answer │
│ varchar │ varchar │ varchar[] │ int64 │
├──────────────────────┼───────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼────────┤
│ Which foods tend t… │ nutrition │ [Meat, Confectionary, Fruits and vegetables, Potatoes] │ 2 │
│ In which one of th… │ nutrition │ [If the incidence rate of the disease falls., If survival time with the disease increases., If recovery of the disease is faster., If the population in which the… │ 1 │
│ Which of the follo… │ nutrition │ [The flavonoid class comprises flavonoids and isoflavonoids., The digestibility and bioavailability of isoflavones in soya food products are not changed by proce… │ 0 │
└──────────────────────┴───────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴────────┘
SELECT question,
choices[answer] AS correct_answer
FROM 'hf://datasets/cais/mmlu/all/test-*.parquet'
WHERE subject = 'nutrition' LIMIT 3;
┌─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─────────────────────────────────────────────┐
│ question │ correct_answer │
│ varchar │ varchar │
├─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────┤
│ Which foods tend to be consumed in lower quantities in Wales and Scotland (as of 2020)?\n │ Confectionary │
│ In which one of the following circumstances will the prevalence of a disease in the population increase, all else being constant?\n │ If the incidence rate of the disease falls. │
│ Which of the following statements is correct?\n │ │
└─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────┘
Để đảm bảo độ sạch của dữ liệu, hãy xóa các ký tự xuống dòng ở cuối các câu hỏi và lọc bỏ các câu trả lời trống:
SELECT regexp_replace(question, '\n', '') AS question,
choices[answer] AS correct_answer
FROM 'hf://datasets/cais/mmlu/all/test-*.parquet'
WHERE subject = 'nutrition' AND LENGTH(correct_answer) > 0 LIMIT 3;
┌───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─────────────────────────────────────────────┐
│ question │ correct_answer │
│ varchar │ varchar │
├───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────┤
│ Which foods tend to be consumed in lower quantities in Wales and Scotland (as of 2020)? │ Confectionary │
│ In which one of the following circumstances will the prevalence of a disease in the population increase, all else being constant? │ If the incidence rate of the disease falls. │
│ Which vitamin is a major lipid-soluble antioxidant in cell membranes? │ Vitamin D │
└───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────┘
Cuối cùng, hãy làm nổi bật một số hàm DuckDB được sử dụng trong phần này:
DESCRIBE, trả về schema của bảng.USING SAMPLE, các mẫu được sử dụng để chọn ngẫu nhiên một tập con của tập dữ liệu.BAR, vẽ một dải có độ rộng tỷ lệ thuận với (x - min) và bằng width ký tự khi x = max. Độ rộng mặc định là 80.string[begin:end], trích xuất một chuỗi theo quy ước lát cắt. Các đối số begin hoặc end bị thiếu sẽ được hiểu lần lượt là đầu hoặc cuối danh sách. Các giá trị âm được chấp nhận.regexp_replace, nếu chuỗi chứa mẫu regexp, sẽ thay thế phần khớp với replacement.LENGTH, lấy số lượng ký tự trong chuỗi.
Update on GitHubCó rất nhiều hàm hữu ích trong tổng quan về các hàm SQL của DuckDB. Điều tuyệt vời nhất là bạn có thể sử dụng chúng trực tiếp trên các bộ dữ liệu của Hugging Face.