Biểu diễn tương đồng: Shingling và MinHash

Tiên quyết và quy ước

Nhắc lại: xét mọi cặp cần \(\binom C2=C(C-1)/2\) phép so; \(C=10^6\) cho \(499\,999\,500\,000\) cặp (Bài 01).

Nhắc lại: Jaccard \(J(S,T)=|S\cap T|/|S\cup T|\) (Bài 01); ở đây viết \(\mathrm{SIM}(S,T)\).

Nhắc lại: \(\mathbb E\bigl[\sum_i X_i\bigr]=\sum_i\mathbb E[X_i]\), không cần độc lập (Bài 01).

Nhắc lại: biến chỉ báo có kỳ vọng \(p=\Pr[X=1]\), phương sai \(p(1-p)\).

Ký hiệu: \(C\) tài liệu (Bài 01 viết \(N\)) với các tập \(S_1,\ldots,S_C\).

Quy ước: vị trí, mã hàng đếm từ 0; dấu phẩy thập phân.

Mục tiêu học tập

1. Tạo tập shingle của một chuỗi và tính Jaccard của hai tập.
2. Chứng minh hai tập trùng MinHash với xác suất bằng Jaccard.
3. Ước lượng Jaccard từ chữ ký; tính kỳ vọng và phương sai của ước lượng.
4. Chạy phép quét hàng, nêu bất biến, đếm thời gian và bộ nhớ.
5. Tách chi phí thành số cặp nhân chi phí một cặp; chỉ ra thừa số chữ ký giảm được.

Vấn đề trung tâm

Nhu cầu: ước lượng Jaccard mọi cặp trong \(10^6\) tài liệu, vừa bộ nhớ.

• Tập mã shingle gấp khoảng bốn lần tài liệu.
• Hoán vị đều: MinHash trùng với xác suất bằng Jaccard.
• Nhiều hoán vị: tỷ lệ trùng ước lượng Jaccard, không chệch.
• Hàm băm thay hoán vị; quét hàng một lượt.
• Bộ nhớ giảm; số cặp vẫn bậc hai.

Bài toán tài liệu gần trùng

Nhu cầu: nhận ra bản tin đăng lại có chèn thêm câu.

Đầu vào: kho văn bản lớn, như trang Web hoặc bản tin.

Đầu ra: các cặp tài liệu có nhiều văn bản chung.

Kết luận: so từng ký tự chỉ nhận ra hai tài liệu trùng hoàn toàn.

Ví dụ: kho một triệu tài liệu

Kho \(C=10^6\) tài liệu; giả định so một cặp mất 1 micro giây.

Tính số cặp và thời gian khi xét mọi cặp.

\[\binom C2=\frac{C(C-1)}2\]

Kết luận: tổng công việc là số cặp nhân chi phí một cặp; biểu diễn ngắn giảm thừa số sau.

Độ tương đồng Jaccard

Biểu diễn mỗi tài liệu bằng một tập phần tử; phần văn bản chung ứng với giao của hai tập.

\[\begin{aligned}|S\cap T|&=3\\|S\cup T|&=2+3+3=8\end{aligned}\]

Định nghĩa. Độ tương đồng Jaccard của hai tập hữu hạn \(S,T\) với \(S\cup T\ne\varnothing\) là

\[\mathrm{SIM}(S,T)=\frac{|S\cap T|}{|S\cup T|}=\frac38\]

Ý nghĩa: \(0\le\mathrm{SIM}(S,T)\le1\); bằng 0 khi hai tập rời nhau, bằng 1 khi \(S=T\).

Ứng dụng của độ tương đồng Jaccard

Mỗi đối tượng là một tập; ứng dụng quyết định phần tử của tập.

Kết luận: ý nghĩa của một giá trị Jaccard phụ thuộc cách chọn phần tử và ứng dụng.

Câu hỏi về độ tương đồng Jaccard

Câu hỏi:

1. Thêm vào \(T\) hai phần tử mới, không thuộc \(S\). Tính lại \(\mathrm{SIM}(S,T)\).
2. Một lời giải lấy mẫu số \(5+6\) và cho \(3/11\). Chỉ ra đại lượng bị đếm sai.
3. Hai văn bản cùng dài 1000 ký tự. Giải thích vì sao dữ kiện này chưa xác định Jaccard.

Biểu diễn văn bản bằng tập shingle

Một \(k\)-shingle là đoạn \(k\) ký tự liên tiếp, nằm trong một cửa sổ dài \(k\).

Quy ước: \(k=2\); ô viền đậm là cửa sổ chứa vị trí 3.

Kết luận: đổi một ký tự chỉ đổi nhiều nhất \(k\) cửa sổ.

Ví dụ: tập 2-shingle của abcdabd

\[D=\texttt{abcdabd},\qquad k=2\]

Liệt kê các cửa sổ và tập các shingle phân biệt.

\[S_2(D)=\{\texttt{ab},\texttt{bc},\texttt{cd},\texttt{da},\texttt{bd}\}\]

Kết luận: sáu cửa sổ cho năm phần tử vì ab lặp lại.

Định nghĩa tập shingle

Định nghĩa. Với chuỗi \(D\) dài \(\ell\) và số nguyên \(k\ge1\), tập \(k\)-shingle của \(D\) là

\[S_k(D)=\{D[i:i+k]:0\le i\le\ell-k\}\]

\(D[i:i+k]\) chứa các vị trí \(i,\ldots,i+k-1\); chỉ số bắt đầu từ \(0\).

Với \(D=\texttt{abcdabd}\): \(\ell=7\), \(k=2\), \(i=0,\ldots,5\); \(D[3:5]=\texttt{da}\).

Trường hợp biên: nếu \(\ell<k\), không có cửa sổ hợp lệ và \(S_k(D)=\varnothing\).

Thuật toán: tạo tập shingle

Đầu vào: chuỗi \(D\) dài \(\ell\); số nguyên \(k\ge1\).

Đầu ra: \(S_k(D)\).

S ← ∅
for i = 0, …, ℓ − k:
    chèn D[i:i+k] vào S
return S

Mỗi cửa sổ: tạo và chèn vào tập băm khóa dài \(k\) tốn \(O(k)\) kỳ vọng; tổng \(O(1+wk)\) kỳ vọng.

Chọn độ dài shingle

Với \(k=1\), hầu hết trang Web chứa hầu hết ký tự thông dụng, nên gần như mọi cặp có Jaccard cao.

26 chữ cái và dấu cách cho \(27^5=14\,348\,907\) chuỗi dài 5, nhiều hơn một thư điện tử.

Kết luận: chọn \(k\) để shingle ít gặp trong một tài liệu; 5, 9 là quy tắc kinh nghiệm.

Xử lý khoảng trắng

Hai câu khác nội dung: …ready for touch down, …scored a touchdown.

Quy ước: \(k=9\); mỗi dãy ký tự trắng thành một dấu cách, và dấu cách là một ký tự.

Kết luận: nếu xóa hết khoảng trắng, hai câu khác nội dung chung shingle touchdown.

Băm shingle

Băm mỗi 9-shingle vào \(2^{32}\) thùng; số thùng 4 byte thay chuỗi.

Lưu ý: va chạm (collision) là hai shingle khác nhau cùng mã; Jaccard có thể đổi.

Kết luận: cùng 4 byte, mã 9-shingle phân biệt tài liệu tốt hơn 4-shingle.

Câu hỏi về shingling

Câu hỏi:

1. Với abcdabd và \(k=3\), liệt kê các cửa sổ và tập \(S_3(D)\).
2. Chuỗi abcdabc chỉ khác abcdabd ở ký tự cuối. Với \(k=2\), tính Jaccard của hai tập shingle.
3. Tài liệu 50.000 ký tự, \(k=9\), mã 4 byte, không cửa sổ nào trùng mã: tính số mã và số byte.

Kích thước tập shingle

Nhu cầu: thay mỗi tập bằng chữ ký dài cố định, vẫn ước lượng được Jaccard.

\[|S_k(D)|\le w=\max(0,\ell-k+1)\]

Băm làm mỗi phần tử còn 4 byte; số phần tử vẫn gần bằng số ký tự.

Ma trận đặc trưng của bốn tập

Ý tưởng của MinHash

Nhu cầu: đại diện mỗi tập bằng một phần tử, chọn theo cùng quy tắc cho mọi tập.

• Xếp \(U\) theo một thứ tự chung cho mọi tập.
• Mỗi tập không rỗng giữ phần tử đứng đầu của nó.

Kết luận: hai tập chọn cùng phần tử khi và chỉ khi phần tử đầu của hợp thuộc giao.

Ví dụ: bốn tập đặc trưng, một hoán vị

Thứ tự hàng \((b,e,a,d,c)\); xác định ô 1 đầu tiên của mỗi cột.

Kết luận: \(S_1\), \(S_4\) cùng chọn \(a\); giá trị MinHash là định danh, không là vị trí.

Ba loại hàng của một cặp cột

Loại hàng	Hai cột
\(X\)	\((1,1)\)
\(Y\)	\((1,0)\) hoặc \((0,1)\)
\(Z\)	\((0,0)\)

\(x\), \(y\) là số hàng loại \(X\), \(Y\): \(x=|S\cap T|\), \(x+y=|S\cup T|\).

Ví dụ. Cặp \(S_1,S_4\): \(x=2\), \(y=1\).

Định lý xác suất trùng MinHash

Định lý. \(S,T\subseteq U\) không rỗng; cùng \(\pi\) chọn đều trong \(R!\) hoán vị. Khi đó

\[\Pr[h_\pi(S)=h_\pi(T)]=\mathrm{SIM}(S,T)\]

Chứng minh. Phần tử đầu \(u\) của \(S\cup T\) theo \(\pi\) phân bố đều trên \(S\cup T\).

Hai MinHash trùng khi và chỉ khi \(u\in S\cap T\), nên

\[\Pr[h_\pi(S)=h_\pi(T)]=\Pr[u\in S\cap T]=\frac{x}{x+y}\]

Câu hỏi về MinHash

\[S_1=\{a,d\},\qquad S_4=\{a,c,d\},\qquad U=\{a,b,c,d,e\}\]

Câu hỏi:

1. Nêu một thứ tự của \(U\) làm \(h_\pi(S_1)\ne h_\pi(S_4)\); chỉ ra phần tử đứng đầu hợp.
2. Đặt \(S_1'=S_1\cup\{e\}\). Tính \(\Pr[h_\pi(S_1')=h_\pi(S_4)]\) khi \(\pi\) chọn đều.
3. Giải thích vì sao vị trí của \(c\) không ảnh hưởng tới biến cố \(h_\pi(S_1)=h_\pi(S_3)\), với \(S_3=\{b,d,e\}\).

Ví dụ: bốn tập đặc trưng, hai thứ tự

Nhu cầu: một MinHash chỉ cho kết quả trùng hoặc không trùng.

\(S_1=\{a,d\}\), \(S_2=\{c\}\), \(S_3=\{b,d,e\}\), \(S_4=\{a,c,d\}\); xác định MinHash theo hai thứ tự.

Kết luận: \(S_1\), \(S_4\) trùng ở cả hai thứ tự, trong khi \(\mathrm{SIM}(S_1,S_4)=2/3\).

Định nghĩa chữ ký MinHash

Định nghĩa. Với \(\pi_1,\ldots,\pi_n\) dùng chung cho mọi tập, chữ ký MinHash (MinHash signature) của \(S\) là

\[\sigma(S)=\bigl(h_{\pi_1}(S),\ldots,h_{\pi_n}(S)\bigr)^{\mathsf T}\]

Giả thiết: mỗi hoán vị được chọn đều; cùng bộ hoán vị cho mọi tập.

Ước lượng Jaccard từ chữ ký

Định nghĩa. Ước lượng Jaccard là tỷ lệ tọa độ trùng:

\[\widehat{\mathrm{SIM}}(S,T)=\frac1n\sum_{i=1}^n\mathbf1\{h_{\pi_i}(S)=h_{\pi_i}(T)\}\]

\(\mathbf1\{E\}\) là 1 khi \(E\) đúng, là 0 khi sai; so cùng chỉ số \(i\).

\[\widehat{\mathrm{SIM}}(S_2,S_4)=\frac{0+0}{2}=0\ne\frac13=\mathrm{SIM}(S_2,S_4)\]

Kỳ vọng của ước lượng

Đặt \(s=\mathrm{SIM}(S,T)\) và \(X_i=\mathbf1\{h_{\pi_i}(S)=h_{\pi_i}(T)\}\).

Mệnh đề. Khi mỗi \(\pi_i\) được chọn đều, định lý MinHash cho:

\[\mathbb E[X_i]=\Pr[X_i=1]=s\]

Kết luận: ước lượng không chệch; tính tuyến tính của kỳ vọng không cần các hoán vị độc lập.

Phương sai của ước lượng

Mệnh đề. Thêm giả thiết các hoán vị độc lập. Khi đó \(\operatorname{Var}(\widehat{\mathrm{SIM}})=s(1-s)/n\).

Chứng minh. Các \(X_i\) là biến Bernoulli độc lập, \(\operatorname{Var}(X_i)=s(1-s)\):

\[\begin{aligned}\operatorname{Var}(\widehat{\mathrm{SIM}})&=\frac1{n^2}\operatorname{Var}\!\left(\sum_{i=1}^nX_i\right)\\&=\frac1{n^2}\sum_{i=1}^n\operatorname{Var}(X_i)=\frac{s(1-s)}n.\end{aligned}\]

Ý nghĩa: độ lệch chuẩn \(\sqrt{s(1-s)/n}\); giảm một nửa cần \(n\) gấp bốn.

Câu hỏi về chữ ký MinHash

Cặp \(S_1,S_4\) có \(s=2/3\). Các hoán vị chọn đều và độc lập.

Câu hỏi:

1. Với \(n=100\), tính kỳ vọng số tọa độ trùng.
2. Với \(n=100\), tính độ lệch chuẩn của \(\widehat{\mathrm{SIM}}(S_1,S_4)\).
3. Xác định \(n\) nhỏ nhất để độ lệch chuẩn không vượt \(0{,}02\); nêu số phép so bằng cho cặp này.

Mô phỏng hoán vị bằng hàm băm

Nhu cầu: sắp lại hàng triệu hàng theo \(n\) hoán vị tốn nhiều thời gian.

Tương tự MinHash theo hoán vị, nhưng thứ tự là thứ tự tăng của hàm băm \(f_i(r)\) trên mã hàng.

Kết luận: khi \(f_i\) không va chạm, phần tử đầu là hàng có \(f_i(r)\) nhỏ nhất; không cần sắp xếp.

Ví dụ: bốn tập đặc trưng, hai hàm băm hàng

\(f_1(r)=(r+1)\bmod5\); \(f_2(r)=(3r+1)\bmod5\). Tính hai giá trị băm của mỗi hàng.

Kết luận: sắp tăng, \(f_1\) cho \((e,a,b,c,d)\), \(f_2\) cho \((d,a,c,e,b)\), đúng \(\pi_1\), \(\pi_2\).

Ví dụ: bốn tập đặc trưng, khởi tạo và hàng 0

Hàng \(0\): \(f_1(0)=f_2(0)=1\); các cột có \(1\) là \(1,4\).

\[\min(+\infty,1)=1\]

Kết luận: chỉ cột 1 và 4 chứa \(a\) nên được cập nhật; ô viền đậm là giá trị vừa giảm.

Ví dụ: bốn tập đặc trưng, hàng 1 và 2

\(r=1\): cột \(3\), giá trị băm \((2,4)\); \(r=2\): cột \(2,4\), giá trị băm \((3,2)\).

Quy ước: mỗi ô ghi hai thành phần; gạch dưới là giá trị vừa giảm; \(\infty\) viết gọn \(+\infty\).

Kết luận: ở hàng 2, cột 4 vẫn thực hiện hai phép min dù không ô nào đổi.

Ví dụ: bốn tập đặc trưng, hàng 3 và 4

\(r=3\): \((f_1(3),f_2(3))=(4,0)\), cột \(1,3,4\); \(r=4\): \((f_1(4),f_2(4))=(0,3)\), chỉ cột \(3\).

Quy ước: gạch dưới là thành phần vừa giảm; các thành phần khác giữ nguyên.

Kết luận: chữ ký của \(S_1\) và \(S_4\) là \((1,0)^{\mathsf T}\), ứng với chữ ký định danh \((a,d)^{\mathsf T}\).

Thuật toán: quét hàng

Đầu vào: ma trận \(M\) cỡ \(R\times C\); các hàm \(f_1,\ldots,f_n\) trên mã hàng.

Đầu ra: \(\mathrm{SIG}\) cỡ \(n\times C\) theo đặc tả.

SIG(i, c) ← +∞ với mọi i, c
for r = 0, …, R − 1:
    vᵢ ← fᵢ(r) với i = 1, …, n
    for mỗi c có M(r, c) = 1:
        for i = 1, …, n:
            SIG(i, c) ← min(SIG(i, c), vᵢ)
return SIG

Mỗi ô 1 \(M(r,c)\) cập nhật \(\mathrm{SIG}(i,c)\) bằng một phép min với \(f_i(r)\).

Điều kiện dừng: sau \(R\) hàng; mỗi \(f_i(r)\) được tính một lần.

Tính đúng: quét hàng

Bất biến: với \(A\) là tập hàng đã quét, mọi \(i,c\) thỏa

\[\mathrm{SIG}(i,c)=\min\bigl(\{f_i(r):r\in A,\ M(r,c)=1\}\cup\{+\infty\}\bigr)\]

1. Khởi tạo: \(A=\varnothing\), chỉ có ứng viên \(+\infty\).
2. Duy trì: nếu \(M(r,c)=0\), tập ứng viên không đổi; nếu \(M(r,c)=1\), cực tiểu mới bằng \(\min(\mathrm{SIG}(i,c),f_i(r))\).
3. Kết thúc: \(A\) chứa đủ \(R\) hàng, thu được đặc tả đầu ra.

Điều kiện đối với hàm băm hàng

• Va chạm có thể làm hai hàng khác nhau có cùng giá trị.
• Với hệ số nguyên \(a,b\), hàm \((ar+b)\bmod R\) là hoán vị khi và chỉ khi \(\gcd(a,R)=1\).
• Đẳng thức xác suất đã chứng minh dùng phân phối chọn đều hoán vị.

Kết luận: song ánh của từng hàm không bảo đảm phân phối chọn đều trên mọi hoán vị.

Câu hỏi về tính chữ ký

Kết quả và giả thiết không được bỏ

Thuật toán, bảo đảm và chi phí

Câu trả lời cho vấn đề trung tâm

Kho \(C=10^6\) tài liệu; chữ ký \(n=250\) thành phần, mỗi thành phần 4 byte.

• Mã shingle 4 byte: tài liệu 50.000 byte cho tập mã khoảng 200.000 byte; va chạm có thể đổi tập.
• Hoán vị đều, dùng chung, tập không rỗng: xác suất trùng bằng Jaccard, như \(2/3\) của \(S_1,S_4\).
• Mỗi \(\pi_i\) đều: không chệch; thêm độc lập, \(n=250\): độ lệch chuẩn \(\le0{,}032\).
• Thứ tự của \(f_i\) là hoán vị đều: một lượt quét danh sách cột có 1, \(\Theta(nC+nR+nL)\).
• Chữ ký cả kho \(10^6\cdot1.000\) byte \(\approx\) 1 GB; vẫn \(499\,999\,500\,000\) cặp, gần 5,8 ngày.

Câu hỏi tự kiểm tra

Câu hỏi: trả lời và nêu kết quả đã dùng.

1. Với \(k=2\), tính Jaccard của tập shingle của abab và baba.
2. Nêu điều kiện để hai tài liệu không chung shingle vẫn có Jaccard dương trên tập mã.
3. \(|S\cap T|=3\), \(|S\cup T|=12\), \(n=200\) hoán vị đều: tính xác suất trùng và kỳ vọng số tọa độ trùng.

Câu hỏi tự kiểm tra

Câu hỏi: trả lời và nêu kết quả đã dùng.

4. Dữ kiện câu 3, các hoán vị độc lập: tính độ lệch chuẩn của ước lượng.
5. \(f(r)=(4r+1)\bmod6\), tập hàng \(\{0,3\}\): tính thành phần chữ ký; xác định \(f\) có là hoán vị không.
6. \(C=10^4\), \(n=200\): đếm phép so bằng khi so mọi cặp; xác định thừa số chữ ký không giảm được.

Nguồn và tài liệu đọc

Nguồn: Leskovec, Rajaraman, Ullman (2020), Mining of Massive Datasets, ấn bản 3, Chương 3, §§3.1–3.3, tr. 73–91; Ví dụ 3.10.

Sách và trang chiếu của các tác giả: http://www.mmds.org.

Nguồn: Stanford CS246 (2026), Leskovec, bài giảng LSH, phần shingling và MinHash.

Ghi chú bài giảng

Bài 06 chọn cặp ứng viên từ chữ ký bằng băm nhạy cảm theo tính cục bộ (locality-sensitive hashing, LSH).

Bài tập: Jaccard của ba tập

\[S_A=\{1,2,3,4\},\quad S_B=\{2,3,5,7\},\quad S_C=\{2,4,6\}\]

Câu hỏi: tính độ tương đồng Jaccard của từng cặp tập.

Lập bảng ba cặp gồm giao, hợp và tỷ số.

Nguồn: MMDS, Bài 3.1.1, tr. 78.

Bài tập: số shingle lớn nhất

Tài liệu dài \(\ell\) byte; bảng chữ cái đủ lớn để có ít nhất \(\ell\) chuỗi độ dài \(k\).

Câu hỏi: xác định số \(k\)-shingle lớn nhất tài liệu có thể có.

Quy ước: mỗi ký tự chiếm một byte.

Nêu công thức theo \(\ell\), \(k\) và lập luận theo vị trí cửa sổ.

Nguồn: MMDS, Bài 3.2.3, tr. 81.

Bài tập: ma trận đặc trưng (a)

Bài tập: ma trận đặc trưng (b)

Bài tập: hai hàng chữ ký bổ sung

Bài tập: chữ ký với ba hàm modulo 6 (a, b)

Bài tập: chữ ký với ba hàm modulo 6 (c)