Google BERT: Thuật toán hiểu ngữ nghĩa, ngữ cảnh và Entity

BERT là một Cập nhật chính của Google

Theo Google bản cập nhật này sẽ ảnh hưởng đến các truy vấn tìm kiếm phức tạp phụ thuộc vào ngữ cảnh.

Đây là những gì Google nói:

Những cải tiến này được định hướng xoay quanh việc cải thiện sự hiểu biết ngôn ngữ, đặc biệt đối với các truy vấn ngôn ngữ / hội thoại tự nhiên hơn, vì BERT có thể giúp Tìm kiếm hiểu rõ hơn về sắc thái và ngữ cảnh của các từ trong Tìm kiếm và kết hợp tốt hơn các truy vấn đó với kết quả hữu ích.

Đặc biệt đối với các truy vấn dài hơn, nhiều cuộc trò chuyện hơn hoặc các tìm kiếm trong đó các giới từ như phạm vi đối với và đối với các vấn đề rất quan trọng, Tìm kiếm sẽ có thể hiểu ngữ cảnh của các từ trong truy vấn của bạn. Bạn có thể tìm kiếm theo cách cảm thấy tự nhiên cho bạn.

Thuật toán BERT là gì?

Chuyên gia tìm kiếm bằng sáng chế thuật toán Bill Slawski ( @bill_slawski  ) đã mô tả BERT như thế này:

Bí mật là một cách tiếp cận trước khi đào tạo(pre-training) xử lý ngôn ngữ tự nhiên có thể được sử dụng trên một body lớn của văn bản. Nó xử lý các tác vụ như nhận dạng thực thể (Entity recognition), một phần của việc gắn thẻ lời nói và trả lời câu hỏi giữa các quy trình ngôn ngữ tự nhiên khác. Bert giúp Google hiểu văn bản ngôn ngữ tự nhiên từ Web.

Google đã mở nguồn công nghệ này và các công nghệ khác đã tạo ra các biến thể của BERT.

Thuật toán BERT (Bidirectional Encoder Representations from Transformers) là một thuật toán học sâu (deep-learning) liên quan đến xử lý ngôn ngữ tự nhiên. Nó giúp một cỗ máy hiểu được những từ trong câu có nghĩa gì, nhưng với tất cả các sắc thái của ngữ cảnh.

BERT và SEO On Page

Tôi đã hỏi chuyên gia thuật toán tìm kiếm Dawn Anderson ( @dawnieando trên Twitter) điều đó có nghĩa gì với SEO và cô ấy trả lời rằng nó sẽ không giúp các website được viết kém.

Theo Dawn:

BERT và family cải thiện tình trạng của nghệ thuật trên 11 nhiệm vụ xử lý ngôn ngữ tự nhiên. Ngay cả việc đánh bại sự hiểu biết của con người vì các nhà ngôn ngữ học sẽ tranh luận hàng giờ về phần lời nói chỉ một từ.

Nhưng nếu trọng tâm của một trang là rất yếu thì sao? Ngay cả con người đôi khi cũng sẽ giống như những gì bạn quan tâm?

Và đại từ(pronouns) đã có vấn đề rất lớn trong lịch sử nhưng BERT giúp với điều này khá nhiều. Bối cảnh được cải thiện vì tính chất hai chiều của BERT.

Vẫn còn nhiều việc phải làm vì chúng tôi cần nhấn mạnh tầm quan trọng, sử dụng các cấu trúc rõ ràng, giúp biến dữ liệu phi cấu trúc thành dữ liệu bán cấu trúc, sử dụng tín hiệu trên các trang ánh sáng nội dung (ví dụ như hình ảnh nặng nhưng không phải văn bản trang thương mại điện tử nặng) những thứ như liên kết nội bộ.

BERT cải thiện hiểu biết truy vấn tìm kiếm

Cập nhật BERT của Google cải thiện cách Google hiểu các truy vấn tìm kiếm. BERT phân tích các truy vấn tìm kiếm, không phải các website. Tuy nhiên, như Dawn đã nói, SEO On Page trở nên quan trọng hơn về mặt sử dụng từ ngữ theo những cách chính xác. Nội dung cẩu thả có thể không được trợ giúp bởi bản cập nhật Google BERT.

Dawn Anderson cho biết:

Phần mềm đánh bật sự hiểu biết của con người ra khỏi nước trong vô số nhiệm vụ hiểu ngôn ngữ tự nhiên. BERT giống như một plugin WordPress là điểm khởi đầu và sau đó họ tùy chỉnh nó và cải thiện nó.

Từ “rose” có nghĩa là một số vật(things) nhưng nó chính xác là cùng một từ. Bối cảnh phải đi kèm với từ nếu không từ này không có nghĩa (nothing).

Dawn là chính xác. Trong quá trình nghiên cứu một bài thuyết trình mà tôi đã đưa ra tại PubCon Vegas 2019, tôi đã tìm kiếm một cụm từ phức tạp dựa vào ngữ cảnh để làm cho đúng.

Một ví dụ về bối cảnh và BERT

Cụm từ đó là “How to catch a cow fishing”? 

Ở New England, từ “cow” trong bối cảnh câu cá có nghĩa là cá vược sọc (striped bass).

Cá vược sọc là loài cá nước mặn một trò chơi phổ biến mà hàng triệu người câu trên bờ biển Đại Tây Dương.

Vì vậy, đầu tháng này, trong quá trình nghiên cứu cho một bài thuyết trình PubCon Vegas, tôi đã gõ cụm từ, “how to catch a cow fishing” và Google cung cấp kết quả liên quan đến chăn nuôi bò.

Mặc dù tôi đã cố tình sử dụng từ “fishing” để cung cấp ngữ cảnh, Google đã bỏ qua bối cảnh đó và cung cấp kết quả liên quan đến bò. Đó là vào ngày 1 tháng 10 năm 2019.

Hôm nay, ngày 25 tháng 10 năm 2019, cùng một kết quả truy vấn trong kết quả tìm kiếm có đầy đủ các kết quả liên quan đến cá vược và câu cá.

Thuật toán BERT dường như đã hiểu ngữ cảnh của từ “fishing” là quan trọng và thay đổi kết quả tìm kiếm để tập trung vào các trang web liên quan đến câu cá.

Dawn Anderson giải thích rằng kết quả tìm kiếm mới như thế này:

Bass có nghĩa là những thứ khác nhau. Có những ý nghĩa khác nhau cho các từ đơn. Bối cảnh xung quanh từ này cung cấp nhiều ý nghĩa hơn.

Cô ấy đúng. Đó chính xác là những gì Google đã làm trong truy vấn tìm kiếm, “how to catch a cow fishing”. Có vẻ như, BERT dường như đã sử dụng từ ngữ “fishing” để thêm ngữ cảnh vào truy vấn tìm kiếm đó.

>> Tìm hiểu thêm về Tìm kiếm ngữ nghĩa ngữ cảnh và Entity tại đây

BERT có thể chỉ là sự khởi đầu

Dawn Anderson nói:

Một nhà nghiên cứu mà tôi biết đã sử dụng BERT trong công việc của mình với các trợ lý, ví dụ như tương tự với Trợ lý Google, để kiểm tra việc sử dụng các câu hỏi làm rõ. Vì vậy, nó có nhiều công dụng. Nó chỉ là một điểm khởi đầu.

Tôi hỏi:

Vậy, bạn thấy đây là một bước trong một hành trình dài hơn?

Và Dawn trả lời:

Đúng, nhưng đó là một bước tiến lớn.  Lớn Nó giống như một bước nhảy lượng tử khổng lồ.

Tôi đồng ý. Tôi sẽ không đi ra ngoài và tạo ra hàng ngàn cụm từ dài để cố gắng tận dụng khả năng của Google để hiểu ngữ cảnh tốt hơn.

Tuy nhiên, giống như Dawn, tôi thấy đây là một cơ hội để mang lại nhiều lưu lượng truy cập hơn với nội dung được tập trung và tổ chức tốt hơn.

>>Tìm hiểu thêm: Tổng hợp 9 thuật toán lõi của Google

 Roger Montti, SEL