Với sự bùng nổ của mạng xã hội, các doanh nghiệp có thể tận dụng nền tảng này để chia sẻ những thông tin giá trị của thương hiệu, nâng cao nhận thức và lòng trung thành từ khách hàng. Tuy nhiên chia sẻ vẫn chưa đủ, các doanh nghiệp còn cần phải lắng nghe, thu thập ý kiến của khách hàng trên mạng xã hội nhằm mang lại trải nghiệm tốt nhất cũng như nâng cao chất lượng sản phẩm, dịch vụ.

Social listening ra đời, là giải pháp xác định và đánh giá những điều được khách hàng bình luận về thương hiệu. Không chỉ theo dõi cộng đồng mạng đang nói gì về mình, social listening còn giúp các doanh nghiệp đào sâu thông tin phản hồi của khách hàng để thấu hiểu điều họ thực sự mong muốn, từ đó có thể đưa ra chiến lược phù hợp.

Vào năm 2017, giải pháp Twitter Heatmap được phát triển giúp “lắng nghe” từ các hashtag, sau đó phân tích các dòng tweet này để xác định và phân loại loại cảm xúc của khách hàng là tiêu cực, tích cực, hay trung lập. Thông tin này có thể giúp các công ty hiểu hơn về suy nghĩ của khách hàng đối với sản phẩm của họ, cũng như đề phòng những ‘drama’ có thể xảy ra trên mạng xã hội sớm nhất có thể.

Mỗi thời điểm, mạng xã hội lại tạo ra nhiều ‘top trending’, từ các câu nói nổi tiếng, các bức ảnh meme cho đến những cao trào khác. Vì có cơ hội quay trở lại với một dự án social listening tương tự, chúng tôi đã thử nghiệm một vài cải tiến mới. Hệ thống bao gồm Plug-and-play crawlers (bộ thu thập thông tin cắm-là-chạy), multi-condition processor (hệ thống xử lý đa điều kiện), social network alert (báo động qua mạng xã hội) và customizable visualization (báo cáo có khả năng tuỳ chỉnh). Giải pháp có tên là Lison.

Thiết kế hệ thống

Lison được triển khai trên nền tảng Azure và tận dụng nhiều dịch vụ của Azure để đẩy nhanh tiến độ phát triển. Những dịch vụ nòng cốt của hệ thống gồm Azure Stream Analytics, Azure Machine Learning, Azure Event Hub. Các crawler được phát triển bằng nhiều loại ngôn ngữ, tùy theo sự phù hợp để khai thác dữ liệu từ nhiều nguồn khác nhau và được triển khai bằng Kubernetes.

Nhìn chung, có 3 bước trong quy trình xử lý:

Bước 1: Crawler làm nhiệm vụ thu thập dữ liệu từ các nguồn (tweet, post, tin tức, comment) và gửi về server, gọi là feed.

Bước 2: Server tiền xử lý các feed này và xác định loại cảm xúc trong mỗi feed bằng các phương pháp khác nhau tuỳ theo tính chất của feed.

Bước 3: Kết quả được thông báo cho người dùng bằng chatbot, hoặc được xem trên PowerBI.

Plug-and-play crawlers

Ngày nay, các trang tin online và mạng xã hội mới liên tục mọc lên, nhanh chóng trở thành nguồn dữ liệu khổng lồ. Để thích ứng với tốc độ thay đổi này, một trong những tính năng then chốt của Lison là khả năng thêm mới nguồn dữ liệu để phân tích một cách đơn giản và ổn định. Nhờ đó, khả năng ‘lắng nghe’ của Lison có thể được mở rộng không giới hạn. Khả năng này có được chính là nhờ cơ chế plug-and-play crawler.

Crawler của Lison được phân loại dựa theo cơ chế được dùng để thu thập dữ liệu từ RSS Feeds, báo mạng, hay các kênh social media đặc trưng như Facebook, Twitter, và những nguồn dữ liệu cần một kỹ thuật xác định để thu thập.

Workflow của crawler như sau:

Nhận lệnh thu thập dữ liệu từ server

Mỗi nguồn dữ liệu có tính chất khác nhau nên mỗi crawler cũng cần cấu hình khác nhau về khung thời gian thu thập, input … để có thể hoạt động hiệu quả. Do đó, một job có tên Crawler Controller được tạo ra với nhiệm vụ gửi command cho các crawler. Các command này sẽ chứa các thông tin cấu hình được tạo sẵn từ trước theo từng nguồn dữ liệu.

Thu thập và chọn lọc dữ liệu theo command message

Command message thông thường sẽ chứa 2 thông tin là khung thời gian và từ khoá cần lắng nghe (listening keyword). Trong quá trình thu thập, crawler sẽ dùng khung thời gian để lọc các tin cũ và sử dụng keyword để lọc các tin không liên quan. Crawler có thể được thêm vào nhiều tiêu chí chọn lọc dữ liệu tuỳ theo cài đặt.

Format dữ liệu thu thập được và gửi về hệ thống

Khi gửi về hệ thống, các dữ liệu thu thập được cần format theo chuẩn để có thể được nhận biết và xử lý. Bên cạnh nội dung của dữ liệu, các metadata hữu ích như thời gian, nguồn dữ liệu, tác giả, … cũng cần thiết cho quá trình xử lý và cần gửi về hệ thống.

Trong hệ thống của Lison, một metadata đặc biệt gọi là “feed id” được tạo ra nhằm mục tiêu loại bỏ trùng lặp trong quá trình xử lý. “feed id” là thông tin độc nhất để phân biệt các feed với nhau. Với Facebook, Twitter, mỗi một post hay tweet luôn có unique id. Đối với báo mạng thì “feed id” có thể được lấy từ tiêu đề của bài báo đó. Tóm lại, dựa trên hệ thống xử lý dữ liệu tập trung, crawler có thể được phát triển và triển khai linh hoạt, dễ dàng thêm vào hệ thống để làm giàu nguồn dữ liệu. System admin cũng có thể cấu hình crawler cho từng data source một cách đơn giản mà không cần phải bận tâm quá nhiều về cách hệ thống làm việc.

Multi-condition processor

Sau khi đã thu thập được các feed, hệ thống sẽ phân tích feed để xác định loại cảm xúc. Lison có 2 phương pháp để phân tích cảm xúc từ câu chữ:

1. Rule-based keyword detection

Trong phương pháp này, chúng ta sẽ định nghĩa một tập keyword và các loại cảm xúc tương ứng. Nếu feed chứa từ khoá nào, loại cảm xúc tương ứng sẽ được xác định cho feed. Tuy đơn giản nhưng phương pháp này lại rất hiệu quả để phát hiện các feed chứa những keyword quan trọng có thể ảnh hưởng đến thương hiệu, uy tín của doanh nghiệp. System admin cũng sẽ thấy yên tâm khi nhận được báo cáo về các nguy cơ tiềm tàng.

Lison cài đặt phương pháp này bằng việc vận dụng Javascript user-defined function trong Azure Stream Analytics.

2. AI-based sentiment analysis

Rule-based method tuy có hiệu quả nhưng lại không đủ để hiểu được cảm xúc tiềm ẩn trong câu chữ đời thực. Người dùng thông thường bày tỏ cảm xúc của mình theo nhiều từ ngữ, văn phong khác nhau chứ không thể chỉ dựa vào quy tắc định sẵn.

Do đó, Lison phát triển một AI model để nhận biết cảm xúc từ feed. Model này được huấn luyện bằng các feed thu thập được, chuyên biệt theo từng domain mà Lison triển khai nhằm tăng độ chính xác và có khả năng cải thiện theo thời gian.

Lison sử dụng Azure Machine Learning để serving model và tích hợp vào Azure Stream Analytics để phân tích feed. Với việc áp dụng AI model, các feed hàm chứa ý kiến tiêu cực có thể được phát phiện và thông báo kịp thời hơn.

Social network alert & Customizable visualization

Tận dụng kết quả phân tích cảm xúc cũng là một khía cạnh quan trọng của Lison. Có 2 cách để Lison hiển thị kết quả cho người dùng đó là báo tin qua chatbot hoặc xem kết quả tổng hợp qua PowerBI.

Một trong những yêu cầu tiên quyết của Lison là có khả năng thông báo cho system admin về các feed chứa đựng nguy cơ tiêu cực gây ảnh hưởng xấu đến thương hiệu. Vì vậy Lison đã tích phát triển một chatbot tích hớp vào các kênh thông dụng để thông báo cho system admin các thông tin cần chú ý một cách nhanh chóng.

Bên cạnh đó, Lison cũng cung cấp dashboard cho system admin bằng cách dùng Azure Stream Analytics và PowerBI. Từ dashboard này, system admin có thể hiểu thêm nhiều vấn đề, ví dụ như nền tảng mạng xã hội nói về họ nhiều nhất, chủ đề hoặc sản phẩm nào được đề cập nhiều nhất, cảm xúc của người dùng nhìn chung là gì, …

Chúng ta có thể thấy rằng có rất nhiều cơ hội để doanh nghiệp tiến xa hơn khi ứng dụng social listening vào quá trình phát triển thương hiệu. Khi tìm được giải pháp ‘lắng nghe và thấu hiểu’ phù hợp, thương hiệu đó có thể tương tác với khách hàng một cách tự nhiên hơn, từ đó nhận được niềm tin và lòng trung thành từ khách hàng.