zalo
Chat ngay

Hãy là đôi mắt của tôi

Be My Eyes sử dụng GPT-4 để chuyển đổi khả năng tiếp cận trực quan

 

 

Từ năm 2012, Be My Eyes đã tạo ra công nghệ cho cộng đồng hơn 250 triệu người khiếm thị hoặc thị lực kém. Công ty khởi nghiệp Đan Mạch này kết nối những người khiếm thị hoặc thị lực kém với các tình nguyện viên để giúp đỡ hàng trăm công việc hàng ngày như xác định sản phẩm hoặc chỉ đường đến sân bay.

Với khả năng nhập liệu trực quan mới của GPT-4 (trong bản xem trước nghiên cứu), Be My Eyes đã bắt đầu phát triển Virtual Volunteer™ chạy bằng tài khoản Chat GPT-4 trong ứng dụng Be My Eyes có thể tạo ra cùng mức độ bối cảnh và hiểu biết như một tình nguyện viên thực sự.

Michael Buckley, CEO của Be My Eyes cho biết: "Trong thời gian ngắn chúng tôi có quyền truy cập, chúng tôi đã thấy hiệu suất vô song đối với bất kỳ công cụ nhận dạng đối tượng hình ảnh thành văn bản nào hiện có". "Những hàm ý đối với khả năng tiếp cận toàn cầu là rất sâu sắc. Trong tương lai không xa, cộng đồng người khiếm thị và thị lực kém sẽ sử dụng các công cụ này không chỉ cho nhiều nhu cầu diễn giải trực quan mà còn để có mức độ độc lập cao hơn trong cuộc sống của họ".  

Đột nhiên, hình ảnh mà ai đó gửi về, chẳng hạn như, đồ trong tủ lạnh của họ, công nghệ GPT-4 không chỉ nhận dạng và gọi tên những gì có trong đó, mà còn suy rộng và phân tích những gì bạn có thể làm với những thành phần đó. Sau đó, bạn có thể yêu cầu công thức nấu ăn ngon. Các trường hợp sử dụng gần như không giới hạn.

“Đó là sự thay đổi cuộc chơi”, Buckley nói. “Cuối cùng, bất kể người dùng muốn hay cần gì, họ có thể nhắc lại công cụ để có thêm thông tin hữu ích, có lợi và hữu ích, gần như ngay lập tức”.

Vào đầu tháng 2, công ty đã bắt đầu thử nghiệm trợ lý được GPT hỗ trợ với một nhóm nhỏ nhân viên; kết quả rất khả quan đến mức tính năng này sẽ đến tay người dùng trong vài tuần nữa.

“Có một tiềm năng đáng kinh ngạc cho cộng đồng của chúng tôi,” Buckley nói. “Những người thử nghiệm beta của chúng tôi, bao gồm Lucy Edwards, đã yêu thích những gì mà nó mang lại.”

Jesper Hvirring Henriksen, CTO của Be My Eyes, giải thích rằng sự khác biệt giữa GPT-4 và các mô hình ngôn ngữ và máy học khác là khả năng trò chuyện và mức độ phân tích cao hơn mà công nghệ này mang lại. Ông cho biết: “Các ứng dụng nhận dạng hình ảnh cơ bản chỉ cho bạn biết những gì ở trước mặt bạn”. “Chúng không thể thảo luận để hiểu liệu mì có đúng loại thành phần hay vật thể trên mặt đất không chỉ là một quả bóng mà là mối nguy hiểm gây vấp ngã—và truyền đạt điều đó”.

“Sự khác biệt giữa GPT-4 và các mô hình ngôn ngữ và máy học khác nằm ở khả năng trò chuyện cũng như mức độ phân tích mạnh mẽ hơn mà công nghệ này mang lại.”
Jesper Hvirring Henriksen, CTO của Be My Eyes

Công ty đã có trường hợp người dùng có thể điều hướng hệ thống đường sắt - có thể nói là một nhiệm vụ bất khả thi ngay cả đối với người sáng mắt - không chỉ biết được thông tin chi tiết về vị trí của họ trên bản đồ mà còn biết hướng dẫn chi tiết từng điểm về cách đến nơi họ muốn đến một cách an toàn.

Tuy nhiên, việc đi qua thế giới vật lý phức tạp chỉ là một nửa câu chuyện. Việc hiểu những gì trên màn hình có thể khó khăn gấp đôi đối với một người không nhìn thấy. Trình đọc màn hình, được nhúng trong hầu hết các hệ điều hành hiện đại, đọc từng phần của một trang web hoặc ứng dụng máy tính để bàn theo từng dòng, từng phần, đọc từng từ. Hình ảnh, trái tim của giao tiếp trên web, thậm chí còn tệ hơn. 

Tuy nhiên, Henriksen cho biết hiện tại họ có thể cho GPT-4 xem trang web và hệ thống biết được—sau vô số giờ đào tạo, trong đó các thuật toán học sâu xây dựng mối quan hệ để hiểu phần "quan trọng" của trang web—phần nào cần đọc hoặc tóm tắt. Điều này không chỉ có thể đơn giản hóa các tác vụ như đọc tin tức trực tuyến mà còn cấp cho những người cần hỗ trợ thị giác quyền truy cập vào một số trang lộn xộn nhất trên web: các trang mua sắm và thương mại điện tử. GPT-4 có thể tóm tắt kết quả tìm kiếm theo cách mà người sáng mắt thường quét chúng—không đọc mọi chi tiết nhỏ mà chuyển đổi giữa các điểm dữ liệu quan trọng—và giúp những người cần hỗ trợ thị giác thực hiện đúng giao dịch mua, theo thời gian thực.

Buckley cho biết: “Đây là một sự phát triển tuyệt vời cho nhân loại, nhưng nó cũng mở ra một cơ hội thương mại to lớn”.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi hấp dẫn!

Hot Deal

Họ tên (*)

Số điện thoại (*)

Email (*)

Dịch vụ

Đăng ký để nhận bản tin mới nhất !