Xử lý hàng loạt với Batch API

dataset_path = "data/imdb_top_1000.csv"
df = pd.read_csv(dataset_path)
df.head()

dataset_path = "data/imdb_top_1000.csv"
df = pd.read_csv(dataset_path)
df.head()

Bước xử lý

Tại đây, chúng ta sẽ chuẩn bị các yêu cầu bằng cách trước tiên thử chúng với điểm cuối Hoàn tất trò chuyện.

Khi đã hài lòng với kết quả, chúng ta có thể chuyển sang tạo tệp lệnh.

categorize_system_prompt = '''
Your goal is to extract movie categories from movie descriptions, as well as a 1-sentence summary for these movies.
You will be provided with a movie description, and you will output a json object containing the following information:
{ categories: string[] // Array of categories based on the movie description, summary: string // 1-sentence summary of the movie based on the movie description
}
Categories refer to the genre or type of the movie, like "action", "romance", "comedy", etc. Keep category names simple and use only lower case letters.
Movies can have several categories, but try to keep it under 3-4. Only mention the categories that are the most obvious based on the description.
'''
def get_categories(description): response = client.chat.completions.create( model="gpt-4o-mini", temperature=0.1, # This is to enable JSON mode, making sure responses are valid json objects response_format={ "type": "json_object" }, messages=[ { "role": "system", "content": categorize_system_prompt }, { "role": "user", "content": description } ], ) return response.choices[0].message.content

# Testing on a few examples
for _, row in df[:5].iterrows(): description = row['Overview'] title = row['Series_Title'] result = get_categories(description) print(f"TITLE: {title}\nOVERVIEW: {description}\n\nRESULT: {result}") print("\n\n----------------------------\n\n")

TIÊU ĐỀ: Nhà tù Shawshank TỔNG QUAN: Hai người đàn ông bị giam cầm gắn bó với nhau trong nhiều năm, tìm thấy sự an ủi và cuối cùng là sự cứu rỗi thông qua những hành động tử tế chung.
KẾT QUẢ: { "categories": ["drama"], "summary": "Hai người đàn ông bị giam cầm phát triển một mối liên kết sâu sắc trong nhiều năm, cuối cùng tìm thấy sự cứu rỗi thông qua những hành động tử tế chung của họ." }
----------------------------
TIÊU ĐỀ: Bố già TỔNG QUAN: Người cha già già của một triều đại tội phạm có tổ chức chuyển giao quyền kiểm soát đế chế bí mật của mình cho người con trai miễn cưỡng của mình.
KẾT QUẢ: { "categories": ["crime", "drama"], "summary": "Một trùm tội phạm già giao lại đế chế của mình cho người con trai do dự." }
----------------------------
TIÊU ĐỀ: Hiệp sĩ bóng đêm TỔNG QUAN: Khi mối đe dọa được gọi là Joker gây ra sự tàn phá và hỗn loạn cho người dân Gotham, Batman phải chấp nhận một trong những bài kiểm tra tâm lý và thể chất lớn nhất về khả năng chống lại sự bất công của mình.
KẾT QUẢ: { "categories": ["hành động", "ly kỳ", "siêu anh hùng"], "tóm tắt": "Batman phải đối mặt với một thử thách to lớn khi Joker gây ra hỗn loạn ở Thành phố Gotham." }
----------------------------
TIÊU ĐỀ: Bố già: Phần II TỔNG QUAN: Cuộc sống và sự nghiệp thời trẻ của Vito Corleone ở Thành phố New York những năm 1920 được miêu tả, trong khi con trai ông, Michael, mở rộng và thắt chặt quyền kiểm soát của mình đối với tổ chức tội phạm gia đình.
KẾT QUẢ: { "categories": ["tội phạm", "chính kịch"], "tóm tắt": "Bộ phim mô tả cuộc sống thời trẻ của Vito Corleone và sự trỗi dậy của con trai ông, Michael trong tổ chức tội phạm gia đình ở Thành phố New York những năm 1920." }
----------------------------
TIÊU ĐỀ: 12 Angry Men TỔNG QUAN: Một bồi thẩm đoàn cố gắng ngăn chặn một vụ án oan bằng cách buộc các đồng nghiệp của mình phải xem xét lại bằng chứng.
KẾT QUẢ: { "categories": ["kịch tính", "ly kỳ"], "summary": "Một bồi thẩm đoàn phản đối quyết liệt đấu tranh để đảm bảo công lý được thực thi bằng cách thách thức những bồi thẩm viên khác đánh giá lại bằng chứng." }
----------------------------

Tạo tập tin hàng loạt

Tệp lệnh theo jsonlđịnh dạng này phải chứa một dòng (đối tượng json) cho mỗi yêu cầu. Mỗi yêu cầu được định nghĩa như sau:

{ "custom_id": , "method": "POST", "url": "/v1/chat/completions", "body": { "model": , "messages": , // other parameters }}

Lưu ý: ID yêu cầu phải là duy nhất cho mỗi lô. Đây là những gì bạn có thể sử dụng để khớp kết quả với các tệp đầu vào ban đầu, vì các yêu cầu sẽ không được trả về theo cùng một thứ tự.

# Creating an array of json tasks
tasks = []
for index, row in df.iterrows(): description = row['Overview'] task = { "custom_id": f"task-{index}", "method": "POST", "url": "/v1/chat/completions", "body": { # This is what you would have in your Chat Completions API call "model": "gpt-4o-mini", "temperature": 0.1, "response_format": { "type": "json_object" }, "messages": [ { "role": "system", "content": categorize_system_prompt }, { "role": "user", "content": description } ], } } tasks.append(task)

# Creating the file
file_name = "data/batch_tasks_movies.jsonl"
with open(file_name, 'w') as file: for obj in tasks: file.write(json.dumps(obj) + '\n')

Đang tải tệp lên

batch_file = client.files.create( file=open(file_name, "rb"), purpose="batch"
)

print(batch_file)

FileObject(id='file-lx16f1KyIxQ2UHVvkG3HLfNR', byte=1127310, created_at=1721144107, filename='batch_tasks_movies.jsonl'

Tạo tác vụ hàng loạt

batch_job = client.batches.create( input_file_id=batch_file.id, endpoint="/v1/chat/completions", completion_window="24h"
)

Kiểm tra trạng thái lô hàng

Lưu ý: quá trình này có thể mất tới 24 giờ, nhưng thường sẽ hoàn tất nhanh hơn.

Bạn có thể tiếp tục kiểm tra cho đến khi trạng thái là 'hoàn tất'.

batch_job = client.batches.retrieve(batch_job.id)
print(batch_job)

Đang lấy kết quả

result_file_id = batch_job.output_file_id
result = client.files.content(result_file_id).content

result_file_name = "data/batch_job_results_movies.jsonl"
with open(result_file_name, 'wb') as file: file.write(result)

# Loading data from saved file
results = []
with open(result_file_name, 'r') as file: for line in file: # Parsing the JSON string into a dict and appending to the list of results json_object = json.loads(line.strip()) results.append(json_object)

Đọc kết quả

Nhắc nhở: kết quả không theo cùng thứ tự như trong tệp đầu vào. Hãy đảm bảo kiểm tra custom_id để khớp kết quả với các yêu cầu đầu vào

# Reading only the first results
for res in results[:5]: task_id = res['custom_id'] # Getting index from task id index = task_id.split('-')[-1] result = res['response']['body']['choices'][0]['message']['content'] movie = df.iloc[int(index)] description = movie['Overview'] title = movie['Series_Title'] print(f"TITLE: {title}\nOVERVIEW: {description}\n\nRESULT: {result}") print("\n\n----------------------------\n\n")

TIÊU ĐỀ: American Psycho TỔNG QUAN: Một giám đốc ngân hàng đầu tư giàu có ở Thành phố New York, Patrick Bateman, che giấu bản ngã tâm thần khác của mình khỏi đồng nghiệp và bạn bè khi anh ta đào sâu hơn vào những tưởng tượng bạo lực, khoái lạc của mình.
KẾT QUẢ: { "categories": ["thriller", "psychological", "drama"], "summary": "Một chủ ngân hàng đầu tư giàu có ở Thành phố New York che giấu bản ngã tâm thần khác của mình trong khi đắm chìm trong những tưởng tượng bạo lực và khoái lạc." }
----------------------------
TIÊU ĐỀ: Lethal Weapon TỔNG QUAN: Hai cảnh sát mới được ghép đôi hoàn toàn trái ngược nhau phải gạt bỏ những khác biệt của họ để bắt một băng buôn lậu ma túy.
KẾT QUẢ: { "categories": ["action", "comedy", "crime"], "summary": "Một bộ phim hài hành động về hai cảnh sát không hợp nhau hợp tác để hạ gục một băng buôn lậu ma túy." }
----------------------------
TIÊU ĐỀ: A Star Is Born TỔNG QUAN: Một nhạc sĩ giúp một ca sĩ trẻ tìm kiếm danh tiếng khi tuổi tác và chứng nghiện rượu khiến sự nghiệp của anh ta đi xuống.
KẾT QUẢ: { "categories": ["kịch", "âm nhạc"], "tóm tắt": "Sự nghiệp của một nhạc sĩ đi xuống khi anh ta giúp một ca sĩ trẻ tìm kiếm danh tiếng giữa những cuộc đấu tranh với tuổi tác và chứng nghiện rượu." }
----------------------------
TIÊU ĐỀ: Từ đây đến vĩnh hằng TỔNG QUAN: Tại Hawaii vào năm 1941, một binh nhì bị trừng phạt tàn nhẫn vì không tham gia đấm bốc trong đội của đơn vị mình, trong khi vợ của đại úy và phó chỉ huy của anh ta lại đang yêu nhau.
KẾT QUẢ: { "categories": ["kịch", "lãng mạn", "chiến tranh"], "tóm tắt": "Một bộ phim truyền hình lấy bối cảnh Hawaii vào năm 1941, nơi một binh nhì phải đối mặt với hình phạt vì không tham gia đấm bốc trong đội của đơn vị mình, giữa mối tình bị cấm đoán giữa vợ của đại úy và phó chỉ huy của anh ta." }
----------------------------
TIÊU ĐỀ: Cậu bé rừng xanh TỔNG QUAN: Báo Bagheera và Gấu Baloo gặp khó khăn khi cố gắng thuyết phục một cậu bé rời khỏi khu rừng để đến với nền văn minh loài người.
KẾT QUẢ: { "categories": ["phiêu lưu", "hoạt hình", "gia đình"], "tóm tắt": "Một bộ phim hoạt hình đầy phiêu lưu về một con báo và một con gấu cố gắng thuyết phục một cậu bé rời khỏi khu rừng để đến với nền văn minh loài người." }
----------------------------

Ví dụ thứ hai: Chú thích hình ảnh

Trong ví dụ này, chúng ta sẽ sử dụng gpt-4-turbo để chú thích cho hình ảnh các đồ nội thất.

Chúng tôi sẽ sử dụng khả năng thị giác của mô hình để phân tích hình ảnh và tạo chú thích.

Đang tải dữ liệu

Chúng tôi sẽ sử dụng tập dữ liệu đồ nội thất của Amazon cho ví dụ này.

dataset_path = "data/amazon_furniture_dataset.csv"
df = pd.read_csv(dataset_path)
df.head()

dataset_path = "data/amazon_furniture_dataset.csv"
df = pd.read_csv(dataset_path)
df.head()

Bước xử lý

Một lần nữa, trước tiên chúng ta sẽ chuẩn bị các yêu cầu với điểm cuối Chat Completions và sau đó tạo tệp hàng loạt.

caption_system_prompt = '''
Your goal is to generate short, descriptive captions for images of items.
You will be provided with an item image and the name of that item and you will output a caption that captures the most important information about the item.
If there are multiple items depicted, refer to the name provided to understand which item you should describe.
Your generated caption should be short (1 sentence), and include only the most important information about the item.
The most important information could be: the type of item, the style (if mentioned), the material or color if especially relevant and/or any distinctive features.
Keep it short and to the point.
'''
def get_caption(img_url, title): response = client.chat.completions.create( model="gpt-4o-mini", temperature=0.2, max_tokens=300, messages=[ { "role": "system", "content": caption_system_prompt }, { "role": "user", "content": [ { "type": "text", "text": title }, # The content type should be "image_url" to use gpt-4-turbo's vision capabilities { "type": "image_url", "image_url": { "url": img_url } }, ], } ] ) return response.choices[0].message.content

# Testing on a few images
for _, row in df[:5].iterrows(): img_url = row['primary_image'] caption = get_caption(img_url, row['title']) img = Image(url=img_url) display(img) print(f"CAPTION: {caption}\n\n")

Tạo tác vụ hàng loạt

Tương tự như ví dụ đầu tiên, chúng ta sẽ tạo một mảng các tác vụ json để tạo một jsonltệp và sử dụng nó để tạo tác vụ hàng loạt.

# Creating an array of json tasks
tasks = []
for index, row in df.iterrows(): title = row['title'] img_url = row['primary_image'] task = { "custom_id": f"task-{index}", "method": "POST", "url": "/v1/chat/completions", "body": { # This is what you would have in your Chat Completions API call "model": "gpt-4o-mini", "temperature": 0.2, "max_tokens": 300, "messages": [ { "role": "system", "content": caption_system_prompt }, { "role": "user", "content": [ { "type": "text", "text": title }, { "type": "image_url", "image_url": { "url": img_url } }, ], } ] } } tasks.append(task)

# Creating the file
file_name = "data/batch_tasks_furniture.jsonl"
with open(file_name, 'w') as file: for obj in tasks: file.write(json.dumps(obj) + '\n')

# Uploading the file
batch_file = client.files.create( file=open(file_name, "rb"), purpose="batch"
)

# Creating the job
batch_job = client.batches.create( input_file_id=batch_file.id, endpoint="/v1/chat/completions", completion_window="24h"
)

batch_job = client.batches.retrieve(batch_job.id)
print(batch_job)

Nhận được kết quả

Tương tự như ví dụ đầu tiên, chúng ta có thể lấy kết quả sau khi tác vụ hàng loạt hoàn tất.

Nhắc nhở: kết quả không theo cùng thứ tự như trong tệp đầu vào. Hãy đảm bảo kiểm tra custom_id để khớp kết quả với các yêu cầu đầu vào

# Retrieving result file
result_file_id = batch_job.output_file_id
result = client.files.content(result_file_id).content

result_file_name = "data/batch_job_results_furniture.jsonl"
with open(result_file_name, 'wb') as file: file.write(result)

# Loading data from saved file
results = []
with open(result_file_name, 'r') as file: for line in file: # Parsing the JSON string into a dict and appending to the list of results json_object = json.loads(line.strip()) results.append(json_object)

# Reading only the first results
for res in results[:5]: task_id = res['custom_id'] # Getting index from task id index = task_id.split('-')[-1] result = res['response']['body']['choices'][0]['message']['content'] item = df.iloc[int(index)] img_url = item['primary_image'] img = Image(url=img_url) display(img) print(f"CAPTION: {result}\n\n")

Kết thúc

Trong sách hướng dẫn này, chúng ta đã xem hai ví dụ về cách sử dụng Batch API mới, nhưng hãy nhớ rằng Batch API hoạt động theo cùng một cách như điểm cuối Chat Completions, hỗ trợ các tham số giống nhau và hầu hết các mô hình gần đây (gpt-4o, gpt-4o-mini, gpt-4-turbo, gpt-3.5-turbo...).

Bằng cách sử dụng API này, bạn có thể giảm đáng kể chi phí, vì vậy chúng tôi khuyên bạn nên chuyển đổi mọi khối lượng công việc có thể xảy ra không đồng bộ sang tác vụ hàng loạt với API mới này.

Xem thêm: tìm hiểu về tài khoản Chat GPT 4 chính hãng là gì?