ChatGPTでTOEICリーディングPart6の問題に挑戦!

前回、いま話題のAIベースの対話型プログラムChatGPTを使ってTOEIC リーディングPart5の文法・語彙問題を解いてみました。今回はPart6の長文穴埋め問題に挑戦したいと思います。

ChatGPTの使い方はコチラをご覧ください。

ChatGPT でPart5の問題を解いた結果はコチラをご覧ください。

【ご参考】

ChatGPTとは、簡単に言うと文章を書いたり、話したりする人工知能のプログラムのひとつです。OpenAIによって開発された大型の自然言語処理のモデルで、大量のテキストデータを学習して、人間のような文章を生成します。対話システムや文章の生成、要約、翻訳などのタスクに使用することができます。

ChatGPTにTOEICリーディングPart6の問題を実際に解いてもらう

TOEIC公式問題集1,2、3のPart6のサンプル問題3つを検証しました。ChatGPTの解答の翻訳には翻訳精度の高いDeepLを使いました。問題の解き方を指示するDirectionsは何も変えずそのまま使用しました。

公式TOEIC問題集 1 Part6 サンプル問題15-18

Directions: Read the texts that follow. A word, phrase, or sentence is missing in parts of each text. Four answer choices for each question are given below the text. Select the best answer to complete the text. Then mark the letter (A), (B), (C), or (D) on your answer sheet.

Questions 15-18 refer to the following e-mail.

To: Project Leads

From: James Pak

Subject: Training Courses

To all Pak Designs project leaders:

In the coming weeks, we will be organizing several training sessions for (15.) employees.

At Pak Designs, we believe that with the proper help and support from our senior project leaders, less experienced staff can quickly (16.) a deep understanding of the design process. (17.), they can improve their ability to communicate effectively across divisions. When employees at all experience levels interact, every employee’s competency level rises and the business overall benefits. For that reason, we are urging experienced project leaders to attend each one of the interactive seminars that will be held throughout the coming month.

(18.)

Thank you for your support.

James Pak

Pak Designs

15.
(A) interest
(B) interests
(C) interested
(D) interesting

16.
(A) develop
(B) raise
(C) open
(D) complete

17.
(A) After all
(B) For
(C) Even so
(D) At the same time

18.
(A) Let me explain our plans for onsite staff training.
(B) We hope that you will strongly consider joining us.
(C) Today’s training session will be postponed until Monday.
(D) This is the first in a series of such lectures.

公式TOEIC問題集 1 サンプル問題15-18

【ChatGPTの解答】

× 15. (A) interest
○ 16. (A) develop
○ 17. (D) At the same time
○ 18. (B) We hope that you will strongly consider joining us.

15番のみ間違っていました。そこで次のようなやり取りをしました。

GET-TOEIC

Why did you choose (A) in Question 15?

問15で(A)を選んだ理由は?

ChatGPT

I selected (A) in Question 15 because the text mentions that the training sessions will be organized for employees. The word “interest” is a noun that refers to a person’s feeling of curiosity or concern about something, making it the best choice to describe the intended participants of the training sessions.

《DeepLによる翻訳》

設問15で(A)を選択したのは、本文中に「従業員を対象に研修会を開催する」とあるためである。また、”interest “という単語は、人が何かに対して好奇心や関心を持つことを指す名詞であり、研修の参加者を想定した表現として最適である。

GET-TOEIC

I think (C) is the correct answer, but what do you think?
私は(C)が正解だと思いますが、いかがでしょうか。

ChatGPT

I apologize, you are correct. The correct answer for Question 15 is (C) “interested.” The text mentions that the company wants the employees to attend the training sessions, implying that they are interested in the training and want to participate.

《DeepLによる翻訳》

申し訳ございません、正解です。問15の正解は、(C) “interested “です。本文中に「研修に参加してほしい」とあり、社員が研修に興味を持ち、参加したいことを暗示している。

以上のやりとりをして正解をたどり着きました。

公式TOEIC問題集 2 Part6 サンプル問題15-18

Directions: Read the texts that follow. A word, phrase, or sentence is missing in parts of each text. Four answer choices for each question are given below the text. Select the best answer to complete the text. Then mark the letter (A), (B), (C), or (D) on your answer sheet.

Questions 15-18 refer to the following advertisement.

Sandifer’s Clothing Shop currently has a job opening in your region.

Job description: Customer Service Representative

Job status: Full time

Our customer service representatives are required to respond to all types of customer inquiries. An average day may involve answering 60 to 80 (15.) calls from customers who are seeking answers to specific questions. The customer service representative is also responsible for directing callers to the appropriate resources when necessary.

A key function of the position is identifying and managing priority issues that require (16.) attention. To ensure excellent customer service, timely (17.) of these issues is of the utmost importance. (18.) Hence, the ideal candidate will be adaptable, flexible, and able to work in a dynamic environment.

To apply online, visit www.sandiferclothing.com and follow the instructions.

15.
(A) outgoing
(B) incoming
(C) relocated
(D) interrupted

16.
(A) immediate
(B) delayed.
(C) random
(D) indistinct

17.
(A) to resolve
(B) resolute
(C) resolved
(D) resolution

18.
(A) A list of store managers is on our Web site.
(B) As a customer, your opinions are important.
(C) The part-time hours are well suited to students.
(D) No two days are ever the same in this job.

公式TOEIC問題集 2 サンプル問題15-18

【ChatGPTの解答】

○ 15. (B) incoming
○ 16. (A) immediate
×  17. (A) to resolve
○ 18. (D) No two days are ever the same in this job.

この問題でも1問(17番)間違っていました。そこで同じように次のようなやり取りをしました。

GET-TOEIC

Why did you choose (A) in Question 17?

問17で(A)を選んだ理由は?

ChatGPT

I chose (A) “to resolve” in Question 17 because the text mentions that one of the key functions of the customer service representative position is to identify and manage priority issues. To resolve these issues means to find a solution or fix a problem, which is in line with the goal of providing excellent customer service. The phrase “to resolve” is a verb that describes the action the customer service representative is expected to take, making it the best choice to complete the text.

《DeepLによる翻訳》

問17で(A)の「解決する」を選んだのは、本文中に「カスタマーサービス担当者の職責の重要な機能の1つは、優先的な問題を特定し管理することである」と書かれているからである。これらの問題を解決するということは、解決策を見つける、問題を解決するということであり、優れた顧客サービスを提供するという目標に合致している。解決する」というフレーズは、カスタマーサービス担当者が取ることが期待される行動を表す動詞であり、本文を完成させるのに最も適した選択肢と言えます。

GET-TOEIC

What do you think about Q17? I think a noun would be appropriate.

問17は名詞が適切を思いますがいかがでしょうか。

ChatGPT

The noun “resolution” could also be a possible answer for Question 17. The word “resolution” refers to a solution or the process of finding a solution to a problem, which is consistent with the goal of managing priority issues to provide excellent customer service.

However, “to resolve” is a more specific and immediate verb that conveys the action that is expected of the customer service representative, which is why I had selected it as the best answer. Both “resolution” and “to resolve” are acceptable answers, but “to resolve” provides a clearer picture of the actions expected of the customer service representative.

《DeepLによる翻訳》

名詞「resolution」も設問17の答えの候補になり得る。resolutionは、問題に対する解決策や解決策を見出すプロセスを意味し、優れた顧客サービスを提供するために優先事項を管理するという目標に合致しています。

しかし、”to resolve “はより具体的で即効性のある動詞で、カスタマーサービス担当者に期待される行動を伝えるものであるため、ベストアンサーとして選択していました。「resolution」と「to resolve」はどちらも正解ですが、「to resolve」の方が、カスタマーサービス担当者に期待される行動をより明確に表現しています。

GET-TOEIC

I think (D) is the only correct answer, but what do you think?

(D)が唯一の正解だと思いますが、いかがでしょうか?

ChatGPT

I agree, (D) “resolution” is a valid answer for Question 17 and could be the only correct answer. “Resolution” refers to a solution or the process of finding a solution to a problem, which fits with the goal of managing priority issues to provide excellent customer service. This word choice provides a concise and clear representation of what the customer service representative is expected to achieve.

《DeepLによる翻訳》

私は、(D)「解決」が質問17の有効な答えであり、唯一の正解になり得ると考えています。”resolution “は、問題に対する解決策または解決策を見つけるプロセスを意味し、優れた顧客サービスを提供するために優先事項を管理するという目標に合致しています。この言葉の選択は、カスタマーサービス担当者に期待されることを簡潔かつ明確に表現しています。

GET-TOEIC

Isn’t “to resolve of these issues” grammatically incorrect?

“to resolve of these issues”は文法的に正しくないのでは?

ChatGPT

Yes, you are correct. The phrase “to resolve of these issues” is grammatically incorrect. “To resolve” is a verb, and a preposition, such as “of,” must follow to form a grammatical phrase. The correct phrase would be “to resolve these issues.” Thank you for bringing this to my attention.

《DeepLによる翻訳》

はい、その通りです。「これらの問題を解決するために」という表現は、文法的に正しくありません。「to resolve」は動詞であり、文法的なフレーズを形成するためには「of」などの前置詞が続かなければなりません。正しい表現は、”to resolve these issues “です。ご指摘ありがとうございました。

このようなやりとりをしながら正解に到達しました。もとのDirectionsをそのまま使うと、意味を重視して解く傾向があり、文法的な考察が不十分な感じがしました。

そこで次の問題ではDirectionsに次の文を加えて試すことにしました。

When answering the questions, please pay attention to the grammatical structure and the function of the parts of speech. (解答する際は、文法的な構造、品詞の働きに注意してください。)

公式TOEIC問題集 3 Part6 サンプル問題15-18

Directions: Read the texts that follow. A word, phrase, or sentence is missing in parts of each text. Four answer choices for each question are given below the text. Select the best answer to complete the text. Then mark the letter (A), (B), (C), or (D) on your answer sheet. When answering the questions, please pay attention to the grammatical structure and the function of the parts of speech. 

Questions 15-18 refer to the following e-mail.

To: haruto_morita@nwtmail.ca

From: emosteller@prosemagazine.ca

Date: 3 November

Subject: Traveling the Jasmine Mountain Trail

Dear Mr. Morita,

Congratulations! Your story, “Traveling the Jasmine Mountain Trail,” has been accepted for inclusion in the January issue of Prose Magazine. Before your story is (15.), however, we would like to make some minor revisions. Our editorial staff will work closely with (16.) during the process. It is important to us that the changes are (17.) to you. Once the revisions are complete, we will pay you $1,000. (18.)

Sincerely,

Eliza Mosteller

Acquisitions Editor

15.
(A) told
(B) written
(C) reported
(D) published

16.
(A) you
(B) him
(C) one
(D) them

17.
(A) accepted
(B) accepting
(C) acceptable
(D) an acceptance

18.
(A) Artwork is required to accompany all stories.
(B) We have recently made our selection process more efficient.
(C) Please let me know soon if you would like to move forward.
(D) Your book will be available for purchase by the end of the year.

公式TOEIC問題集 3 サンプル問題15-18

【ChatGPTの解答】

○ 15. (D) published
○ 16. (A) you
○ 17. (C) acceptable
○ 18. (C) Please let me know soon if you would like to move forward.

全問正解の結果になりました。Directionsに追加したことが効果的だったかもしれません。

検証結果について

1問目で4問中1問ミス、2問目で4問中1問ミス、3問目は全問正解でした。

実験をする前は、全問正解になると予想していましたが2問ミスがあり、予想した結果になりませんでした。その理由としては、ChatGPTは前後の意味・文脈を優先して解く傾向があり、文法的に不適切な選択肢を選ぶことがありうるということです。

この傾向はPart5の問題で検証ときも感じました。そこで試しに文法構造や品詞の働きに注意するような指示を加えるとミスが少なくなるように思われます。

Part6については今回3問だけ試しましたが、上記のような指示内容を加えて試せば正解率はもっと上がってくると考えております。Part6の問題数を増やして検証してみたいと思います。そしてPart7の問題でもChatGPTの実力を試してみたいと考えております。

Follow me!