Foundation Models and the Transformation of Language Technology
토플 꼴 학술 지문 모음 2 · 에머슨 · 소로 · 다윈 · 제임스 · 듀이 · 공개 연구 논문과 보고서(발췌)
고전 교양서와 최근 연구 논문 · 보고서에서 뽑은 어려운 학술 글 80편입니다. 글마다 문장 분석과 낱말 풀이, 문항이 붙어 있습니다.
출처 Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv (Stanford Center for Research on Foundation Models), 2108.07258. — Capabilities · 라이선스 CC BY 4.0 · 원문
문장을 누르면 해석과 끊어 읽기가 아래에 열립니다. 밑줄 친 문장은 글의 뜻을 정하는 핵심 문장입니다.
Foundation models have had a huge impact on the field of NLP, and are now central to most NLP systems and research. On a first level, many foundation models are skilled language generators: for example, Clark et al. (2021) demonstrate that non-experts have difficulty distinguishing short-form English text that was written by GPT-3 from that written by humans. However, the feature of foundation models that has been most impactful in NLP is not their raw generation abilities but their surprising generality and adaptability: a single foundation model can be adapted in different ways in order to achieve many linguistic tasks.
The field of NLP has historically focused on defining and engineering systems for challenging linguistic tasks, with the vision that models that are good at these tasks will lead to competent language systems for downstream applications. NLP tasks include classification tasks for a whole sentence or document (e.g., sentiment classification, like predicting whether a movie review is positive or negative), sequence labeling tasks, in which we classify each word or phrase in a sentence or document (e.g., predicting if each word is a verb or a noun, or which spans of words refer to a person or an organization), span relation classification, (e.g., relation extraction or parsing, like whether a person and location are linked by a “current residence” relation, or a verb and a noun by a “subject-verb” relation) and generation tasks, producing new text that is conditioned strongly on an input (e.g., producing a translation or summary of a text, recognizing or producing speech, or responding in a conversation) (Jurafsky and Martin, 2009). In the past, NLP tasks had distinct research communities that developed task-specific architectures, often based on pipelines of different models, each performing a linguistic sub-task such as token segmentation, syntactic parsing, or coreference resolution.
By contrast, the dominant modern approach for performing each task is to use a single foundation model and adapt it slightly using relatively small amounts of annotated data specific to each task (sentiment classification, named entity tagging, translation, summarization) to create an adapted model. This has proved to be an extremely successful approach: for the vast majority of the tasks described above, a foundation model that is slightly adapted for a task greatly outperforms previous models or pipelines of models that were built specifically to perform that one task. To take just one example, the best system for answering open-ended science questions in 2018, before foundation models, could get 73.1% on the NY Regents 8th grade science exam. A year later in 2019, an adapted foundation model scored 91.6% (Clark et al., 2019).
The emergence of foundation models that are largely trained to generate language has constituted an important shift in the role of language generation in NLP. Until around 2018, the problem of generating general-purpose language was considered very difficult and essentially unapproachable except through other linguistic sub-tasks (Paris et al., 2013). Instead, NLP research was mostly focused on linguistically analyzing and understanding text. Now, it is possible to train highly coherent foundation models with a simple language generation objective, like “predict the next word in this sentence”. These generative models now constitute the primary vehicle through which machine learning for language is done — including the analysis and understanding tasks that were once considered prerequisites for generation. The successful generation exhibited by foundation models has also led to a flowering of research for language generation tasks like summarization and dialogue generation. The rise of the foundation model paradigm has begun to play a similar role in spoken language as well as written. Modern automatic speech recognition (ASR) models like wav2vec 2.0 are trained on large datasets of speech audio alone, and then adapted on audio with associated transcriptions for the task of ASR (Baevski et al., 2020).
이 장의 낱말
- adapt (쓰임에 맞게) 손보다, 맞추다 adapt a model for a task = 모형을 과제에 맞게 손보다. adopt(채택하다)와 다릅니다.
- adaptability 적응성, 손보아 쓸 수 있음 다른 쓰임에 맞게 고쳐 쓸 수 있는 성질. 동사 adapt.
- dominant 지배적인, 주류인 the dominant modern approach = 오늘날 주류인 접근법.
- generate 만들어 내다, 생성하다 trained to generate language = 언어를 생성하도록 훈련된.
- paradigm 패러다임, 사고의 틀 the foundation model paradigm = 토대 모형이라는 새 틀.
- prerequisite 전제 조건, 먼저 갖추어야 할 것 prerequisites for generation = 생성에 앞서 갖추어야 할 것. pre-(앞) + requisite(필요한 것).
- annotate 주석을 달다 annotated data = 정답 표시를 달아 둔 자료.
- architecture 구조, 설계 여기서는 모형의 짜임. 본뜻은 건축.
- asr 자동 음성 인식(automatic speech recognition)의 줄임말 말소리를 글로 옮기는 기술.
- associate 연관시키다, 딸리게 하다 audio with associated transcriptions = 전사문이 딸린 음성.
- audio 음성, 소리 자료 speech audio = 말소리 음성 자료.
- classification 분류 classification tasks = 무엇이 어느 갈래인지 가르는 과제. 동사 classify.
- classify 분류하다 classify each word = 낱말마다 갈래를 정하다.
- coherent 앞뒤가 맞는, 조리 있는 highly coherent models = 앞뒤가 잘 이어지는 글을 내는 모형. 명사 coherence.
- competent 유능한, 제 몫을 하는 competent language systems = 제 몫을 하는 언어 시스템. 명사 competence.
- constitute ~이 되다, 이루다 constitute an important shift = 중요한 변화가 되다.
- coreference 상호 참조(같은 대상을 가리키는 말들) coreference resolution = 어떤 말들이 같은 대상을 가리키는지 푸는 일.
- dataset 데이터 집합, 자료 묶음 large datasets of speech audio = 큰 음성 자료 묶음.
- datum 자료(데이터) data 는 datum 의 복수. 연구 글에서는 data 로 씁니다.
- demonstrate 보여 주다, 입증하다 demonstrate that … = …임을 보여 주다. 명사 demonstration.
- distinct 서로 다른, 별개의 distinct research communities = 서로 다른 연구 공동체. 뚜렷한이라는 뜻도 있습니다.
- distinguish 구별하다 distinguish A from B = A 와 B 를 구별하다.
- downstream (흐름의) 아래쪽에 있는, 실제 응용 단계의 downstream applications = 연구 결과를 받아 쓰는 실제 응용. 본뜻은 하류의.
- emergence 출현, 나타남 the emergence of foundation models = 토대 모형의 출현. 동사 emerge.
- entity 개체 named entity tagging = 사람 · 조직 · 장소 이름에 표지를 붙이는 일.
- exhibit 보여 주다, 드러내다 the generation exhibited by foundation models = 토대 모형이 보여 준 생성. 전시하다라는 뜻도 있습니다.
- extraction 추출, 뽑아내기 relation extraction = 글에서 관계를 뽑아내는 일. 동사 extract.
- flowering 활짝 피어남, 번성 a flowering of research = 연구의 번성. flower(꽃)에서 온 비유.
- generality 일반성, 두루 쓰임 한 가지에만 매이지 않고 여러 일에 두루 통하는 성질. 형용사 general.
- generative 생성하는 generative models = 글을 만들어 내는 모형.
- generator 생성기, 만들어 내는 것 skilled language generators = 능숙한 언어 생성기. 동사 generate.
- impact 영향 have a huge impact on … = …에 엄청난 영향을 주다.
- impactful 영향이 큰 most impactful = 가장 영향이 큰. impact + -ful.
- labeling 표지 붙이기 label(표지) + -ing. 낱말마다 이름표를 붙이는 일.
- linguistic 언어의 linguistic tasks = 언어 과제. 명사 linguistics(언어학).
- linguistically 언어학적으로 linguistically analyzing text = 글을 언어학적으로 분석하기.
- nlp 자연어 처리(natural language processing)의 줄임말 사람의 말과 글을 컴퓨터가 다루게 하는 분야.
- noun 명사 사람 · 사물의 이름을 나타내는 낱말.
- objective 목표 a language generation objective = 언어 생성 목표(모형을 훈련할 때 맞추는 기준).
- outperform ~보다 더 잘하다 greatly outperforms previous models = 앞선 모형들을 크게 앞서다.
- parse 구문 분석하다 parsing = 문장의 짜임을 분석하는 일.
- pipeline 파이프라인, 차례로 이어 붙인 처리 과정 pipelines of different models = 여러 모형을 차례로 이어 붙인 것.
- recognition 인식 speech recognition = 음성 인식. 동사 recognize.
- relatively 비교적 relatively small amounts = 비교적 적은 양.
- residence 거주(지) a "current residence" relation = 현재 거주 관계(누가 어디에 사는가).
- resolution 해결, 풀기 coreference resolution 의 resolution 은 문제를 푸는 일. 결심 · 해상도라는 뜻도 있습니다.
- segmentation 분할, 나누기 token segmentation = 글을 토큰(낱말 단위)으로 나누기.
- sentiment 감성, 정서 sentiment classification = 글이 긍정인지 부정인지 가르는 일.
- sequence 순서, 차례로 이어진 것 sequence labeling = 낱말이 이어진 순서대로 표지를 붙이는 일.
- span (낱말의) 범위, 묶음 spans of words = 이어진 낱말 묶음. 다리의 경간, 기간이라는 뜻도 있습니다.
- summarization 요약(하는 일) summarize + -ation. summarization tasks = 요약 과제.
- syntactic 구문의, 문장 짜임의 syntactic parsing = 구문 분석. 명사 syntax.
- tagging 표지(태그) 붙이기 tag(꼬리표) + -ing.
- transcription 전사(문), 받아 적은 글 associated transcriptions = 음성을 받아 적은 글. 동사 transcribe.
- translation 번역 producing a translation = 번역문을 만들어 내기. 동사 translate.
- unapproachable 다가갈 수 없는 un- + approach(다가가다) + -able. 풀 길이 없는 문제를 말합니다.
- vast 아주 큰, 광대한 the vast majority = 대다수.
- verb 동사 a verb or a noun = 동사인지 명사인지.
이해 확인 16문항. 읽은 글로 푸는 문제입니다. 결과는 프라이빗 코치의 독해 실력에 기록됩니다.
이해 확인 풀기이 글은 위 출처의 공개 글을 그 라이선스에 따라 옮겼습니다. 해석 · 끊어 읽기 · 낱말 풀이와 이해 확인 문항은 따로 덧붙인 것입니다.