수사적 이동 식별을 위한 딥러닝
Sociedade Brasileira de Computação · Sep 2025
CorpusDT 코퍼스에서 BERTimbau의 증류 버전을 미세 조정해 포르투갈어 과학 초록의 수사적 이동을 식별했고, 문장 분류에서 F1 점수 0.94를 달성했습니다. 포르투갈어 학술 글쓰기의 질을 높이는 NLP의 잠재력을 보여줍니다.
사례 연구
0.94 F1 · 정확도 93.97% · 수사적 클래스 6개 · 초록 52편 → 1,409개 예시
문제
포르투갈어에는 과학적 글쓰기를 지원하는 도구가 부족합니다. Swales의 수사적 이동(맥락, 공백, 목적, 방법, 결과, 결론)은 보통 직관적으로 구성되고, 연구 공백은 자주 암시적으로 남습니다. 포르투갈어의 이전 기준 분류기인 AZPort는 나이브 베이즈 접근으로 72% 정확도를 기록했습니다.
제약
포르투갈어로 제공되는 몇 안 되는 주석 코퍼스 가운데 하나인 CorpusDT는 과학 초록 52편만 담고 있어 Transformer를 곧바로 미세 조정하기에는 너무 적습니다.
접근
저는 각 문장의 수사적 의미를 보존하는 데이터 증강 파이프라인을 만들었습니다. 역번역(PT→EN→PT), 동의어 대체, 무작위 삽입과 교환, 그리고 정규화 수단으로서의 무작위 삭제를 확률적으로 적용하고 소수 클래스 쪽으로 편향시켰습니다. 이를 통해 52편의 초록을 1,409개의 균형 잡힌 문장 예시로 확장했습니다(층화 80/20 분할). 그 집합에서 6개 클래스 분류 헤드, 클래스 가중 교차 엔트로피, 혼합 정밀도(FP16), 코사인 스케줄러를 적용한 AdamW, 검증 F1 기준 조기 종료를 사용해 BERTimbau의 증류 버전인 distilbert-portuguese-cased를 미세 조정했습니다.
결과
최종 분류기는 검증 세트에서 가중 F1 0.94(매크로 0.9403)와 93.97% 정확도를 달성했으며, 포르투갈어 수사적 이동 탐지에서 알려진 최고 결과입니다. 오류 분석에 따르면 오분류는 의미적으로 인접한 이동 사이에 집중됩니다(예를 들어 결과 문장의 7.7%가 방법으로 읽힘). 이는 사람 주석자에게도 미묘한 경계입니다. 오류는 무작위가 아니라 논리적 패턴을 따릅니다.