신규 기능

• Arm NEON용 양자화 커널 구현. 이제 Arm NEON 아키텍처에서도 CoNg 모델 사용시 최적화된 커널을 사용하게 되어 전보다 분석속도가 20% 가량 향샹되었습니다.

버그 수정

• AVX-VNNI 최적화 커널에서 AVX512 명령어를 사용하여 오류가 발생하던 버그 수정
• 문장 시작 위치의 1., 2., 3. 등이 종종 SB 대신 SN로 분석되는 오류 수정
• Splitter 신규 구현체에서 종종 메모리 과다 사용하거나, 빈 결과값을 리턴하는 등의 문제를 해결

• OOV 탐지 기능 고도화
  • 길이에 기반한 규칙으로 OOV에 점수를 부여하는 기존 방식 외에, 경량 문자모델과 빈도 정보에 기반하여 OOV에 점수를 부여하는 새로운 방식이 추가되었습니다.
  • OOV 탐지 방식은 Match::oov* 인자를 통해 선택할 수 있습니다.
• 오타 교정 방식 고도화
  • 오타 교정 기능 사용시 메모리 사용량이 일반 분석 시와 비슷한 수준으로 줄어들도록 최적화되었습니다.
  • 오타 교정 옵션을 Kiwi 인스턴스 생성 시점이 아니라 분석 시점에 전달하는 방식으로 변경되었습니다.
  • 이를 통해 이제 다어절 명사에 대해서도 오타 교정 기능이 지원됩니다.

• 사전에 등재되지 않은 단어를 분석할 때 종종 결과 형태소로 엉뚱한 문자열이 출력되는 버그 수정

• 접두문자열로 형태소를 탐색할 수 있는 Kiwi::findMorphemesWithPrefix 함수 추가
• findMorphemes에서 미완성이거나 임시로 합성된 형태소 결과가 나오지 않도록 수정
• CoNg의 유사 단어 검색 관련 함수에서 boundary check 추가
• 누락되었던 v0.22.0의 C API 함수들을 보충

• 신기능
  • 방언 분석 기능 추가
  • 형태소에 방언 & 의미 번호 정보 추가
• 버그 수정
  • CoNg 모델에서 사이시옷 분석이 제대로 안되던 버그 수정
  • 공백이 포함된 다어절 형태소 분석시 종종 크래시가 발생하던 현상 수정
  • 멀티스레딩 환경에서 형태소 분석 도중에 Kiwi의 config 값을 수정하여 오류가 발생할 수 있는 문제를 수정
• 기타
  • Android용 바인딩 제공 추가
  • KnLM, SBG 모델을 기본 제공 모델 목록에서 제거

• 형태소 분석 모델 정확도 개선
• 새로운 형태소 분석 모델인 CoNg (Contextual N-gram embedding)을 구현 (실험적 요소)
• 컴파일러 요구사항을 C++17 지원으로 상향

• splitComplex 옵션 사용시에도 종종 어요/EF가 어/EF 요/JX로 분할되지 않는 버그 수정
• 오타 교정 사용시 특정 문자열에 대해 segmentation fault가 발생하는 버그 수정

• 오타 교정 기능을 사용할 때 사용자 사전에 등록한 복합 명사가 인식되지 않는 버그 수정

버그 수정

• SN이나 W 태그가 나타날 위치에서 종종 바로 앞의 문자열이 중복되어 엉뚱한 태그가 발생하는 버그 수정

버그 수정

• #200 버그 수정
• splitSaisiot, mergeSaisiot 사용시의 정확도 개선
• saisiot 기능 추가 이후 GCC에서 Pretokenized Span을 사용할때 발생하는 segmentation fault 해결
• 누락되었던 C API 상수 보완