NLP 기반 가상 비서
자연어 처리는 컴퓨터가 사람의 언어를 이해하고 처리하는 능력입니다. 가상 비서 영역에서 NLP는 작업을 실행하고 완료하기 위해 사용자의 의도를 판단하고, 발화에서 정보를 추출하고, 사용자와 대화를 하는데 사용됩니다.
발화
발화는 사용자가 한 발언을 나타냅니다. 가상 비서를 사용하면 개별적, 논리적 순서 또는 사용자의 전반적인 요청에 따라 동시에 처리된 여러 문장으로 구성될 수 있습니다.
의도 인식
의도는 사용자가 달성하고자 하는 것을 나타냅니다. 대부분의 의도는 "상품 검색", "송금", "항공권 예약"과 같은 단순한 개별 작업이며 일반적으로 동사와 명사의 조합으로 설명됩니다. 이러한 유형의 의도는 사용자와 대화를 시작하여 더 많은 정보를 캡처하고, 원격 시스템에서 데이터를 검색 및 업데이트하며 사용자에게 진행 상황을 알려 줍니다.
의도 인식의 목표는 사용자 발화를 정확히 의도된 작업이나 질문과 일치시키는 것입니다. Kore.ai는 의도를 나타내는 일반적인 단어 조합을 정의한 몇 가지 다른 학습 모델을 통해 사용자 의도를 결정합니다.
엔티티 추출
엔티티는 사용자의 의도를 정의하거나 형상화하거나 변경하는 모든 것으로 날짜, 시간, 위치와 같은 의도를 수행하는 데 필요한 것입니다. 엔티티는 일반적으로 "dateTime"과 같은 이름이나 슬롯이라고도 하는 이름이 할당됩니다.
엔티티 추출의 목표는 작업을 완료하는 데 필요한 요소를 식별하는 것입니다. 이러한 요소는 숫자나 날짜와 같은 간단한 항목에서부터 주소와 공항 이름과 같은 복잡한 항목은 물론 제품 카테고리와 같은 사용자 정의 도메인일 수 있습니다. 기본적으로 Kore.ai 플랫폼은 20개 이상의 시스템 엔티티의 식별과 추출을 지원합니다.
Kore.ai의 다중 NLP 엔진 접근법
Kore.ai는 사용자 의도를 이해하기 위해 고유한 하이브리드 접근 방법을 사용합니다. 기계 학습 모델 기반 엔진, 시멘틱 규칙 기반 모델, 도메인 분류법 및 온톨로지 기반 모델을 사용합니다. 이러한 접근 방식으로 가상 비서는 사용자 입력을 높은 정확도로 이해할 수 있을 뿐만 아니라 복잡한 인간의 대화를 지능적으로 처리할 수 있습니다.
심층 신경망
기계 학습(ML) 엔진은 통계 모델링과 deep neural network을 사용하여 의도에 해당되는 샘플 문장에서 의도 예측 모델을 학습합니다.
ML 모델은 각 봇 작업에 대한 학습용 발화를 평가하고 다음 사분면 중 하나에 표시합니다. True Positive (True +ve), True Negative (True -ve), False Positive (False +ve), False Negative (False -ve).
주요 특징:- N-Gram, 엔티티 마킹, 표제어 추출, 불용어 제거, 동의어 등 심층 신경망 기반 텍스트 분류 알고리즘 사용
- 개체명 인식(NER) 및 추출을 위해 조건부 랜덤 필드를 사용하고 선택적으로 심층 신경망 기반 NER도 사용 가능
- 각 의도와 엔티티의 샘플 발화를 사용하여 학습함
- 봇 성능을 모니터링하고 필요에 따라 수동으로 조정하기 위한 지도 학습 지원
- 시각화 및 미세 조정을 통해 최상의 결과 획득
- 사용자 대화에서 나온 발화를 자동으로 학습 가능
- 커스터마이즈 가능한 기계 학습 파이프 라인
- 의도, 플로우, 드롭 아웃 등의 사용량 분석 수행을 위해 비지도 ML 지원
기초 의미 엔진
Fundamental Meaning(FM) 모델은 품사와 내장형 개념을 고려하여 사용자 발화에서 각 단어를 식별하고 가상 비서가 수행할 수 있는 의도와 연결합니다. 이 모델은 사용자 발화에서 각 단어의 기준 버전을 사용하여 입력 형식을 생성합니다.
주요 특징:- 시멘틱 규칙(sementic rule)과 언어 문맥을 이용하여 의도 일치성을 결정하는 결정 모델
- 동의어, 내장된 커스텀 개념과 패턴을 사용하여 학습 가능
- 다음과 같은 다양한 시멘틱 규칙(sementic rule)을 사용하여 스코어링
- 문법
- 품사
- 단어 일치, 작용 범위, 단어 위치
- 문장 구조
온톨로지 기반 지식 그래프 엔진
Knowledge Graph(KG) 모델은 주요 도메인 용어의 계층 구조를 만들고 그것을 상황에 맞는 질문 및 그 대체어, 동의어, 기계 학습 가능 클래스와 연관 짓습니다.
특징:- 자주 묻는 질문(FAQ) 텍스트를 지능형, 개인화된 대화 경험으로 변환
- 도메인 용어 및 연관성 사용
- 많은 학습이 필요하지 않음
- 필수 항목으로 표시된 용어의 단어 중요도 설정 및 긍정 오류(false positive) 감소
- ML이 혼란스러워질 때마다 온톨로지 가중치 기능 활성화
- 적절한 답변을 결정하기 위한 자동 대화형 상자
순위 및 해결: 최적 의도 파악 방법
Kore.ai 플랫폼의 순위 및 해결 엔진은 사용자 발화에 따라 최상의 의도를 결정하는 데 사용됩니다. 순위 및 해결에 따라 엔진 간의 최적 의도를 파악합니다.
특징:- 모든 모델의 점수에 따라 가능한 최적의 의도 일치 결정
- 각 엔진에서 확실한 매치와 가능한 매치가 서로 우선 순위가 정해집니다.
- 결론이 나지 않은 매치의 경우, 모호성 해소 대화 상자가 시작됩니다.
NLP를 통한 대화형 인텔리전스
인간의 대화는 결코 단순하고 명쾌하지 않습니다. 컨텍스트는 현재 입력에서 사람이 말하고자 하는 바를 이해하는 핵심입니다. 자연어 이해(NLU) 엔진은 의도와 엔티티 파악에 도움이 되지만 주어진 맥락에서 올바른 의도와 엔티티를 선택하는 것이 가상 비서가 대화를 처리하는 방식의 핵심입니다. Kore.ai의 다중 NLP 엔진 접근법으로 가상 비서는 복잡한 대화에 대응할 수 있습니다.
대화 관리
가상 비서는 중단, 여러 요청, 엔터티 수정 및 설명 등을 포함하여 인간의 대화와 관련된 모든 뉘앙스를 처리합니다.
문맥 인식
가상 비서는 단기 및 장기 기억을 유지하여 대화를 생산적으로 만들고 인간이 하는 방식과 유사한 대화에서 의도를 전환할 수 있습니다.
정서 분석
가상 비서는 사용자의 정서(sentiment)를 분석하고 사람에게 전달하거나 답변의 스타일을 수정하는것과 같은 다음 단계의 행위를 결정합니다.
Kore.ai 다중 NLP 엔진 사용 장점
각 엔진에는 많은 특별한 기능이 있지만 한계점도 가지고 있습니다. Kore.ai의 독자적인 NLP 기술은 각 NLP 모델의 약점을 극복했습니다. 세 개의 엔진은 서로 다른 관점에서 서로를 보완합니다. 의도를 정확하게 파악하기 위해 각 결과는 서로 연관되어 해결됩니다. 이 방법은 Kore.ai의 독자적인 것으로 대부분의 다른 솔루션은 하나의 엔진에 의존하고 있습니다.
| 기능 | ML 엔진 전용 | FM 엔진 전용 | KG 엔진 전용 | 다중 엔진 접근법(Kore.ai) |
|---|---|---|---|---|
| 사용자 발화에 기반한 학습 | ||||
| 작업(task) 이름과 패턴을 사용한 학습 최소화 | ||||
| 동의어 사용 | ||||
| 표준형 사용 | ||||
| 문법과 품사의 사용 | ||||
| 도메인 용어 우선 순위 및 관계성에 따른 판단 |
Kore.ai 다중 NLP 엔진 사용 장점
각 엔진에는 많은 특징적인 기능이 있지만 각각 한계가 있습니다. Kore.ai의 독자적인 NLP 기술은 각 NLP 모델의 약점을 극복했습니다. 세 개의 엔진은 서로 다른 관점에서 서로를 보완합니다. 의도를 정확하게 파악하기 위해 각 결과는 서로 연관되어 해결됩니다. 이 방법은 Kore.ai의 독자적인 것으로 대부분의 다른 솔루션은 하나에 의존하고 있습니다.
