중복 뉴스 제거

아래는 오리엔트정공을 검색하면 왜 상승했는지를 보여주는 뉴스들이다. 다만 여기서 중요한 점은 2024-12-09일의 상승 이유는 탄핵, 이재명 관련해서 올랐던 것으로 요약될 수 있지만, 모든 뉴스를 분석해서 관련있다고 생각되는 뉴스들을 모두 화면에 보여주니깐 중복된 내용이 많아 사용자들이 피포감을 느낄 수 있다.

next-stock

 

따라서 이러한 주식들을 필터링할 수 있는 방법이 필요하다.

 

 

## 방법들 설명

처음 생각한 방법은 아래와 같다.

뉴스 타이틀들의 편집 거리를 비교해서 비슷한 내용인지 판단할 수 있을 것이다. 하지만 얼마의 거리로 해야 같다고 할 수 있는지 알 수 없고, 내용은 같지만 제목이 완전히 달라지는 경우가 있다. 예를들면 

 

 

두 번쨰 방법은 

예정된 이벤트 일자가 같은 경우에는 같은 뉴스로 판단될 수 있을 것이다. 다만 이 방법의 가장 강력한 단점은 이벤트 일자가 없다면 모두 다른 뉴스로 취급되는 점이다.

 

 

따라서 가장 좋은 방법은 공통의 주제를 추출하는 방법인데 그게 테마를 뽑는 것이다