by Wizard

오픈소스 검색 엔진의 새로운 강자, 오픈서치(OpenSearch): 단순한 파생 버전을 넘어 혁신적인 엔진으로

오픈소스 소프트웨어의 인기가 높아짐과 동시에, 그 논쟁 또한 끊이지 않고 있습니다. 특히 클라우드 서비스 형태로 오픈소스를 제공하는 기업들이 경쟁하면서 라이선스 정책 변경, 파생 버전 개발 등 혼란이 가중되고 있습니다. 하지만 이러한 혼란 속에서도 오픈서치(OpenSearch)와 같이 성공적인 사례가 등장하고 있습니다. 일래스틱서치(Elasticsearch)의 라이선스 변경으로 시작된 오픈서치는 이제 단순한 파생 버전을 넘어 엔터프라이즈 검색 분야에서 혁신적인 검색 엔진으로 자리매김하고 있습니다.

오픈서치의 탄생 배경: 라이선스 변경과 AWS의 대응

2021년, 일래스틱은 일래스틱서치와 키바나(Kibana)의 라이선스를 아파치 라이선스(ALv2)에서 SSPL(Server Side Public License)과 일래스틱 라이선스(ELv2)로 변경했습니다. 이는 AWS와 같은 클라우드 서비스 업체가 일래스틱서치를 기반으로 수익을 얻는 것을 막기 위한 조치였습니다. 이에 AWS는 즉각적으로 대응하여 일래스틱서치 7.10.2의 파생 버전을 만들고, 오픈서치 프로젝트를 시작했습니다. AWS는 일래스틱의 독점 코드를 제거하고 아파치 라이선스에 따라 오픈서치를 오픈소스로 공개했습니다.

AWS의 과감한 투자와 커뮤니티 중심의 성장

당시 AWS는 커뮤니티 중심의 프로젝트 운영 경험이 부족했기에 오픈서치의 성공 가능성에 대한 의문이 많았습니다. 그러나 AWS는 오픈소스에 대한 투자를 아끼지 않았고, 오픈서치는 커뮤니티를 확장하며 초기 고객을 확보하는 데 성공했습니다. 특히 2024년에는 오픈서치 프로젝트를 리눅스 재단으로 이전하고 오픈서치 소프트웨어 재단을 설립하면서 오픈소스에 대한 진정성을 보여주었습니다. 이는 AWS가 프로젝트를 통제할 것이라는 우려를 해소하고, 더 많은 기여자를 유치하는 데 기여했습니다.

강력한 거버넌스와 활발한 커뮤니티 활동

오픈서치는 리눅스 재단으로 이전하면서 SAP, 우버, 오라클, 바이트댄스 등 다양한 기업의 대표들이 기술 운영 위원회에 참여하게 되었습니다. 현재 오픈서치는 1,400명 이상의 고유 기여자, 수백 명의 유지 관리자, 100개 이상의 깃허브 리포지토리를 보유하고 있습니다. 특히 AWS 외부에서의 기여 및 유지 관리자 비율이 크게 증가하면서 진정한 다양성을 확보하고 있습니다.

지속적인 개선과 혁신적인 기능 추가

오픈서치는 공개 로드맵을 기반으로 AI/벡터 검색 및 가시성 분야에서 적극적인 개발을 추진하고 있습니다. 벡터 유사성 검색, 키워드와 의미론적 방법을 결합한 하이브리드 검색, 내장된 신경망 검색 기능 등을 추가하면서 사용자 요구에 부응하고 있습니다. 또한 페이스북 FAISS와의 통합, SIMD 하드웨어 가속화, 벡터 양자화 등을 통해 성능과 확장성을 획기적으로 개선했습니다. 쿼리 속도는 초기 버전보다 최대 6배까지 향상되었고, 세그먼트 복제와 같은 새 기능은 데이터 인제스트 처리량을 약 25% 증가시켰습니다.

엔터프라이즈 시장에서의 입지 강화

오픈서치는 기업 시장에서 입지를 확대하고 있습니다. 누적 다운로드 수는 3억 건을 넘어섰으며, 라인, 코세라(Coursera), 피델리티 인베스트먼트, 워너 브라더스 등 다양한 기업에서 사용되고 있습니다. 또한 리눅스 재단의 보고서에 따르면, 설문조사에 참여한 사용자의 46%가 오픈서치를 매니지드 서비스로 실행하고 있습니다.

일래스틱서치와의 경쟁과 미래 전망

오픈서치는 일래스틱서치와의 끊임없는 비교라는 과제에 직면해 있습니다. 벤치마크 테스트 결과에 따르면, 오픈서치가 일부 워크로드에서 더 빠른 성능을 보이기도 하지만, 실제 결과는 다를 수 있습니다. 2024년 말, 일래스틱은 AGPLv3 라이선스 옵션을 추가하면서 오픈소스로 복귀했습니다. 이제 오픈서치는 일래스틱서치와의 경쟁을 넘어 차세대 워크로드에 초점을 맞춰 스스로 정체성을 구축해야 합니다. 개방형 거버넌스와 관대한 라이선스를 바탕으로 일래스틱서치보다 우수한 검색 시스템을 구축하는 생태계를 조성하는 것이 오픈서치의 가장 큰 도전 과제입니다.