가장 중요한 것

가로등 아래에서 엎드려 있는 한 남자의 이야기를 들어보신 적 있나요? 그 사람의 친구가 그 모습을 보게 되었습니다.

"뭐하고 있어?"

“열쇠 찾고 있어”

“어디에 떨어뜨린 거야?”

“저기 담장에.”

“그럼 왜 여기서 찾고 있는 거야?”

“여기 불빛이 있거든.”

우리는 당연하게도 몇 분 몇 시간 내에 가시적인 진전을 이룰 수 있는 문제에 이끌립니다. 식별할 수 있는 진전이 며칠 또는 몇 주가 걸릴 경우, 동기 부여를 유지하는 것이 어렵습니다. 큰 문제를 해결하기 위한 일반적인 전략은 큰 문제를 작은 문제로 나누는 것입니다. 그리면 다시 단기 보상 상황으로 돌아갈 수 있고, 모든 것이 괜찮아질 겁니다.

이 번형에서 뭔가를 잃어버릴 수 있다는 것만 제외하면 말이죠. 단기 진전은 여러분의 더 큰 목표를 달성하는 데 있어서 결국 유해무익할 수 있습니다. “달에 도달하기 위해 사다리를 오르는 것”은 고전적인 예시입니다. 4등분 한 목표에 대해서 훌륭한 진전을 보일 수 있습니다. 사다리의 디딤대가 끝나기 전까지는 말이죠.

머신러닝 연구에서는 오직 벤치마크 데이터세트를 가지고 작업하는 형태를 취할 수 있습니다. 저희는 활성화 함수(activation functions)를 수정하고, 옵티마이저(optimizer)를 실험하며, 소수의 데이터 세트에 대한 작은 개선을 위한 아키텍처 탐색에 전체 커리어를 보낼 수 있습니다. 유기적 환경(“in production”으로 알려진)에서 머신러닝의 제약은 성가신 일이 될 수 있습니다. 유통되지 않는 샘플, 데이터 품질 및 비정상성(non-stationarity) (시간이 지남에 따라 진화하는 데이터 특성)에 대한 견고성은 측정하기는 힘들지만, 머신 러닝을 사용하여 스팸을 차단하거나 차량 운전을 하려는 사람들에게는 아주 중요합니다. 이러한 것들을 무시하는 것은 위에서 말한 불빛이 있는 곳을 보는 것과 같은 사례입니다.

이러한 문제에서 여러분 스스로를 보호하는 방법은 바로 구체적인 문제를 해결하는 것입니다. 목표를 염두에 두시기 바랍니다. 10살짜리 어린아이들이 가득한 곳에서 쉽게 설명할 수 있다 같은 것 말입니다. 이것이 바로 가장 중요한 것입니다. 실속 있는 연구 기여를 보장하는 한가지 기묘한 트릭입니다. 이는 빈곤 퇴치나 대통일이론(Grand Unified Theory)과 같이 거창한 목표가 아니라도 괜찮습니다. 여러분 지역의 홍수 수준 예측이나 벌새가 여러분의 뒷마당 모이통에 찾아오는 시기를 감지하는 것과 같이 구체적이기만 하면 됩니다.

여러분의 목표도 일생의 탐구일 필요는 없습니다. 원하시는 만큼 언제든 바꾸실 수 있습니다. 머신러닝과 같이 미숙한 분야에 대해서 배운다는 것은 시행착오를 통해 탐험할 수 있는 황무지가 많다는 것을 의미합니다. 막다른 길에 부딪쳤을 때, 또는 여러분의 목표가 더 이상 여러분의 호기심을 자극하지 않을 때 목표의 방향을 변경해도 잃을 것은 하나도 없습니다. 방향을 잡는 것이 가장 중요합니다.

구체적인 문제를 다룰 때의 단점은 구체적인 문제에 대해서 학습해야 한다는 것입니다. 물리적 세계는 절망적일 정도로 골치 아픕니다. 지식은 편향되어 있고, 우리가 알 수 있는 것에는 한계가 있습니다. 심지어 정답 값(ground truth)의 개념은 원래의 의미를 잃었으며, 레이블(label)은 오류를 포함하고 있으며, 종종 우리가 찾는 범주가 아닙니다. 반면에, 여러분을 앞서나가게 해 줄 우리가 활용할 수 있는 잘 특정된 패턴과 작업에 활용할 수 있는 특정 분야의 지식이 있습니다. 알려진 것과 알려지지 않은 것, 그리고 그 사이에 있는 것을 이해하는 데에는 많은 시간과 노력이 필요할 수 있습니다. 몇몇 사람들이 이러한 복잡성을 제쳐두고 잘 정의된 벤치마크 작업을 수행하려고 하는 것은 이해할 만한 부분입니다.

구체적인 문제를 해결하면 마음이 놓일 수 있습니다. 벤치마크 중심의 방법 연구는 유용합니다. 하지만 상당히 붐비는 분야입니다. 작업할 더 많은 공간을 원하신다면, 애플리케이션을 선택하세요. 문제는 아무도 시도하지 않은 새로운 아이디어를 생각해내는 것이 아니라, 여러분이 시도하고 싶은 다음 100가지 아이디어 중에서 선택하는 것입니다. 공간은 거대합니다. 이미지를 분류하고 텍스트 스트림에서 다음 단어를 예측하는 것은 두 가지 문제일 뿐입니다. 이 외에도 수백만 개의 다른 문제들이 있습니다. 기술적 수준을 발전시키고 싶다면, 해결할 문제를 선택하세요. 머지않아 인간 지식의 한계에 도달하게 되지만, 계속 노력하신다면 이 한계를 넓혀갈 것입니다.

“열쇠”를 찾으려고 한다는 것을 명심하시기 바랍니다. 여러분은 지금 달에 도달하기 위해 노력하고 있습니다. 이것이 가장 중요한 것입니다.