머신 러닝은 빅토리아 시대의 에이다 러브레이스라는 최초의 기계적 범용 컴퓨터인 해석 기관을 발명한 찰스 배비지의 친구이자 동료였습니다. 선견지명이 있어 시대를 많이 앞섰지만,
1830년대와 1840년대부터 해석 기관이 범용 컴퓨터로 설계된 것은 아닙니다.
단지 해석학 (Mathmetical analysis) 분야의 계산을 자동화하기 위해 기계적인 연산을 사용하는 방법이었을 뿐입니다.
아무튼, 그래서 그것의 이름은 해석 기관이었고, 1843년 에이다 러브레이스는 이 발명에 대해 다음과 같이 언급하였습니다. "해석 기관이 무언가를 새롭게 고안해내는 것은 아니지만, 우리가 어떤 것을 작동시키기 위해, 어떻게 명령할지 안다면, 이 장치는 무엇이든지 할 수 있습니다. 이러한 능력은 우리가 이미 알고 있는 것을 유용하게 사용할 수 있도록 도와줄 것입니다."
AI 분야의 선구자인 앨런 튜링(Alan Turing)은 1950년에 튜링 테스트(Turing Test) 와 AI의 주요 개념을 소개한 그의 기념비적인 논문 "Computing Machinery and Intelligence" 에서 '러브레이스'의 반론으로 이 논평을 인용하였습니다.
튜링은 에이다 러브레이스의 말을 인용했지만 범용 컴퓨터가 학습과 창의력을 가질 수 있는지 숙고한 후 가능한 일이라고 결론을 냈습니다.
머신 러닝은 이런 질문에서부터 시작됩니다. "우리가 어떤 것을 작동시키기 위해 '어떻게 명령할지 알고 있는 것" 이상을 컴퓨터가 처리하는 것이 가능한가? 그리고 특정 작업을 수행하는 법을 스스로 컴퓨터가 학습할 수 있는가?"
"컴퓨터가 우리를 놀라게 할 수 있을까? 프로그래머가 직접 만든 데이터 처리 규칙 대신, 컴퓨터가 데이터를 보고 자동으로 이런 규칙을 학습할 수 있을까?"
이러한 튜링의 질문들은 새로운 프로그래밍 패러다임의 장을 열었습니다. 전통적인 프로그래밍인 심볼릭 AI의 패러다임에서는 규칙(프로그램)과 이 규칙에 따라 처리될 데이터를 입력하면 해답이 출력됩니다. 머신 러닝에서는 데이터와 이 데이터로부터 기대되는 해답을 입력하면, 규칙이 출력됩니다.
따라서 이 규칙을 새로운 데이터에 적용하여 창의적인 답을 만들 수 있다.
* 전통적인 프로그래밍은 규칙과 데이터를 미리 도입하여 해답을 만들어냅니다.
* 하지만 머신 러닝은 데이터와 해답을 도입하고 규칙을 만들어냅니다.
따라서 머신 러닝 시스템이란, 명시적으로 프로그램되는 것이 아닌, 훈련 (Traning) 이 되는 것입니다.
작업과 관련 있는 많은 샘플을 제공하게 되면, 이 데이터에서 통계적 구조를 찾아 그 작업을 자동화하기 위한 규칙을 만들어낸다는 거죠.
따라서 기존의 심볼릭 AI, 즉 많은 프로그램을 만드는 사람들이 정해진 규칙과 데이터를 넣어 결과를 창출하는 방식이랑 다르다 이겁니다.
따라서, 예를 들어보자면, 여행 사진을 태깅하는 일을 자동화하고 싶을 때, 사람이 이미 태그해놓은 다수의 사진 샘플을 시스템에 제공해서, 특정 사진에 태그를 연관시키기 위한 통계적 규칙을 학습할 수 있을 것입니다.
머신 러닝은 1900년대에 들어와서야 각광을 받기 시작했지만, 고성능 하드웨어와 대량의 데이터셋이 가능해지면서 금방 인공지능 분야에서 가장 인기 있고 성공적인 분야가 되었습니다.
머신 러닝은 수리 통게와 밀접하게 관련되어 있지만 통계와 다른 점이 몇가지 있습니다.
먼저 머신 러닝은 통계와 달리 보통 대량의 복잡한 데이터셋을 다루기 때문에 베이지안 분석 (Bayeian analysis) 같은 전통적인 통계 분석 방법은 현실적으로 적용하기 힘듭니다.
따라서, 머신 러닝,특히 딥러닝은 수학적 이론이 비교적 부족하고, 이런 실천적인 접근 방식 때문에, 이론보다는 경험을 바탕으로 아이디어가 증명되는 경우가 많습니다.