반응형
반응형

"사람들은 당신이 무슨 말을 했는지, 무슨 일을 했는지 기억하지 못할 것이다. 그러나 당신이 그들에게 어떤 감정을 느끼게 했는지 기억할 것이다."
I've learned that people will forget what you said, people will forget what you did, but people will never forget how you made them feel.

미국의 시인 마야 안젤루 Maya Angelou

반응형
반응형
캐나다 알버타대 연구진이 최근 ‘인공 신경망’의 한계를 극복하는 방안을 제안하는 논문을 네이처에 발표했습니다. 연구 결과보다 논문에서 정리한 인공 신경망의 한계 부분이 더 눈길을 끌었는데요, 이를 짧게 정리해 보겠습니다.  

‘신경망’이라는 단어 들어보셨죠? 인간의 두뇌에서 영감을 얻은 일종의 시스템인데요, LLM이 이러한 신경망을 기반으로 구축됐습니다. 신경망은 마치 뇌의 ‘뉴런’이 연결된 것처럼 입력된 데이터를 여러 단계를 거쳐 가중치를 기반으로 답을 내놓는 방식입니다. 뉴런 간의 연결이 탄탄하고 많을수록 뇌 기능이 뛰어나다고 하듯이, 신경망 또한 마찬가지입니다. 

신경망에는 입력과 출력 사이에 ‘은닉층’이라는 것이 있는데요, 이곳에서 많은 데이터를 학습하고 계산을 열심히 할수록 좋은 데이터가 나옵니다. 물론 이는 단순화한 설명입니다. 너무 많은 정보를 한 번에 공부하면 뇌에 과부하가 오듯이 은닉층을 늘리기만 하면 오히려 계산이 느려질 수 있다고 해요. 

신경망, 정확히 얘기하면 인공 신경망은 이후 머신러닝 분야에서 활발히 적용되고 있습니다. 신경망이 가진 한계도 있습니다. 뇌를 본떴다고는 하지만 생물학적인 뇌와 기계적인 신경망이 같을 리 없는데요, 특히 지속 학습 과정에서 신경망이 가진 단점이 보고되고 있어요. 

인간은 이전에 습득한 정보, 지식을 지우지 않고도 새로운 정보에 효과적으로 적응하고 대응할 수 있습니다. 생물체의 신경망은 과거의 데이터를 기억하는 능력, 즉 ‘안정성’과 새로운 개념을 학습하는 능력, ‘가소성’ 사이에서 균형을 찾으면서 학습해 갑니다. 
 
하지만 인공 신경망은 새로운 과제를 학습해야 하는 상황에 직면했을 때 이전에 학습했던 능력을 상실하는 ‘치명적 망각(catastrophic forgetting)’에 취약하다고 해요. 심지어 심할 경우 신경망 자체가 학습 능력을 잃어버린다고 합니다. 

알버타대학 연구진의 비유를 볼게요. ‘퐁(Pong)’이라 불리는 비디오게임이 있습니다. 마치 탁구를 하듯 양쪽에서 공을 주고받는 게임인데요, 퐁에서 좋은 성적을 내도록 신경망을 학습시킨 뒤 비행기 게임 ‘갤러그’를 학습시키면 퐁에서의 점수가 크게 하락합니다. 새롭게 학습하는 게임이 많아질수록 처음 학습한 게임 방법을 거의 잃어버리게 됩니다.
반응형
반응형

인도의 출산율이
전반적으로 하락한 까닭은
경제 발전, 여성 문해율 상승, 도시화 등의
일반적인 원인 때문이기도 하지만 정부가 강압적인
인구 억제를 조장한 점도 작용했다. 인도는 세계 최초로
가족계획을 공공 정책의 일환으로 추진한 나라였다.
법적인 혼인 연령을 상향 조정했을 뿐만 아니라
1970년대에 인디라 간디 총리와 아들 산자이
간디의 집권기에는 자발적인 불임수술을
권장하는 캠페인이 시행되는 등
도를 넘어서기도 했다.


- 폴 몰런드의 《인구가 바꾼 역동의 세계사》 중에서 -


* 멀리 인도뿐 아니라 우리나라도 그랬습니다.
"둘만 낳아 잘 기르자.", "한 자녀 갖기"는 물론이고
정관수술을 하면 예비군 훈련을 빼주기도 했습니다.
심지어 '한 집 걸러 한 자녀 갖기'라는 우스갯소리도
있었습니다. 태아 성별 검사로 소리 없이 사라지는
낙태된 여아들도 많았습니다. 기억에도 생생한
멀지 않은 과거 이야기입니다.

반응형

'생활의 발견 > 아침편지' 카테고리의 다른 글

기다리는 마음  (0) 2024.07.01
낌새. 느낌이 온다  (0) 2024.07.01
흥행이 잘 되는 연극  (0) 2024.06.27
신체 접촉, 장년층에 더 좋다  (0) 2024.06.26
내면의 평온함을 유지하는 방법  (0) 2024.06.25
반응형

첫사랑 소녀는 울고 있다
술래가 끝난 지 오래되었는데
울음이 그치질 않는다
그는 돌아올까
다시 만날 수 있을까


- 김남권의 시집 《당신이 따뜻해서 봄이 왔습니다》에 실린
  시 〈무궁화 꽃이 피었습니다〉 전문 -

* 첫사랑의 기억은 영원합니다.
마치 영혼에 각인된 것처럼 죽음을 앞둔
시점에서도 사라지지 않습니다. 그 기억은 달지만
때때로 쓰라리기도 합니다. 내 안의 아이가 슬퍼하고,
두려워하고, 울고 있듯이, 첫사랑 소녀의 기억도
그렇게 남아 있습니다.

반응형

'생활의 발견 > 아침편지' 카테고리의 다른 글

우리가 '질병'이라 부르는 것의 본질  (0) 2024.05.08
다 타서 재가 될지라도  (0) 2024.05.07
한숨  (0) 2024.05.07
색종이 접는 기술  (0) 2024.05.03
시골 아낙들의 '자기 밭'  (0) 2024.05.02
반응형

나무는 이별하는 법을 배울 때
나이테를 만든다

세상의 이별이란 모두 슬퍼
어떻게 이별하는 것이 덜 아플지
속 깊이 염려할 때
나무는 사랑을 배운다

이별하지 않으면 안 될 때
나무는
사랑한 기억의 무늬 한 겹을
가슴에 새겨 넣는 것이다


- 권효진의 시집 《카덴자의 노래》에 실린
  시 〈나이테〉 전문 -


* 모든 역사는 반복됩니다.
그러나 단순한 반복이 아니라 동심원을 그리며
자라납니다. 나무도 작은 원에서부터 한 겹 한 겹
바깥으로 커갑니다. 해마다 하나씩 어김없이
나이테를 만듭니다. 사랑의 기억, 아픔의
기억들을 삼키며 아름다운
동그라미를 그립니다.

반응형

'생활의 발견 > 아침편지' 카테고리의 다른 글

다툼 - 사랑의 그림자  (0) 2023.11.20
'어른 아이' 모차르트  (0) 2023.11.17
마음의 고요를 보석으로 만드는 길  (0) 2023.11.15
슬프면 노래하고 기뻐도 노래하고  (0) 2023.11.14
가을 들판  (0) 2023.11.13
반응형

두려워 마라.
베이비 루스는 홈런왕이자 삼진왕이기도 했다는 사실을 기억하라.
성공하려면 울타리 너머로 공을 날려 보내야 한다.
세상은 삼진왕이 아니라 홈런왕을 기억할 뿐이다.
위험을 무릅쓰지 않는 삶이야말로 가장 위험한 삶이다.
툭툭 털고 일어나 두 배로 노력해야 한다는 결심이 서지 않는다면
당신은 실패조차 못해 본 사람이다.
- 스티브 케이스, 레볼루션 LLC CEO


두려움에 맞서려면 실패를 축하하는 법을 배워야 합니다.
안전지대에 머무른다면 거절당할 일이 없습니다.
도전하지 않으니 실패할 일도 없는 셈입니다.
실패할 가능성이 있는 일을 할 용기가 있다는 것만으로도 축하 받을 자격이 있습니다.
시도만으로도 이미 무언가를 이룬 것이나 다름없습니다.

반응형

'생활의 발견 > 행복한 경영' 카테고리의 다른 글

인생이란 장애물 경기다  (0) 2023.07.19
승자의 강점  (0) 2023.07.18
자기 걸음으로 자기 길을 걸어라  (0) 2023.07.14
생각하는 대로 이뤄진다  (0) 2023.07.13
일과 사랑의 공통점  (0) 2023.07.12

+ Recent posts