Pseudorandom Things

서핑하다가 찾게된 김종민 개발자/디자이너의 사이트에서 리온산스라는 코드로 만든 폰트를 보게되었다. 아래 유튜브의 앞부분을 보거나, 깃헙에 있는 예시들이나 예시사이트를 보면 감이 바로 온다.

폰트를 특정한 점들의 자취(예를 들어 두 선분 위의 일정한 속도로 움직이는 점들의 중점이라던가)로 해석하고, 이를 이용해 직접 폰트를 완성하는 과정을 그리거나 효과를 주고, 서로 다른 글자들을 왔다갔다하는 것도 가능하게 만든듯. 아이디어가 되게 간단한데 결과가 엄청 멋있다! 폰트 만드는게 엄청 노가다라고 하던데, 더욱 더 엄청난 노가다가 필요했을듯. 예시페이지에 들어가서 직접 이것저것 해볼수 있는데, 한글은 너무 힘들어서인지 포함되어있진 않은듯하다.

작가분의 개인사이트 About을 보면 여러 작품들이 있는데, 와, 멋지다는 생각밖에 안든다. 재능러이신듯 ㅋㅋㅋ

마천루에 관한 얘기를 찾다보니 작년 말 공사가 시작되고, 2023년 완공과 개장이 예정인 청라시티타워, 혹은 영어명 Tower Infinity에 대해 듣게되었다. 이 타워는 굉장히 특이한 점들이 있는데,

• 우선 투명화가 된다고 한다 -_-!!! 위키백과의 설명에 따르면 타워 여섯면에 고화질 카메라를 이용하여 촬영하고 처리하여 반대쪽 LED스크린에 재생하는 방식인 모양. 들었을때는 굉장히 단순한 방식인데, 직접 봤을 때 얼마나 잘 작동할지는 약간 의문.

• 450m의 거대한 높이에도 불구하고 28층정도밖에 없을거라고 한다. 그럼 어떤 층은 20m쯤은 된다는 건가? 당장 내가 있는 건물보다 높을거같다 -_-.
• 위와 연계하여, 매일경제에 따르면 중층부에 “수직형 테마파크”라는 콘셉트로 타워슬라이드나 알파인코스터 등의 수직하강형 라이드들을 넣을 계획이라고 한다. 건물안에 이런것들을 넣는게 가능한가??? 별로 격렬하지 않은거겠지?
• 비슷하게 200m쯤에 세계 최고높이의 스타벅스를 입정시킬 예쩡이라고 한다. 그리고 자잘하게 초고층 빌딩이며 오피스가 하나도 없는 최초의 건물이고, 높이로는 세계 여섯번째라고 한다.

예전 도쿄 스카이트리를 갔을때는 사실 별 감흥이 없었는데, 이건 한국에 생길예정이니 한번 가봐야겠다. 앗 근데 스카이트리도 30여층밖에 안되는군 -_- 몇몇 전망대들의 특징일수도 있겠다.

트럼프가 결국 미국의 비-이민 비자 (H-1B, H-2B, J, L)을 통한 입국을 올해 연말까지 중단한다는 결정을 내렸다는 소식. COVID-19사태를 언급하는데, 이게 강한 이유인지는 신뢰가 가지 않는다. 이전부터 루머는 한참 돌았던 것 같은데, 최초 소문이 언젠지는 모르겠지만 5월에 이를 언급한 기사도 있다.

유학 비자 F-1이 안막혔다는게 학생들에게는 다행이겠지만, 트럼프의 이 결정으로 인한 여파가 어느정도일지 상상이 가지 않는다 -_-… 지난 2008년 경제위기때는 오바마가 대학에 지원을 많이 해서 취직하지 못한 사람들이 대학원에 머물러서 어떻게든 다 해결되었다는 썰을 들은적이 있는데, 트럼프는 대학도 아주 싫어하는것 같아서 걱정이네. 이론물리학자 미치오 카쿠(Michio Kaku)가 아래 유튜브 영상에서 주장했던 것처럼, 나도 미국은 유학생들의 능력을 바탕으로 성장하는 나라라고 생각하는데 트럼프는 전혀 그렇게 생각하지 않나보다. 미래가 어떻게 될지 걱정.

2020/7/7 추가: 미국의 비이민자 대학원생이 풀타임 온라인으로 진행되는 학교에 등록한 경우 당장 나가라는 미국 정부의 결정이 났다는 소식. 혹은 다른 학교로 트랜스퍼하면 된다는데 그게 쉽냐..

6월 22일 오후 추가: SimCLR의 저자인 Ting Chen이라고 주장하는 사람의 레딧의 새로운 코멘트(tingchenbot)에 따르면 논문에서는 SimCLR의 아키텍쳐등에 대한 Novelty에 대한 주장을 한적이 없다고 한다. 그리고 그 결과의 원인이 강력한 컴퓨팅 파워뿐만이 아니라고 주장하기도 하네. 하지만 아래 다른 코멘트에서 언급하듯이, 저자들이 홍보수단으로 쓴 구글 블로그 글에서

“However, current self-supervised techniques for image data are complex, requiring significant modifications to the architecture or the training procedure, and have not seen widespread adoption.”

라고 언급한 점이나, 논문에서 찾아볼 수 있듯이

By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet.

이나

Not only does SimCLR outperform previous work (Figure 1), but it is also simpler, requiring neither specialized architectures (Bachman et al., 2019; Hénaff et al., 2019) nor a memory bank (Wu et al., 2018; Tian et al., 2019; He et al., 2019; Misra & van der Maaten, 2019).

처럼 언급하는 점에서는 해당 아키텍쳐등에서 노벨티가 없다고 말하지 않음을 통해 노벨티를 함의하는 것으로 보인다. 그냥 While most of our architectures are from the literature 같은 문장으로 첨언만 해주었으면 충분할거같은데… 이런 부분은 항상 논문에서 명확하게 밝혀야 한다고 생각하는데, 논문의 억셉을 위해 자주 숨기는 부분이기도 한듯 -_-..

---

학술지나 학회에서 리뷰과정에서 리뷰어와 논문 저자가 서로를 모르는 상태에서 리뷰를 진행하는 것을 더블 블라인드 리뷰라고 한다. 그런데 인터넷에서 연구결과를 공유/광고하는게 활성화된 상태에서는 이 블라인드가 잘 작동하지 않는다는 (친구의 페이스북에 공유된) 레딧의 글.

특히 이 논의는 머신러닝과 NeurIPS에 관해 집중하여 논의되고 있다. 코멘트에서 문제로 드는 예시는 여러 트위터의 광고성 글이 언급되는데, 특히 구글 브레인에서 발표한, 2018년 튜링상을 받은 제프리 힌튼이 참여한 SimCLR이라는 논문이 2019년 CVPR의 Mang Ye 등이 발표한 결과와 사실상 같다는 충격적인 논의도 진행된다. 코멘트를 든 사람들에 따르면 두 논문의 본질적 차이는 개인이 재현하기 힘든 강력한 컴퓨팅 파워에 기인한 것이며, SimCLR 논문에 2019년 CVPR논문과 비교를 하긴 하는데 그 비교가 사실상 허울에 불과하고, 심지어 일부 비교는 코드를 확인해보니 틀렸다는 지적마저도 나타난다. 게다가 그 비교도 서플리멘터리 맨 마지막 문단에야 나온다는…. 사실인지 믿기 힘들정도의 지적. 이건 광고만의 문제가 아닌것같다 -_-… SimCLR은 2020년 2월에 나왔는데 벌써 (구글 스콜라 기준) 64번 인용되었고, Mang Ye의 논문은 한참되었는데 이제 33번 인용.

충격적일 정도다 ㅋㅋㅋ 머신러닝학회가 논문 제출이 너무 많아 리뷰과정 자체가 잘 안돌아가긴 한다는 말을 듣긴 했는데.. 예를 들어 작년 NeurIPS 2019는 6743개의 논문이 -_- 제출되었다고. 그래서 최근 머신러닝계열 학회에서는 리뷰어를 찾는다고 분야를 잘 모르는 대학원생들도 리뷰에 엄청나게 참여하는 모양이라고 한다. (사실 CS분야가 약간은 그런 경향이 있는것같긴 하지만..) 아카이브에 지난 12월간 공개된 cs.LG 태그를 단것만 찾아봐도 27000개가 넘게 나오는구만. 그래서 논문의 저자가 공개될 때 (혹은 찾을 수 있을때) 더 좋은 논문들을 냈던 저자가 더 좋은 평을 받는다는 매튜효과가 엄청나게 일어나나보다.

내가 몸담고 있는 이론적 컴퓨터과학(Theoretical Computer Science, TCS)쪽에도 이런 논의가 많이 있었던 모양인데, 특히 크누쓰 상을 받기도 했던 골드리치(Oded Goldreich)선생의 왜 익명논문이 나쁜아이디어인가 (Why is anonymous submission a bad idea)라는 에세이를 재밌게 읽었던 적도 있다. 여기서 소개한 결과중 다음과 같은것도 있다: WSDM 2017 학회에서는 싱글 블라인드(리뷰어는 공개하지 않지만 저자는 공개하는것)와 더블 블라인드를 동시에 진행해서 싱글 블라인드 리뷰어가 더블 블라인드 리뷰어보다 훨씬 좋은 직장을 가진 사람들의 논문을 다양하게 선호했다는 논문.

골드리치가 이걸 부정하는건 아니고, 요점은 TCS계열은 훨씬 덜 권위적이기도 하고 그 편견같은게 저자보다는 “보이는” 학문적 깊이(예를들어 어려운 수학을 쓴다던가 하는)나 이를 포장한 방식에 훨씬 의존하는것으로 보이고, 위처럼 더블 블라인드로는 광고하는것을 막기 힘들다는 등 여러가지 논점을 제시한다. 또한 더블 블라인드는 하나의 해결책일 뿐이고, 문제와 해결방식을 잘 논의해서 고르지 않으면 그 해결책은 문제가 전부 해결되었다는 환상만을 줄 뿐이라고. 별로 좋은 요약은 아니고 궁금하면 일독을 권함 ㅋ.

다만 나는 골드리치의 글에는 별로 동의하지는 않는다. 내 의견으로는 (최소한) 싱글/더블 블라인드 등에서 많이 달라질게 없는 것은 이미 학회의 중심에 포함된 사람들의 얘기고, (특히 외국에서) 새로 진입하는 사람의 경우는 명백히 더블 블라인드의 장점을 겪는 것으로 보인다. 물론 더블 블라인드가 최적의 방식이라는 것은 아니고, 새로운 방식이 필요해 보인다.

지난번 언젠가 언급한 흥미로운 논문들이 위로 올라오는 Scirate같은 방식도 (약간은 잔혹하지만..) 구글 등의 결과가 위로 올라가는걸 막긴 어렵지만, 최소한 이런 사이트를 구독하는 사람들에게는 위 SimCLR같은 표절같은 문제를 없애기에는 (코멘트에서 논의할테니) 괜찮아 보이기도 하며 여러가지로 좋아보임.

다른 방식으로는 레딧 글에서 논의하는, 더블 블라인드로 리뷰를 진행하는 학회에서 리뷰기간동안 결과를 실명으로 공개하는 것을 금지하고 (지금 대부분의 CS학회는 이를 딱히 막지는 않는 것으로 알고, TCS학회는 심지어 실명으로 아카이브에 올리는 것을 권장한다.) 일정기간 anonymous로 업로드하는 기능을 arxiv에 추가하는 건데, 이것도 꽤 재미있어 보이기도 한다. 다만 회사들의 특허이슈라던가 어른들의 사정으로 실제로 진행하기는 조금 어렵지 않을까.. 하는 생각이 든다.

우리는 모든 인간들 중 어느정도 시점/위치에 와있는 사람들일까? 과거, 미래 합쳐 인류의 수가 유한하고, 그 태어나는 숫자가 완전히 임의라고 가정하자. 그러면 우리, 즉 임의로 뽑힌 사람은 대충 인류들 중 중간쯤에 있는 사람일거라는 논증이 바로 종말논법(Doomsday argument)이다. 물리학자인 브랜돈 카터(Brandon Carter)가 1983년 명확하게 제시했다고 한다. 즉 우리는 인류의 중간쯤을 살아가는 사람이라는 셈.

다만 이 논증이 인류의 역사가 반정도 지나왔다는 말은 아니고, 아래 그림과 같은 인구의 증가를 고려하면 생각보다 남은 인류의 역사가 짧을수도 있다는 말이 되기도 한다.

비슷한 논리로 우리가 인류의 처음 5%가 아닐 가능성이 95%라는 말을 할 수 있다. 그러면 95%의 확률로 우주에 살아갈 총 인구 수 N은 지금까지 있었던 총 인류 수, 대략 600억명정도라고 추정되는 숫자 n의 20배보다 크지 않을거라는 말도 할 수 있다. 즉 1조 2천억명정도. 그래도 엄청 많은거 아닌가 싶긴 한데 ㅡㅡㅋ

당연히 이런저런 반박이 있긴 한데 이 논증 자체가 너무 허술해보여서 딱히 읽어보진 않았다. 대신 논증의 확장으로 이걸 인간 말고 우주 전체의 지성체로 생각해보면, 우리는 우주의 지성체의 중간쯤 있는걸거다. 아마도? 그런데 여기서 생기는 궁금증이, 우린 아직 인류를 제외한 지성체의 존재를 모른다는거다. 앞의 반정도의 지성체가 우주에 정보를 보낼정도로 발전하지 못했을까?

별개의 문맥에서 엔리코 페르미(Enrico Fermi)가 비슷한 질문, 이른바 페르미의 역설을 제시했다고 한다. 페르미의 역설은 종말논법보다는 조금 더 복잡한데, 위키피디아에 따르면 대충 다음과 같다.

• 우리은하에는 수십억의 태양과 비슷한 항성들이 있다
• 그중 꽤 많은 항성들이 지구와 비슷한 행성을 가지고 있다.
• 그 항성과 행성의 쌍들 중 많은 것들이 태양보다 훨씬 오래 되었다. 지구가 평범하다면, 그중 일부에는 이미 지성체가 존재했을것이다.
• 그중 일부 문명은 지금 인류가 고심하는 우주여행을 이미 개발했을것이다.
• 지금의 느린 우주여행 발전속도를 생각하더라도 몇백년 이내에는 은하수를 여행할 수 있을것으로 보인다.
• 많은 태양과 비슷한 별들이 태양보다 수십억년 오래된 것을 생각해보면, 지구는 외계 문명의 방문을 이미 받았거나, 최소한 탐험대는 왔다갔을 것이다.
• 그런데 그런 사건이 있었다는 증거는 전혀 없다.

여러 물리학자들이 UFO나 빛보다 빠른 여행 등에 대해 얘기하다가 페르미가 어느순간

그런데, 그럼 모두들 어디에 있지? (But where is everybody?)

Enrico Fermi, 1950 (The exact quote is uncertain)

와 같은 질문을 던져서 이런 이름이 붙었다고. 뭐 우주가 너무 넓다던나, 인류가 거의 최초의 지적 생명체라던가 다양한 설명이 가능하겠다. 사실 지금까지의 문명 발달을 보면 빛보다 빠른 우주여행이 가능한 충분히 큰 문명은 다른 문명이 해당 기술까지 도달하기 전에 식민지같은 느낌으로 이용되고, 더이상의 발전이 불가능할것 같다. ㅋㅋㅋ 종말논법과 마구 합치면 우리가 그런 식민개발이 시작되기 전의 중간쯤에 와있다고 주장할수 있으려나.

비슷한 토픽으로 유명한 드레이크방정식이나 우주생물학 같은것도 있다는데 별로 재미없어서 그냥 이정도로 끝.

Arxiv에 리처드 파인만(Richard Feynman)의 새로운 렉쳐노트가 올라왔다. 내용은 강한상호작용(Strong Interactions)과 양자색역학(Quantum Chromodynamics, QCD)라는데 사실 무슨내용인지는 전혀 모르겠다 -_-.. 비슷한 이름의 파인만의 잃어버린 렉쳐노트라는 책도 있는데, 1964년에 출판된 파인만의 물리학 렉쳐노트라는 책에 포함하려다가 정말로 잃어버리고 나중에 출판한 책인 모양. 이번에 올라온 렉쳐노트는 그런식으로 출판된건 아니고, 정말로 파인만 교수님이 작고하기 전 마지막으로 했던 렉쳐에 가까운듯.

서문에 여러 재미있는 내용이 있다. 1987년부터 1988년에 PhD 마지막해를 보내던 James M. Cline가 파인만의 수업은 숙제가 없다는 소문을 듣고 해당 수업의 TA를 맡았는데, 사실 파인만 수업의 TA는 렉쳐노트를 만드는 일을 했다고 한다 ㅋㅋㅋ 다행히 다른 TA들이 추가되어 초안을 만드는 작업을 나누어서 하고, 파인만은 초안을 전반적으로 수정해주는 등 여러 일을 했던모양.

88년 1월 28일에 마지막수업이 이루어졌는데, 원래 예정된 마지막 수업은 아니였고 그 이후로 파인만이 너무 아파서 강의를 진행하지 못했나보다. 마지막 수업에는 보드를 이용하지 못할정도로 약한 모습을 보였고, 앉아서 수업을 진행했다고 한다. 그 수업 세주 후에 돌아가셨다고..

여튼 오랫동안 렉쳐노트를 만드는게 흐지부지되었다가, 30년이 넘게 지난 이후 James M. Cline가 본인이 갖고있던 몇개의 초안에, 수업 필기와 여러 다른 자료를 동원해서 원래 파인만의 의도를 최대한 복원했다고 한다. 많은 다른 TA들이 물리학계를 떠났고 대부분의 초안을 찾을수 없었던 모양. 놀랍게도 세개의 수업에 대해서는 Arun K. Gupta라는 TA가 (현재 물리를 하는것 같진 않다) 기록한 테이프 녹음본이 남아있고, 이를 부록 A,B,C에 남겨 직접 볼수도 있다. 또한 부록 D에는 두 초안에 대해 파인만이 직접 수정/작성한 몇개 렉쳐에 대한 글도 남겨져 있다. 근데 아무것도 읽을수가 없다 -_-……. 필기체여서 그런가.

꽤 여운을 주는 서문의 마지막 문장은 다음과 같다.

Sorry this took so long, professor.

Feynman Lectures on the Strong Interactions, revised by James M. Cline

최근 IBM이 얼굴인식 기술의 연구 및 제공을 중단한다는 기사를 얼마전에 본 적이 있다. 그 때는 별 생각없이 내용을 자세히 확인하지는 않았는데, 최근 MS와 아마존이 비슷하게 얼굴인식 기술을 경찰에 제공하지 않겠다는 기사들도 나왔다. 알고보니 이 기술을 통해 판단한 위험도가 Fairness에 문제가 있는듯. 이전에 살짝 얘기한 Cynthia Dwork의 연구 중 Algorithmic fairness가 이래서 중요하군 -_-

찾아보니 얼굴인식 기술이 인종에따라 잘 판별하지 못하는등의 문제가 있다고 한다. NIST의 서베이도 있고, 국회에서도 문제점이 제시되었나보다. 그런 와중에 미국 경찰들이 BLM 시위대에게 해당 기술을 쓰면서 문제가 되었나보다.

이런 중에 한국 여러 기업에서는 AI면접관을 통해 면접을 보는 시도를 하나보다. ㅋㅋㅋ 기사 중 “밝은 목소리로 또박또박 아무 말이나 하는 지원자가 적절한 답이어도 우물쭈물 대답하는 지원자보다 좋은 점수를 얻을 수 있다. ” 라는 내용이 압권.

2020/6/30 추가: 뉴욕타임즈에 따르면 실제로 얼굴인식기술의 문제로 한 흑인이 잘못 고발된 경우도 있나보다.