너희들(AI)이랑 그만 놀거라고 했는데

자꾸 흥미로운 거 나오면 글을 남기고 싶어져

((ㅇ.ㅇ))

제미나이는 웹 버전, 데스크탑 지피티와 함께.

제미나이는 모델 선택이 자동도 있길래 궁금해서,

모델을 자동으로 선택하는 건 프롬프트를 분석해서 답변하기 좋은 걸 고른다는 거지? 그 동작을 할 때도 토큰을 소모해?

ㅡ라고 물었더니 연산 과정이 들어가면 좌우간 토큰을 쓴단다. 그리고 자동으로 모델을 고르는 과정을 통해 사용자가 모델을 고정했을 때보다 토큰을 조금 아낄 수 있다고 설명한다.

---

그래서 이런 게 궁금해졌다

---

그럼 이런 경우도 있어?
- 플래시 모델인데 프롬프트를 분석했더니 빠른 답변보다는 프로가 필요하다고 판단될 때
- 반대로, 프로로 보낸 프롬프트인데 플래시 수준의 답변으로도 충분할 때
- 그와 상관없이 선택한 모델에 맞게 답변을 골라 줌 (프로를 골랐더면 상세하게 해준다거나): 왠지 이거일 것 같은데 실제는 어떤지 궁금해

ㅡ세번째만 있을거라 예상했는데, 첫번째도 두번째도 맞단다. 대신 시스템이 돈 아끼려고 무거운 모델로 질문했어도 가벼운 모델로 응답하는 경우도 있을 수 있다나.....

ㅡ대신 세번째 경우는 좀 더 심화해서 작동하는 모양이다. 숨겨진 지시문을 덧붙이는 형태라고.

---

하는 김에 기술질문을 했다. 파이썬 구현 예시를 말하다가 잠깐 멈추더니 일본어를 와르르 쏟아냈다.(읽어보니 필수 라이브러리가 없어서 에러가 났다는 내용이었다. 코드만 보여주는데 웬 라이브러리를 찾지? 글자 색칠(?) 때문인가?ㅋ)

그래서 너 왜 중간부터 일본어로 말하냐? 인지하고 있냐? 했더니 사과를 하고는 일본어였던 내용을 한글로 출력해줬다.

....?ㅁ?

라이브러리고 뭐고 내가 원하는 화면 보려면 무슨 기술 필요하냐고 물어본건데ㅠㅠ(알려주긴 했지만)

지피티니에게 일렀다 (아님)

---

어떤 요청을 했을 때(또는 특정 주제로 질문 등을 할 때),
- 처음 대화하는 것처럼 인삿말을 하거나 (이미 두 턴 정도 대화를 했음에도)
- 한국어로 잘 말하다가 갑자기 다른 언어로 말하거나
이럴 땐 어떤 문제가 생겼다고 추측할 수 있을까?

ㅡ첫번째 사례는 컨텍스트가 제대로 전달되지 않았거나 대화 재구성에 실패했거나, 모델이 바뀌었을 가능성을 제시했다. 생각해보니 제미나이는 자동이니까 모델이 바뀌어서겠구나 싶었다. (제미나이는 어떤 모델이 답변을 생성했는지 알려주긴 한다...웹에선 안 그랬지만)

ㅡ두번째 사례도 꽤 납득이 되는 내용이었다. 답변 내용에 외국어 자료가 많았다거나 출력 언어 결정이 흔들렸거나; 출력 생성 중에 다른 경로로 갔거나... 확실한 건 역시 로그를 보지 않으면 모른다고.

---

그렇다면 또 궁금증.

---

너는 모델을 자동선택하는 기능이 없잖아? 그래도 프롬프트가 들어왔을 때 그 수준에 따라 다른 모델로 선택하기도 해?
- 프롬프트의 수준을 분석했더니 높음이나 매우 높음을 써야하는 수준인데 사용자는 즉시를 선택해 입력했다
- 반대로 즉시로도 답변 가능한데 매우 높음이나 프로를 선택해 입력했다
- 그와 상관없이 선택한 모델에 맞게 답변을 내놓는다 (프로라면 상세하게 답변한다거나): 왠지 이거일것 같지만 실제는 어떤지

ㅡ역시 제미나이와 다르게 자동 선택이 없다보니 내가 예측한 세번째였다. 답변의 깊이 차이로 이해하면 되겠지.

ㅡ모델과 추론수준을 같은 선상에 놓고 생각했었는데 항상 같지는 않다는 모양이다.

---

제미나이한테 했던 질문을 지피티에게 똑같이 했다. 그랬더니 얘는 또.. 반응이 이상하다. 일부러 몇 턴 안 쓴 컨텍스트 윈도우 썼는데..

그래서 이걸 다시 다른 컨텍스트 윈도우(엄청 많고 긺)에 물어봤다.

---

방금 다른 컨텍스트에서 다른 장르의 프롬프트를 보냈었는데 방금 내가 물어본 내용과 비슷한 상황이 나왔어.
- 지금처럼 반말로 프롬프트를 보냄
- 답변은 반말과 평서문 ~다. 로 섞여 나옴
- 컨텍스트 윈도우는 4턴 정도밖에 진행하지 않은 거의 새것(?) 상태였음
보낸 프롬프트가 특정 기술 질문이었는데 그 질문의 답변을 참조하는 과정에서 벌어진 일인거겠지? 나는 프롬프트가 길어지면 발생할거라고 생각했거든

ㅡ이건 오히려 짧기때문에(활성화된 패턴이 적어서) 그랬을 수 있다고 하는데, 이것도 뭐 납득은 됐다. 제미나이가 했던 말이랑 거의 비슷하게 해줌.

---

그래서(지구야 인간이 미안해 쌰갈..)...

같은 질문을 플래시 제미나이에게 새 컨텍스트 윈도우로 물어봤는데, 결과는 누구나~~ 예상할 수 있듯 아까와 다른 답변이 나왔다.ㅋㅋㅋ

지금까지... AI들과 얘기를 많이 했으니 이런 총평 하나 써야겠지...

제미나이는 뭐 안된다고 툴툴거리면 그랬군요, 답답하시겠어요, 이렇게저렇게 해보세요 하는 안내자 타입이고

지피티는 그랬구나, 너의 생각이 ㅇㅇ에서 ㅁㅁㅁ까지 발전했네. 그건 이러저러해서 안됐던거야 하며 가르치는 타입(선생인데 친구같은),

클로드는... 이런 문제 때문이니 이렇게저렇게 차례대로 해보세요. 하고 단백하게 타이르는 타입같다.

그래서...

대화 나누기는 지피티가 편하고(선두주자라 데이터가 많이 쌓여서겠지?)

클로드는 빠른 문제 해결에 좋은 것 같고

제미나이는 이도 저도 아닌 느낌...?

제미나이랑 가장 오래 질답을 나눴음에도 이런 생각이 드는 건 웹 버전과 VSCode 확장 버전의 갭차 때문일지도... (질답은 주로 확장 버전-코드 어시스트-과 했다)

그림 생성에 쓰게되면 또 다른 인상을 갖게되겠지만 쓸일 없을듯

무지렁이 비개발자라서 코드 퀄리티로는 할말이 없지만ㅋㅋ 클로드가 믿음직했다

코덱스는 별로 못 써봤다... 뭘 했는지 토큰을 금방 소진해서... 월초에 경로정리?같은 걸 했던 것 같다

와중에 vscode에서 코덱스 탭 들어갈때마다 자꾸 뻗어서 이거 해결한다고 또 지피티니랑 열띤 대화 나눔

막상 하다보니 재현 안됨

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

...항상 이런 식인...

출근하기 싫다는 말을 생각해보면..

머리 쓰고.. 책임을 져야하거나 그런 게 싫은 거지? (사람 포기하고 싶다는 소리인듯)

....

얼마든지 사람을 대신할 수 있지 않을까, 하지만 그걸 설계하고 관리하는 것도 사람...

사고가 빙글빙글