챗지피티든 뭐든 아직은 부족한거같은데...
본문
AI들.. 벤치마크 점수 높다~ 뭐다~ 혁신이다~ 곧이다~하는데...
내가 볼 땐 '아니 이걸 못한다고?'할 정도로 뭔가 너무 못해보이는데...
내가 따로 만든 테스트 문제가 있거든...
그걸로 AI들 테스트해보는데 내용에 떡-하니 써있는걸 연결짓지 못함.
예로 A라는 캐릭터가 W를 쓰면 일정 시간 후 텔레포트하는데 그 선딜동안은 자유시간이고
나머지 Q, E, R도 스킬들이 다 각각있음.
그런데 이 W를 사용해놓고 나머지 스킬들을 다 굴리면 마침 텔포이동이 딱 되겠다~를 생각할법한데?
그걸 생각못해...
그냥 그 일정시간 후에 이동되는걸 마냥 '대기시간'으로만 생각함...
혹시 무료라 그런가?싶어서 페이블5 5$인가 결제해서 테스트해봄.
그런데 똑같음.
챗지피티 테라도 써서 테스트해봄.
그런데 똑같음.
이런 테스트를 상황이해력(?) 맥락적 추론능력(?)이라고 불러야하나...?
무료든 고급모델이든 지피티든 그냥 그게 그거같은데...
처음보는걸 익숙하고 이해도 높은 캐릭터를 다뤄온것처럼 도출을 못해...
사람이면 이해하는데, 기계가 그걸 몬해!?
뭔가.. 시험(벤치마크)은 잘보는데, 유창한? 익숙한?도구를 다뤄본 현지인/장인처럼 활용하는건 못하는 것 같은?
그런 느낌임.
내가 볼 땐 '아니 이걸 못한다고?'할 정도로 뭔가 너무 못해보이는데...
내가 따로 만든 테스트 문제가 있거든...
그걸로 AI들 테스트해보는데 내용에 떡-하니 써있는걸 연결짓지 못함.
예로 A라는 캐릭터가 W를 쓰면 일정 시간 후 텔레포트하는데 그 선딜동안은 자유시간이고
나머지 Q, E, R도 스킬들이 다 각각있음.
그런데 이 W를 사용해놓고 나머지 스킬들을 다 굴리면 마침 텔포이동이 딱 되겠다~를 생각할법한데?
그걸 생각못해...
그냥 그 일정시간 후에 이동되는걸 마냥 '대기시간'으로만 생각함...
혹시 무료라 그런가?싶어서 페이블5 5$인가 결제해서 테스트해봄.
그런데 똑같음.
챗지피티 테라도 써서 테스트해봄.
그런데 똑같음.
이런 테스트를 상황이해력(?) 맥락적 추론능력(?)이라고 불러야하나...?
무료든 고급모델이든 지피티든 그냥 그게 그거같은데...
처음보는걸 익숙하고 이해도 높은 캐릭터를 다뤄온것처럼 도출을 못해...
사람이면 이해하는데, 기계가 그걸 몬해!?
뭔가.. 시험(벤치마크)은 잘보는데, 유창한? 익숙한?도구를 다뤄본 현지인/장인처럼 활용하는건 못하는 것 같은?
그런 느낌임.
추천0 비추천 0

모뗀아잉님의 댓글
아직은 아쉬운게 좀 있음