밤 늦게까지 여는 카페

AI 서비스를 개발하실 생각이신가요? 어떤 것부터 알아봐야 할지 막막하셨다면 도움이 될 수 있을 것 같습니다. "머신러닝 시스템 설계" 로도 유명한 저자 칩 후옌이 2025년에 출간한 "AI 엔지니어링" '2장 파운데이션 모델 이해하기' 를 정리한 내용입니다.1. AI 모델 직접 학습시킬 것인가요?직접 학습시키시려구요...? 갈수록 언어 모델의 파라미터가 커지면서 필요한 학습 데이터의 양도 따라 늘어나고 있습니다. 최근 모델들은 사업적, 법적인 이유 등 다양한 이유로 학습 데이터의 크기를 밝히지 않고 있지만2020년에 공개된 GPT-3 모델만 하더라도 3000억(300B)개의 토큰이 학습에 사용되었습니다.참고: https://arxiv.org/pdf/2005.14165 더 이상 개인이 AI 모델을 학습시..

Q1. 언어 모델에서 말하는 token과 vocabulary는 뭐야? 실제 단어랑 어떻게 달라?A.Token은 모델이 실제로 처리하는 최소 단위Vocabulary는 모델이 인식할 수 있는 모든 토큰의 집합토큰은 우리가 말하는 "단어"와 1:1 대응하지 않습니다.예시문장: 나는 학교에 갔다단어 기준: ["나는", "학교에", "갔다"]토큰 기준: ["▁나", "는", "▁학교", "에", "▁갔", "다"]=> 토큰은 단어보다 작거나, 경우에 따라 더 큰 단위가 될 수도 있습니다.Q1.1. 모델이 학습하지 못한 이상한 단어를 쓰면 어떻게 돼?A.요즘 LLM은 서브워드 토큰화를 사용해서 그런 문제가 발생하지 않습니다.예시입력: 핫초코맛치킨토큰화: ["핫", "초코", "맛", "치킨"]=> 단어 전체를 몰라..

안녕하세요. 오늘은 코드 컨벤션, 구조를 테스트할 수 있는 도구인 ArchUnit과 Konsist에 대해 공부한 내용을 정리해보려고 합니다.1. ArchUnit1.1. ArchUnit이란?ArchUnit은 Java 및 Kotlin 코드베이스의 아키텍처 규칙을 테스트하기 위한 정적 분석 라이브러리입니다.Java 바이트코드를 분석해서패키지 의존성레이어 구조클래스/메서드 명명 규치4등 다양한 아키텍처 제약사항을 코드로 표현하고 테스트할 수 있습니다.그래서 "Arch"Unit 인 것 같습니다!Kotlin도 지원하므로, JVM 기반 프로젝트 전반에 적용할 수 있습니다.1.2. ArchUnit이 Java 바이트코드를 분석하는 방법그렇다면 ArchUnit은 Java 바이트코드를 어떻게 분석할까요?ArchUnit은 i..

안녕하세요. 회사에서 AI 엔지니어링 스터디를 진행하게 되었는데 제가 공부한 내용들을 정리하고자 합니다.Effective context engineering for AI agents블로그 글을 읽으면서 떠올랐던 질문들을 정리해서 1. Context(컨텍스트)가 뭐에요?Anthropic 블로그에서는 컨텍스트를 다음과 같이 설명합니다.Context refers to the set of tokens included when sampling from a large-language model (LLM) 컨텍스트란 LLM이 답변을 생성할 때 입력으로 함께 넣어주는 토큰들의 집합이라고 하네요. chatGPT, Gemini, Claude 등 LLM의 입력으로 전달되는 토큰들이라고 하면 다양한 값들이 있습니다.시스템 프..

안녕하세요. 이번에는 2025년에 AI를 어떻게 활용했는지, 얼마나 적극적으로 활용했는지 회고하려고 합니다.이 회고를 바탕으로 2026년에는 더 빠르고 질적으로도 높은 성장을 이뤄보겠습니다.0. 이런 회고는 왜 하는 걸까요?많은 직군이, 특히 제가 종사하고 있는 SW개발도 예외 없이 AI에 대체될 것이라는 전망이 나왔습니다.실제로 인력을 감축하는 등의 움직임은 이미 나오고 있습니다. 해고되는 MS 직원 40%는 '소프트웨어 개발자'… AI가 촉발한 기술직 해고 AI가 개발자 대체…컴공과 위상 흔들5년 전이었다면 아직 멀었다고 자신 있게 말할 수 있었지만 지금은 저도 '가능할수도 있지 않을까?'라는 생각을 하곤 합니다.AI가 아무리 발전하더라도 저만의 고유한 강점을 만들기 위해서는 결국 AI를 잘 사용하는..

안녕하세요. 날씨가 많이 추워졌습니다.회식, 약속이 많아지면서 연말 느낌이 물씬 나는데 2025년이 진짜 끝나가는 것을 실감하네요 ㅜㅠ토스에 합류한지 얼마 안된 것 같은데 벌써 이렇게 시간이 흘렀습니다 ㄷㄷㄷ이번에 작성하는 토스 적응기 3개월차를 마지막으로 적응기는 끝내려고 합니다.이제 적응이 아니라 1인분 할 때가 된 것 같습니다!1. 퍼스트피드백 중간 리뷰3개월 온보딩 기간 중 1.5 개월 이후에 받는 중간 리뷰입니다.그 동안 열심히 노력해온 방향이 맞았는지 공식적으로 확인할 수 있는 시간이라서 소중하면서도 무서운(?) 시간이입니다.다행히도 팀원분들이 제 노력을 좋게 봐주셨습니다.커머스, 광고 도메인을 주도적으로 공부해나가는 모습적극적으로 팀 업무에 참여하는 것 하지만 아쉬운 점도 있었습니다.이건 ..