2024.08.28 - [Kakaotech Bootcamp/개인실습] - [OpenAI API] flask로 서버 생성 [OpenAI API] flask로 서버 생성2024.08.27 - [Kakaotech Bootcamp/개인실습] - [OpenAI API] 모델 선택과 텍스트 생성하기 [OpenAI API] 모델 선택과 텍스트 생성하기2024.08.27 - [Kakaotech Bootcamp/개인실습] - .env 파일 / 환경 변수(environment variables)zo0oz.tistory.com 서버에 올리기 전, 클라이언트와 서버 간의 상호작용이 올바르게 이루어지는지 테스트를 해본다. 이때 Postman을 사용하면 API 개발 단계에서 프론트엔드가 준비되기 전에 API의 동작을 미리 확인하..

2024.08.27 - [Kakaotech Bootcamp/개인실습] - [OpenAI API] 모델 선택과 텍스트 생성하기 [OpenAI API] 모델 선택과 텍스트 생성하기2024.08.27 - [Kakaotech Bootcamp/개인실습] - .env 파일 / 환경 변수(environment variables) 설정 .env 파일 / 환경 변수(environment variables) 설정깃허브나 깃허브 데스크탑 등을 쓰다보면 코드에 포함된 개인 정보zo0oz.tistory.com 텍스트를 생성하고 Flask 프레임워크로 간단한 API 서버를 구현해본다.Flask란? - 파이썬을 기반으로 한 마이크로 웹 프레임워크- 경량의 프레임워크로, 웹 애플리케이션과 API 서버를 쉽게 만들 수 있도록 설계되어..

2024.08.27 - [Kakaotech Bootcamp/개인실습] - .env 파일 / 환경 변수(environment variables) 설정 .env 파일 / 환경 변수(environment variables) 설정깃허브나 깃허브 데스크탑 등을 쓰다보면 코드에 포함된 개인 정보를 함유한 키들로 커밋이 안 되는 오류를 한 번씩 경험해봤을 것이다. 이를 해결하기 위한 방법으로 .env 파일을 만드는 것이zo0oz.tistory.com 이전 글에서 API_KEY를 .env 파일에 저장해주고, openai.api_key로 키값을 불러왔다. import openai, osfrom dotenv import load_dotenvload_dotenv()openai.api_key = os.getenv('OPENA..

OpenAI API를 사용하려면 API 키를 발급 받아야 한다.  https://openai.com/index/openai-api/위의 링크는 OpenAI API 링크로, 회원가입을 한다.   [로그인 후 홈 화면] 회원가입 후 로그인하면 위와 같은 화면이 된다. 우측 상단에 보이는 Dashboard를 누른다.   [Dashboard 화면]  [key 발급 화면]  빨간 네모 부분을 누르면 위와 같은 창이 뜨는데, 이름은 키 발급 후에도 재설정할 수 있다.    Create secret key를 누르게 되면 이 창이 뜬다.Done 버튼으로 누르고 나면 key를 두 번 다시 확인할 수 없으니 Copy를 눌러서 어딘가에 복사해둔다.

RAG를 활용하여 데이터 검색 및 활용학습목표이 미션은 RAG (Retrieval-Augmented Generation) 기법을 활용하여 데이터를 검색하고, 검색 결과를 기반으로 텍스트를 생성하는 방법을 학습하는 것입니다. RAG는 검색 엔진과 생성 모델을 결합하여 질문에 대한 답변을 생성하거나, 정보 검색을 기반으로 한 텍스트 생성을 수행합니다. 이 미션에서는 OpenAI ChatGPT OpenAPI를 활용하여 RAG 시스템을 구축하고, 다양한 검색 및 텍스트 생성 작업을 수행합니다.  Overview문제 정의: RAG를 활용하여 데이터를 검색하고 활용할 필요성을 정의솔루션 도출: RAG 시스템을 구축하기 위한 방법을 도출설계: RAG 시스템의 설계 방안을 구체화OpenAI ChatGPT OpenAPI..

OpenAI API를 사용하여 텍스트 생성 및 처리학습 목표- OpenAI의 최신 버전 ChatGPT OpenAPI를 사용하여 텍스트 생성 및 처리를 구현한다. - 자연어 처리(NLP)의 기본 개념을 이해하고, OpenAI API를 활용하여 실용적인 텍스트 생성 및 분석 애플리케이션을 개발한다. - OpenAI API를 통해 텍스트 생성, 요약, 번역, 질문-응답 등의 기능을 구현하며, 이러한 기능을 통합하여 간단한 웹 애플리케이션을 개발한다.   OverviewOpenAI API 계정 생성 및 API 키 발급프로젝트 초기 설정: 프로젝트 폴더 생성 및 초기화, 필요한 패키지 설치 (예: axios, express 등)OpenAI API와 통신하는 모듈 개발: API 호출을 위한 함수 작성 및 테스트텍스..

[텍스트 데이터 전처리 과정]* 텍스트 데이터 전처리 과정1. 데이터 정제(Cleaning)- 불필요한 문자 제거: HMTL, 태그, 특수 문자, 이모지 등 제거- 불용어 제거: 분석에 도움되지 않는 일반적인 단어들 제거 (the, is)- 철자 오류 교정2. 데이터 정규화(Normalization)- 토큰화(Tokenization): 텍스트를 문장 또는 단어 단위로 분할- 어간 추출(Stemming): 단어의 접미사나 어미를 제거하여 어간을 추출- 원형 복원(Lemmatization): 단어의 문법적 의미와 문맥을 고려하여 사전적 원형 찾아 변환3. 정형화(Structuring)- 백터화(Vectorization): 텍스트 데이터를 수치 데이터로 변환- Bag-of-Words(BoW): 각 단어의 발생..

1. labelImg 설치https://github.com/heartexlabs/labelImg GitHub - heartexlabs/labelImg: LabelImg is now part of the Label Studio community. The popular image annotation tool created byLabelImg is now part of the Label Studio community. The popular image annotation tool created by Tzutalin is no longer actively being developed, but you can check out Label Studio, the open source ...github.com* anaco..