인공지능/Generative AI6 [6탄] FastAPI 애플리케이션 Google Cloud Run(Docker)에 배포하기 오늘은 프로젝트의 마지막 이야기를 써보려 한다! 1탄부터 5탄까지 prompt engineering, 웹 크롤링, langchain, gpt, 텍스트 임베딩 등 다양한 기술을 활용해서 AI 서비스를 개발해보았다. 이제 이렇게 개발된 파이썬 모델을 백엔드 측에 전달하기 위해서는 몇가지 단계가 필요하다. 1. API를 통한 소통 : FastAPI를 이용해 REST API로 래핑하고, 이를 통해 모델을 외부에서 호출 가능하게 만들 수 있다. 2. Docker : FastAPI로 구축한 API와 AI/ML 모델을 도커 컨테이너 내에 패키징하여 환경 차이로 인한 문제를 방지하고, 쉽게 배포할 수 있도록 한다. 3. Google cloud run : 컨테이너화된 애플리케이션을 서버리스 환경에서 실행할 수 있게 해주.. 2023. 11. 26. [5탄] Langchain+GPT+텍스트 임베딩으로 상품에 대한 질의응답하기 지난 시간에 진행했던 selenium 웹 크롤링으로 무신사 특정 상품의 리뷰 데이터를 가지고 올 수 있었다. 이번에는 그 리뷰들을 기반으로 사용자가 상품에 대해 질의하면 응답하는 기능을 구현해 볼 것이다. (온라인 가상 점원 프로젝트를 진행하고 있다는 사실을 까먹지말자..! 서비스에 대해 궁금하신 분은 1탄으로..) https://www.musinsa.com/app/goods/836499 비바스튜디오(VIVASTUDIO) LOCATION CREWNECK [INDIGO BLUE] - 사이즈 & 후기 | 무신사 제품분류 : 상의 > 맨투맨/스웨트셔츠 브랜드 : 비바스튜디오(VIVASTUDIO) 제품번호 : KSVT20 제품 : LOCATION CREWNECK [INDIGO BLUE] - 46,400 원산지 .. 2023. 11. 13. [4탄] Selenium을 이용한 동적 페이지 크롤링 이전에 진행했던 Beautifulsoup로 웹 크롤링하기를 하던 중 문제가 생겼다. 바로 상품 이미지를 가져오는 부분에서 None이 찍히는것..! 이미지 주소를 타고 들어가보니 이런 에러가.. Beautifulsoup를 사용하게 되면 웹서버에서 처음 제공하는 원본 html을 가지고 오기 때문에 이후에 js가 추가적인 내용을 동적으로 생성하거나 변경하면 bs로만으로 가지고 올수가 없다. 따라서, 웹 페이지를 실제 로드하고 js를 실행할 수 있는 웹 드라이버 selenium을 사용해서 최종 html을 가지고 와야한다. 즉, 동적웹을 크롤링하려면 selenium을 써줘야 하는것!! 오늘은 이 Selenium을 사용해 상품 리뷰를 가지고 와 볼것이다. 이 상품에 대한 리뷰 정보를 가져와보자. https://ww.. 2023. 11. 13. [3탄] Beautifulsoup로 웹 크롤링하기 오늘은 HTML과 XML 문서들의 구문을 분석하기 위한 파이썬 라이브러리인 Beautifulsoup를 사용해 볼 것이다. 저번에 무신사의 매거진 페이지 내용을 요약하는 기능을 구현해보았는데, python 자체 내에서 크롤링까지 진행하면 빠른 속도와 원하는 정보만 추출하기에 유용할 것 같아 사용해보았다. 우리가 사용할 정보량은 많은 편이 아니기에 selenium, scrapy 등 다양한 웹 크롤러 도구들이 있지만 Beautifulsoup를 사용해 볼 것이다. 우선 오늘 크롤링을 진행해볼 페이지이다. (저번 요약 기능 구현에 사용되기도 했다.) https://www.musinsa.com/cms/news/view/6112 키치한 스트릿 웨어 찾는다면? 유쓰배쓰 주목! | 무신사 'Youth Be At The .. 2023. 9. 20. [2탄]Langchain+GPT로 summary와 QA 해보기 보통 langchain으로 summarize하거나 q&a하는 예제들은 pdf나 문서 업로드를 통해 많이 작업하는데 내가 쓸 텍스트의 양은 길지 않은 편이며 데이터 크롤링 후 사용하기 때문에 바로 raw_text에 삽입하여 실행해보도록 하겠다. 사용할 text는 무신사 홈페이지의 '키치한 스트릿 웨어 찾는다면? 유쓰배쓰 주목!' 매거진 내용 중 본문을 추출한 가정하에 사용해보도록 하겠다. https://www.musinsa.com/cms/news/view/6112 키치한 스트릿 웨어 찾는다면? 유쓰배쓰 주목! | 무신사 'Youth Be At The Head’ 슬로건을 줄여 이름 지은 유쓰배쓰는 세상의 모든 청춘을 응원한다는 의미를 담은 밝은 분위기의 캐주얼 브랜드. 23 S/S 컬렉션은 ‘영 스타 스트리.. 2023. 9. 10. [1탄] ChatGPT Prompt Engineering & LangChain 을 활용한 온라인 가상 점원 프로젝트 서비스 소개 졸업 프로젝트에 대한 포스트를 써보려 합니다. ^0^ 우선 프로젝트 제목은 "뭐 찾으세요?" 실제 우리가 쇼핑하러 매장에 들리면 보통 점원에게 듣는 첫 마디일 것입니다. 이렇듯 저희가 만드려는 서비스는 실제 오프라인 매장의 경험을 온라인에서 느낄 수 있도록 하는게 목표입니다! 기존의 온라인 쇼핑몰은 카테고리에 맞춰 옵션을 클릭하거나 원하는 상품을 찾을때까지 스크롤을 내리고 클릭하는 과정을 반복합니다. 이 과정에서 고객은 오랜 시간 동안 사이트에 체류하게 되면서 피로를 느끼게 되거나 사이트를 이탈할 확률도 높아지죠. 저희 서비스는 챗봇이 가상 점원이 되어 사용자와의 대화를 통해 기존 쇼핑몰 사이트에서 사용자가 말한 내용과 관련있는 상품들만 가져와 보여주게 됩니다. 즉, 원하는 상품을 찾기 위해.. 2023. 5. 26. 이전 1 다음
