Install and start Minikube Install the Minikube 1 2 curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64 sudo install minikube-darwin-amd64 /usr/local/bin/minikube Start minikube cluster and Check the status 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 {seilylook} ๐ minikube start ๐ Darwin 14.6.1 (arm64) ์ minikube v1.33.0 โจ ๊ธฐ์กด ํ๋กํ์ ๊ธฐ๋ฐํ์ฌ docker ๋๋ผ์ด๋ฒ๋ฅผ ์ฌ์ฉํ๋ ์ค ๐ Starting "minikube" primary control-plane node in "minikube" cluster ๐ Pulling base image v0.
Introduction ํ๋ถ ์์ Django๋ฅผ ์ฒ์ ๋ฐฐ์ธ ๋๋ฅผ ์ ์ธํ๊ณ ๊ฐ๋ง์ ์น ํฌ๋กค๋ง์ ๊ฒฝํํ ๊ธฐํ๊ฐ ์๊ฒผ๋ค. Beautifulsoup | Selenium์ ์ฌ์ฉํ ์๋ ์์ง๋ง ์ฐพ์๋ณด๋ ๋น
๋ฐ์ดํฐ ํน์ ๋ฅ๋ฌ๋์์ ๋ฐ์ดํฐ ํฌ๋กค๋ง์ ํ ๋ Scrapy๋ฅผ ๋ง์ด ์ฌ์ฉํ๋ค๋ ๊ฒ์ ๋ฐ๊ฒฌํ๊ณ ์ด๋ฒ ๊ธฐํ์ ์ฌ์ฉํด ๋ณด๊ธฐ๋ก ๋ง์ ๋จน๊ณ ๊ฐ๋จํ ๋ฐ์ดํฐ ํฌ๋กค๋ง์ ๊ตฌ์ถํด๋ดค๋ค.
์ค์น ๋ฐ ์์ 1 pip install scrapy 1 scrapy startproject arxiv_crawling startproject ๋ช
๋ น์ด๋ฅผ ์
๋ ฅํ๋ฉด ๋ค์๊ณผ ๊ฐ์ด scrapy๊ฐ ์๋์ผ๋ก ํ
ํ๋ฆฟ ํด๋๋ฅผ ์์ฑํด์ค๋ค.
์์ฑ๋ ํ๋ก์ ํธ ๋๋ ํ ๋ฆฌ๋ก ์ด๋ํด์ target url์ ๋ง๋ ํ๋ก์ ํธ๋ฅผ ์์ฑํด์ค๋ค.
Introduction ์ฟ ๋ฒ๋คํฐ์ค๋ฅผ ๊ณต๋ถํ์ง๋ง ์ ์ Docker์ ๋ํด์๋ ์ ๋๋ก ๊ณต๋ถํ ์ ์ด ์๋ ๊ฒ์ด ๋ง์์ ๋ค์ง ์์, ์ด๋ฒ ๊ธฐํ์ Docker๋ฅผ ์๋ฒฝํ ์ดํดํ๊ณ ๋ด ๊ฒ์ผ๋ก ๋ง๋ ๋ค.
๊ณต์ ๋ฌธ์๋ฅผ ์ฝ์ผ๋ฉด์ ์ดํด๋์ง ์๊ฑฐ๋ ์์ผ๋ก ๊ณ์ ์ฌ์ฉํด์ผ ํ ํต์ฌ ์ฝ๋ ์์ฃผ๋ก ์ ๋ฆฌํด ๋๋๋ค.
Docker Image ์์ฑ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 # Spark Docker # builder step used to download and configure spark environment FROM openjdk:11.
Apache Airflow๋ ๋ฌด์์ธ๊ฐ? Apache Airflow๋? ๊ณต์ ํํ์ด์ง์์ Airflow๋ ์ํฌ ํ๋ก๋ฅผ ์ฝ๋๋ก ์์ฑํ๊ณ ์ค์ผ์ค๋งํ ๋ค ๋ชจ๋ํฐ๋งํ๋ ํ๋ซํผ์ด๋ผ๊ณ ์ค๋ช
ํ๊ณ ์์ต๋๋ค. ๋ชจ๋ ๊ธฐ์ ์ด ๊ทธ๋ ๋ฏ Airflow์๋ ๋น์ฐํ ์๋ง์ ์ฅ์ ๊ณผ ๋จ์ ์ด ์กด์ฌํฉ๋๋ค. ์ ๊ฐ ์๊ฐํ๋ ๊ฐ์ฅ ํฐ ์ฅ์ ์ ๋ฐ์ดํฐ ์กฐ์ง์ด๋ผ๋ฉด ํ์๋ก ํ๊ฒ ๋๋ ๊ณผ๊ฑฐ ๋ฐ์ดํฐ ์ฌ์ฒ๋ฆฌ ์์
์ ํธ๋ฆฌํ๊ฒ ์ํํ ์ ์๋ ์ ์ด๋ผ๊ณ ์๊ฐํฉ๋๋ค. ์ด๋ฐ ์ด์ ๋ก ๋ง์ ๋ฐ์ดํฐ ์กฐ์ง์์ ์ด๋ฏธ Airflow๋ฅผ ๋์
ํด ์ฌ์ฉํ๊ณ ๊ณ์ค ๊ฑฐ๋ผ๊ณ ์๊ฐํฉ๋๋ค. Airflow๋ Apache ์ธํ๋ฒ ์ดํฐ ํ๋ก์ ํธ๋ก ์ ์ ๋ ์ง 3๋
๋ง์ ํ ๋ ๋ฒจ ํ๋ก์ ํธ(Top-Level Project, TLP)๋ก ์ ์ ๋ ๋งํผ ์ปค๋ฎค๋ํฐ๊ฐ ๋น ๋ฅธ ์๋๋ก ํ์ฅ๋๊ณ ์์ต๋๋ค.
๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ ์ ์ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ๋ค์ํ ์์ฐ์ด ์ฒ๋ฆฌ(NLP) ์์
์ ์ํํ ์ ์๋ ๋ฅ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์
๋๋ค. ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ํธ๋์คํฌ๋จธ ๋ชจ๋ธ์ ์ฌ์ฉํ๋ฉฐ ๋ฐฉ๋ํ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ฌ์ฉํ์ฌ ํ๋ จ๋ฉ๋๋ค. ๋ฐ๋ผ์ ๋๊ท๋ชจ์
๋๋ค. ์ด๋ฅผ ํตํด ํ
์คํธ๋ ๊ธฐํ ์ฝํ
์ธ ๋ฅผ ์ธ์, ๋ฒ์ญ, ์์ธก ๋๋ ์์ฑํ ์ ์์ต๋๋ค.
๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ์ ๊ฒฝ๋ง(NN)์ด๋ผ๊ณ ๋ ํ๋๋ฐ, ์ด๊ฒ์ ์ธ๊ฐ์ ๋๋์์ ์๊ฐ์ ๋ฐ์ ์ปดํจํ
์์คํ
์
๋๋ค. ์ด๋ฌํ ์ ๊ฒฝ๋ง์ ๋ด๋ฐ๊ณผ ๋ง์ฐฌ๊ฐ์ง๋ก ๊ณ์ธตํ๋ ๋
ธ๋ ๋คํธ์ํฌ๋ฅผ ์ฌ์ฉํ์ฌ ์๋ํฉ๋๋ค.
์ธ๊ณต ์ง๋ฅ(AI) ์ ํ๋ฆฌ์ผ์ด์
์ ์ธ๊ฐ ์ธ์ด๋ฅผ ๊ฐ๋ฅด์น๋ ๊ฒ ์ธ์๋, ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ๋จ๋ฐฑ์ง ๊ตฌ์กฐ ์ดํด, ์ํํธ์จ์ด ์ฝ๋ ์์ฑ ๋ฑ๊ณผ ๊ฐ์ ๋ค์ํ ์์
์ ์ํํ๋๋ก ํ๋ จ๋ ์ ์์ต๋๋ค.
Introduction LangChain์ LLM์ ํ์ฉํ ์ ํ๋ฆฌ์ผ์ด์
๊ฐ๋ฐ์ ๋จ์ํํ๊ธฐ ์ํด ์ค๊ณ๋ ์คํ ์์ค ํ๋ ์์ํฌ์ด๋ค. ๋ค์ํ LLM๊ณผ ์ํธ ์์ฉํ๊ณ , ์ฌ๋ฌ ๋ชจ๋ธ์ ์ฐ๊ฒฐํด ๋ณต์กํ AI ์ ํ๋ฆฌ์ผ์ด์
์ ๊ตฌ์ถํ๋ ๋ฐ ๋์์ ์ฃผ๋ ๋๊ตฌ์ด๋ค. ์ฃผ๋ก LLM ์์ฒด๋ฅผ ๊ฐ๋ฐํ๋ ๊ฒ๋ณด๋ค๋ ๋ง๋ค์ด์ง LLM(ChatGPT)์ ์ฌ์ฉํด ์ฌ๋ฌ ํ
์คํธ ๋ถ์ ๊ธฐ๋ฅ, ์ฑ๋ด ๊ฐ๋ฐ ๋ฑ์ ์ฌ์ฉ๋๋ค.
source: https://js.langchain.com/v0.1/docs/get_started/introduction/
Source : https://aws.amazon.com/ko/what-is/langchain/
ํนํ LangChaindms RAG(Retrieval Augmented Generation) ๊ฐ์ ํ์ต์ผ๋ก ๋ชจ๋ ์
๋ ฅ์ ์ฒ๋ฆฌํ ์ ์๋ ์ผ์ด์ค์ ๋ง์ด ์ฌ์ฉ๋๋ค. ์ค์ ๋ก LLM์ ์๋น์คํ ๋๋ ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ํญ์ ์ค์๊ฐ์ผ๋ก ํ์ต์์ผ ๋์ ์๋ ์๊ณ , ์ฌ์ฉ์๊ฐ ์ํ๋ ์ง๋ฌธ์ ์ ํํ๊ฒ ๋ต๋ณํ๊ธฐ ์ํด์ ์ฌ๋ฌ ์ถ๊ฐ์ ์ธ ์ง์์ด ํ์ํ๊ธฐ ๋๋ฌธ์ ์ด๋ฌํ ๋ฐฉ์์ ์ฃผ๋ก ์ฌ์ฉํ๋ค.