/images/profile/profile.png

Se Hyeon Kim

Create_nodes

Install and start Minikube Install the Minikube 1 2 curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64 sudo install minikube-darwin-amd64 /usr/local/bin/minikube Start minikube cluster and Check the status 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 {seilylook} ๐Ÿš€ minikube start ๐Ÿ˜„ Darwin 14.6.1 (arm64) ์˜ minikube v1.33.0 โœจ ๊ธฐ์กด ํ”„๋กœํ•„์— ๊ธฐ๋ฐ˜ํ•˜์—ฌ docker ๋“œ๋ผ์ด๋ฒ„๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ์ค‘ ๐Ÿ‘ Starting "minikube" primary control-plane node in "minikube" cluster ๐Ÿšœ Pulling base image v0.

Scrapy

Introduction ํ•™๋ถ€ ์‹œ์ ˆ Django๋ฅผ ์ฒ˜์Œ ๋ฐฐ์šธ ๋•Œ๋ฅผ ์ œ์™ธํ•˜๊ณ  ๊ฐ„๋งŒ์— ์›น ํฌ๋กค๋ง์„ ๊ฒฝํ—˜ํ•  ๊ธฐํšŒ๊ฐ€ ์ƒ๊ฒผ๋‹ค. Beautifulsoup | Selenium์„ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ์ง€๋งŒ ์ฐพ์•„๋ณด๋‹ˆ ๋น…๋ฐ์ดํ„ฐ ํ˜น์€ ๋”ฅ๋Ÿฌ๋‹์—์„œ ๋ฐ์ดํ„ฐ ํฌ๋กค๋ง์„ ํ•  ๋•Œ Scrapy๋ฅผ ๋งŽ์ด ์‚ฌ์šฉํ•œ๋‹ค๋Š” ๊ฒƒ์„ ๋ฐœ๊ฒฌํ•˜๊ณ  ์ด๋ฒˆ ๊ธฐํšŒ์— ์‚ฌ์šฉํ•ด ๋ณด๊ธฐ๋กœ ๋งˆ์Œ ๋จน๊ณ  ๊ฐ„๋‹จํ•œ ๋ฐ์ดํ„ฐ ํฌ๋กค๋ง์„ ๊ตฌ์ถ•ํ•ด๋ดค๋‹ค. ์„ค์น˜ ๋ฐ ์‹œ์ž‘ 1 pip install scrapy 1 scrapy startproject arxiv_crawling startproject ๋ช…๋ น์–ด๋ฅผ ์ž…๋ ฅํ•˜๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์ด scrapy๊ฐ€ ์ž๋™์œผ๋กœ ํ…œํ”Œ๋ฆฟ ํด๋”๋ฅผ ์ƒ์„ฑํ•ด์ค€๋‹ค. ์ƒ์„ฑ๋œ ํ”„๋กœ์ ํŠธ ๋””๋ ‰ํ† ๋ฆฌ๋กœ ์ด๋™ํ•ด์„œ target url์— ๋งž๋Š” ํ”„๋กœ์ ํŠธ๋ฅผ ์ƒ์„ฑํ•ด์ค€๋‹ค.

Docker

Introduction ์ฟ ๋ฒ„๋„คํ‹ฐ์Šค๋ฅผ ๊ณต๋ถ€ํ–ˆ์ง€๋งŒ ์ •์ž‘ Docker์— ๋Œ€ํ•ด์„œ๋Š” ์ œ๋Œ€๋กœ ๊ณต๋ถ€ํ•œ ์ ์ด ์—†๋Š” ๊ฒƒ์ด ๋งˆ์Œ์— ๋“ค์ง€ ์•Š์•„, ์ด๋ฒˆ ๊ธฐํšŒ์— Docker๋ฅผ ์™„๋ฒฝํžˆ ์ดํ•ดํ•˜๊ณ  ๋‚ด ๊ฒƒ์œผ๋กœ ๋งŒ๋“ ๋‹ค. ๊ณต์‹ ๋ฌธ์„œ๋ฅผ ์ฝ์œผ๋ฉด์„œ ์ดํ•ด๋˜์ง€ ์•Š๊ฑฐ๋‚˜ ์•ž์œผ๋กœ ๊ณ„์† ์‚ฌ์šฉํ•ด์•ผ ํ•  ํ•ต์‹ฌ ์ฝ”๋“œ ์œ„์ฃผ๋กœ ์ •๋ฆฌํ•ด ๋†“๋Š”๋‹ค. Docker Image ์ƒ์„ฑ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 # Spark Docker # builder step used to download and configure spark environment FROM openjdk:11.

Airflow Executors

Apache Airflow๋ž€ ๋ฌด์—‡์ธ๊ฐ€? Apache Airflow๋ž€? ๊ณต์‹ ํ™ˆํŽ˜์ด์ง€์—์„œ Airflow๋Š” ์›Œํฌ ํ”Œ๋กœ๋ฅผ ์ฝ”๋“œ๋กœ ์ž‘์„ฑํ•˜๊ณ  ์Šค์ผ€์ค„๋งํ•œ ๋’ค ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๋Š” ํ”Œ๋žซํผ์ด๋ผ๊ณ  ์„ค๋ช…ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  ๊ธฐ์ˆ ์ด ๊ทธ๋ ‡๋“ฏ Airflow์—๋„ ๋‹น์—ฐํžˆ ์ˆ˜๋งŽ์€ ์žฅ์ ๊ณผ ๋‹จ์ ์ด ์กด์žฌํ•ฉ๋‹ˆ๋‹ค. ์ œ๊ฐ€ ์ƒ๊ฐํ•˜๋Š” ๊ฐ€์žฅ ํฐ ์žฅ์ ์€ ๋ฐ์ดํ„ฐ ์กฐ์ง์ด๋ผ๋ฉด ํ•„์ˆ˜๋กœ ํ•˜๊ฒŒ ๋˜๋Š” ๊ณผ๊ฑฐ ๋ฐ์ดํ„ฐ ์žฌ์ฒ˜๋ฆฌ ์ž‘์—…์„ ํŽธ๋ฆฌํ•˜๊ฒŒ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” ์ ์ด๋ผ๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฐ ์ด์œ ๋กœ ๋งŽ์€ ๋ฐ์ดํ„ฐ ์กฐ์ง์—์„œ ์ด๋ฏธ Airflow๋ฅผ ๋„์ž…ํ•ด ์‚ฌ์šฉํ•˜๊ณ  ๊ณ„์‹ค ๊ฑฐ๋ผ๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. Airflow๋Š” Apache ์ธํ๋ฒ ์ดํ„ฐ ํ”„๋กœ์ ํŠธ๋กœ ์„ ์ •๋œ ์ง€ 3๋…„ ๋งŒ์— ํƒ‘ ๋ ˆ๋ฒจ ํ”„๋กœ์ ํŠธ(Top-Level Project, TLP)๋กœ ์„ ์ •๋  ๋งŒํผ ์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ€ ๋น ๋ฅธ ์†๋„๋กœ ํ™•์žฅ๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

LLM

๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ ์ •์˜ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์€ ๋‹ค์–‘ํ•œ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” ๋”ฅ ๋Ÿฌ๋‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ž…๋‹ˆ๋‹ค. ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ์€ ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜๋ฉฐ ๋ฐฉ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ›ˆ๋ จ๋ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋Œ€๊ทœ๋ชจ์ž…๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ํ…์ŠคํŠธ๋‚˜ ๊ธฐํƒ€ ์ฝ˜ํ…์ธ ๋ฅผ ์ธ์‹, ๋ฒˆ์—ญ, ์˜ˆ์ธก ๋˜๋Š” ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ์€ ์‹ ๊ฒฝ๋ง(NN)์ด๋ผ๊ณ ๋„ ํ•˜๋Š”๋ฐ, ์ด๊ฒƒ์€ ์ธ๊ฐ„์˜ ๋‘๋‡Œ์—์„œ ์˜๊ฐ์„ ๋ฐ›์€ ์ปดํ“จํŒ… ์‹œ์Šคํ…œ์ž…๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์‹ ๊ฒฝ๋ง์€ ๋‰ด๋Ÿฐ๊ณผ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ ๊ณ„์ธตํ™”๋œ ๋…ธ๋“œ ๋„คํŠธ์›Œํฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค. ์ธ๊ณต ์ง€๋Šฅ(AI) ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ์ธ๊ฐ„ ์–ธ์–ด๋ฅผ ๊ฐ€๋ฅด์น˜๋Š” ๊ฒƒ ์™ธ์—๋„, ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ์€ ๋‹จ๋ฐฑ์งˆ ๊ตฌ์กฐ ์ดํ•ด, ์†Œํ”„ํŠธ์›จ์–ด ์ฝ”๋“œ ์ž‘์„ฑ ๋“ฑ๊ณผ ๊ฐ™์€ ๋‹ค์–‘ํ•œ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜๋„๋ก ํ›ˆ๋ จ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Langchain

Introduction LangChain์€ LLM์„ ํ™œ์šฉํ•œ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ์„ ๋‹จ์ˆœํ™”ํ•˜๊ธฐ ์œ„ํ•ด ์„ค๊ณ„๋ˆ ์˜คํ”ˆ ์†Œ์Šค ํ”„๋ ˆ์ž„์›Œํฌ์ด๋‹ค. ๋‹ค์–‘ํ•œ LLM๊ณผ ์ƒํ˜ธ ์ž‘์šฉํ•˜๊ณ , ์—ฌ๋Ÿฌ ๋ชจ๋ธ์„ ์—ฐ๊ฒฐํ•ด ๋ณต์žกํ•œ AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ตฌ์ถ•ํ•˜๋Š” ๋ฐ ๋„์›€์„ ์ฃผ๋Š” ๋„๊ตฌ์ด๋‹ค. ์ฃผ๋กœ LLM ์ž์ฒด๋ฅผ ๊ฐœ๋ฐœํ•˜๋Š” ๊ฒƒ๋ณด๋‹ค๋Š” ๋งŒ๋“ค์–ด์ง„ LLM(ChatGPT)์„ ์‚ฌ์šฉํ•ด ์—ฌ๋Ÿฌ ํ…์ŠคํŠธ ๋ถ„์„ ๊ธฐ๋Šฅ, ์ฑ—๋ด‡ ๊ฐœ๋ฐœ ๋“ฑ์— ์‚ฌ์šฉ๋œ๋‹ค. source: https://js.langchain.com/v0.1/docs/get_started/introduction/ Source : https://aws.amazon.com/ko/what-is/langchain/ ํŠนํžˆ LangChaindms RAG(Retrieval Augmented Generation) ๊ฐ™์€ ํ•™์Šต์œผ๋กœ ๋ชจ๋“  ์ž…๋ ฅ์„ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์—†๋Š” ์ผ€์ด์Šค์— ๋งŽ์ด ์‚ฌ์šฉ๋œ๋‹ค. ์‹ค์ œ๋กœ LLM์„ ์„œ๋น„์Šคํ•  ๋•Œ๋Š” ๋ชจ๋“  ๋ฐ์ดํ„ฐ๋ฅผ ํ•ญ์ƒ ์‹ค์‹œ๊ฐ„์œผ๋กœ ํ•™์Šต์‹œ์ผœ ๋†“์„ ์ˆ˜๋„ ์—†๊ณ , ์‚ฌ์šฉ์ž๊ฐ€ ์›ํ•˜๋Š” ์งˆ๋ฌธ์„ ์ •ํ™•ํ•˜๊ฒŒ ๋‹ต๋ณ€ํ•˜๊ธฐ ์œ„ํ•ด์„œ ์—ฌ๋Ÿฌ ์ถ”๊ฐ€์ ์ธ ์ง€์‹์ด ํ•„์š”ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์ด๋Ÿฌํ•œ ๋ฐฉ์‹์„ ์ฃผ๋กœ ์‚ฌ์šฉํ•œ๋‹ค.