전체 글 (30) 썸네일형 리스트형 Pycharm Github 연결하기 (토큰 재생성) 사용 OS : MacOSPycharm version : PyCharm 2022.1.4 (Professional Edition) 1. Github 로그인- https://github.com GitHub · Change is constant. GitHub keeps you ahead.Join the world's most widely adopted, AI-powered developer platform where millions of developers, businesses, and the largest open source community build software that advances humanity.github.com 2. 우측 상단 프로필 클릭 > Repositories 페이지로 이동3. New.. 데이터 엔지니어에 대하여 1. 데이터 엔지니어란?'데이터를 분석·AI에 쓸 수 있게 정제하고, 그 데이터가 흐르는 파이프라인을 설계·구축·운영하는 사람'이다.백엔드 개발자 입장에서 보면, '데이터를 다루는 백엔드/인프라 엔지니어'라고 이해하면 쉽다.웹/앱 백엔드가 '사용자 요청 → DB → 응답'을 다루는 것처럼, 데이터 엔지니어는 '원천 데이터 → 파이프라인 → 웨어하우스 → 분석/ML'이라는 데이터 흐름을 책임진다.데이터 엔지니어는 단순히 데이터를 옮기는 사람이 아니라, 데이터의 신뢰성, 재현성, 확장성, 비용 효율성까지 책임지는 역할이다. 2. 데이터 엔지니어가 하는 일'원천 데이터 → 정제된 분석용 데이터'로 가는 파이프라인을 만드는 것이다.데이터 분석가나 데이터 사이언티스트가 '이 데이터로 뭘 분석할까?'를 고민하는 동.. 빅데이터에 대하여 1. 빅데이터란 무엇인가?빅데이터는 '기존 데이터베이스나 스프레드시트로는 저장 및 분석하기 어려울 정도로 방대하고 다양한 데이터'를 말한다.빅데이터는 '방대한 양(테라바이트, 페타바이트 그 이상)의 데이터' 라기보다 기존 데이터베이스나 엑셀과 같은 분석 도구로 저장, 처리, 분석하기 어려운 데이터를 말한다.빅데이터는 수집, 저장, 처리, 분석해서 유의미한 인사이트와 비즈니스 가치를 만들어내는 기술과 방법론 전체를 말한다.하루에 수십억 건의 검색 기록, 수천만 개의 SNS 글, 수백만 대의 스마트폰 위치 정보 등에서 나오는 데이터 모두 빅데이터의 대상이다. 2. 빅데이터의 특성 (3V)양(Volume) : 데이터의 양이 매우 크다. (ex. TB 이상의 데이터)속도(Velocity) : 데이터가 매우 빠르.. 크롬 개발자도구에서 프로토콜 확인하기(HTTP Protocol) 크롬 개발자 도구 단축키- Windows : F12 또는 Control + Shift + I- macOS : Command + Option + I 1. 개발자도구 실행 2. 새로고침으로 Network 기록 보기 3. 네트워크 기록 우클릭 > Header Options > Protocol 클릭또는 헤더 부분 우클릭 > Protocol 클릭 4. 프로토콜 확인 FastAPI란? (API 테스트 및 pydantic setting 변경) FastAPI란?FaslAPI는 Python 기반의 쉽고 빠르게 개발할 수 있도록 개발된 웹 프레임워크Swagger UI, ReDoc 자동 생성Pydantic 기반 자동 검증으로 데이터 유효성 검사와 설정 관리에 용이기본적으로 비동기 (Async) 기능 제공OpenAPI 및 Json Schema를 사용한 표준 기반 FastAPI의 계층 구조Uvicorn: ASGI 서버Starlette: (Uvicorn 사용) 웹 마이크로 프레임워크FastAPI: (Starlette 사용) API 구축을 위한 데이터 검증 등 여러 추가 기능이 포함된 API 마이크로 프레임워크-> FastAPI 가 Starlette 를 사용하고, Starlette 가 Uvicorn 을 사용하는 구조 FastAPI Project 생성 및.. [Docker] kubernetes pod err(image 지워지는 현상) 발생 현상정상적으로 실행중이던(running 상태) pod 상태가 err 로 변경새로운 pod 생성 및 CreateContainer error imagepullbackoff 상태한 달 전에도 동일한 현상이 발생했었지만, image를 다시 받은걸로 해결이 된 줄 알았으나 다시 발생image를 다시 받아 필요한 pod 모두 running 상태로 만들어놓았지만, 다시 pod err 및 image 사라짐 원인 분석 과정정상적으로 실행중이던 pod가 err로 변경이 되고, pod가 신규 생성이 됐는데 imagepullbackoff ????docker image가 있을텐데 imagepullbackoff 상태여서 docker image가 있는지 확인확인 결과 docker image가 사라짐image를 지운적이 없는데.. [Docker] Docker란 무엇인가(장점 및 단점) 1. Docker란?Docker는 개발자가 컨테이너를 신속하게 빌드, 배포, 실행, 업데이트 및 관리할 수 있는 오픈 소스 플랫폼입니다. 1-1. 주요 특징컨테이너화 : 애플리케이션을 독립적으로 실행할 수 있도록 패키징하여, 다른 애플리케이션이나 시스템과의 충돌 없이 실행이식성 : Docker image를 사용하면 개발, 테스트, 배포 환경에서도 일관성을 유지하여 애플리케이션을 실행할 수 있음효율성 : VM보다 가볍고 빠르며, 리소스 낭비가 적다. 여러 개의 컨테이너를 동일한 호스트에서 실행할 수 있음버전 관리 : Docker image는 버전 관리가 가능하며, 필요한 버전으로 손쉽게 변경할 수 있다. 1-2. 애플리케이션을 독립적으로 실행할 수 있다는게 무슨 말일까?특정 환경이나 다른 소프트웨어의 영향.. [Vue3] Vite Project 생성하기(Vite 서버 실행 속도 비교) 1. Vite Project 생성하기vite project생성 명령어 실행y 입력 후 엔터로 vite pakages 설치❯ npm create vite@leastNeed to install the following packages: create-vite@5.2.3Ok to proceed? (y) y project name 입력✔ Project name: … vite-project vite를 사용할 framework 선택 (vue)? Select a framework: › - Use arrow-keys. Return to submit. Vanilla❯ Vue React Preact Lit Svelte Solid Qwik Others 사용할 스크립터 언어.. 이전 1 2 3 4 다음
