전체 글 8

AI 엔지니어링! 당신도 할 수 있어! (1)

서문 혼란스런 단어  : ChatGPTChatGPT가 출시되었을 때, 많은 자들에게는 놀라움의 극치였습니다. 혼란 그 자체였습니다. 저를 놀라게 한 것은 모델의 크기나 기능이 아니었습니다. 10년 넘게 AI 커뮤니티는 모델의 규모를 확장하면 성능이 향상된다는 것을 알고 있었습니다. 2012년, AlexNet 저자들은 그들의 획기적인 논문에서 다음과 같이 언급했습니다: “우리의 모든 실험은 더 빠른 GPU와 더 큰 데이터셋을 기다리는 것만으로도 우리의 결과를 개선할 수 있다고 제안합니다. ”저를 놀라게 한 것은 이 기능 향상이 열어준 애플리케이션의 엄청난 수였습니다. 저는 모델 품질 지표의 작은 증가가 애플리케이션에서의 겸손한 증가로 이어질 것이라고 생각했습니다. 대신, 새로운 가능성의 폭발로 이어졌습니다..

Apache Spark, Delta Lake with Databricks (2)- 사전 시스템 요구사항

1단계: 시스템 요구 사항 확인Docker Desktop은 Windows 10 Pro, Enterprise 또는 Education 에디션 (64비트) 에서만 작동합니다. Home 에디션에서는 작동하지 않습니다. 또한, Hyper-V 가 활성화되어 있어야 합니다. 최신 버전의 Windows 10이 권장되며, 충분한 RAM(최소 4GB)과 디스크 공간이 필요합니다.2단계: Hyper-V 활성화Hyper-V는 Windows의 가상화 기능으로, Docker Desktop이 제대로 작동하기 위해 필수적입니다. Hyper-V를 활성화하려면 다음 단계를 따르세요.Windows 기능 켜기 또는 끄기: Windows 검색창에 "Windows 기능"을 입력하고 "Windows 기능 켜기 또는 끄기"를 선택합니다.Hyper..

Apache Spark, Delta Lake with Databricks (1)- 서론

Love wins all아티스트아이유앨범The Winning발매일2024.02.20  서문끊임없이 변화하는 데이터 환경 속에서 견고하고 확장 가능하며 효율적인 데이터 엔지니어링 솔루션의 필요성이 그 어느 때보다 절실해졌습니다.  이러한 필요성을 반영하여, Databricks 레이크하우스 플랫폼의 복잡성을 마스터하기 위한 실용적인 가이드를 제공합니다.변화하는 데이터 엔지니어링 환경최근 몇 년간 데이터 엔지니어링 분야는 상당한 변화를 겪으며, 효율적이고 확장 가능하며 협력적인 솔루션에 대한 수요가 전례 없는 수준에 이르렀습니다. 이러한 패러다임 변화를 반영하여, 대규모 데이터 처리를 위한 다목적 엔진인 Apache Spark, 협업적이고 클라우드 기반 플랫폼인 Databricks, 데이터 워크플로우의 신뢰성..

자바 17 (3) - 자바 언어, 첫 발 내딛기!!!

자바의 기본 구성 요소 시작하기 이 장에서는 자바 프로그래밍 언어의 필수 구성 요소와 용어에 대해 자세히 다룹니다. 비록 이 장이 입문 장으로 여겨질 수 있지만, 그 중요성을 과소평가할 수 없습니다. 이전 장에서는 자바 코드를 작성하기 위한 완전히 구성된 개발 환경을 준비했습니다. 이제 그것을 활용할 때입니다. 이 장에서 다루는 주제는 다음과 같습니다:핵심 구문 요소JShell 사용하기자바 기본: 패키지, 모듈 및 클래스IntelliJ IDEA로 자바 프로젝트 생성하기자바 코드 컴파일 및 실행자바 애플리케이션을 실행 가능한 JAR로 패키징하기Maven 사용하기핵심 구문 요소 자바 코드를 작성하는 것은 간단하지만, 시작하기 전에 몇 가지 기본 구문 규칙을 이해하는 것이 중요합니다. 다음은 Listing 3..

자바 2024.09.30

자바 17 (2) - 자바 설치 및 환경 세팅

자바 지원:컴퓨터에서 자바가 지원되는지 확인하세요. Java 프로그램을 작성하고 실행하려면 Java Development Kit(JDK)가 설치되어 있어야 합니다.통합 개발 환경 (IDE):IDE는 코드를 작성하고 컴파일하며 실행할 수 있는 애플리케이션입니다. 이 작업들을 도와줍니다.추천 IDE:IntelliJ IDEA: 웹사이트에서 무료 커뮤니티 에디션을 받을 수 있습니다. 이 책의 목적에 충분합니다.Eclipse: 자바 개발을 위한 인기 있는 무료 IDE입니다.NetBeans: JDK 8버전까지 번들로 제공되어 대부분의 초보자가 사용하는 기본 선택지입니다. Java 9에서 JDK에서 제거된 후 NetBeans에서 사용할 수 있습니다.Maven:Maven은 프로젝트를 조직하고, 의존성을 관리하며, 대규..

자바 2024.09.26

자바 17 (1)- 자바 소개 및 25년의 역사

1. 자바 소개와 역사구글 검색에 따르면, 2020년 말까지 9492개의 기업들이 기술 스택에 자바를 사용한다고 보고되었으며, 여기에는 구글과 이 책이 쓰여지는 동안 제가 일했던 회사도 포함됩니다. 자바는 25년이 지난 지금도 가장 영향력 있는 프로그래밍 언어 중 하나로 남아 있습니다. 이 모든 것은 1990년에 시작되었습니다. 컴퓨터 산업 혁명을 선도하던 미국의 한 기업이 신흥 인터넷 세상에서 중요한 플레이어가 되고자 최고의 엔지니어들을 모아 제품을 설계 및 개발하기로 결정했습니다. 이 엔지니어 중에는 자바 프로그래밍 언어의 아버지로 인정받는 캐나다의 컴퓨터 과학자 제임스 아서 고슬링이 있었습니다. 설계와 프로그래밍, 그리고 한 번의 개명(상표 문제로 Oak에서 Java로 변경)을 거쳐 마침내 1996..

자바 2024.09.25

하둡[Apache Hadoop] 빅데이터 이야기 (2) - 하둡 제너널 이야기(Hadoop General)

하둡의 제너널 이야기 아래 도표는 세계 최조로 공개하는 테이블입니다. 하둡의 역사를 버전별로 나열한 것입니다. 그 중 버전 1에서 버전 3.5 SNAPSHOT 마지막까지를 나열해보았습니다. 1.0.41.2.12.4.12.5.22.6.02.7.02.8.02.9.02.10.0         GeneralGeneralGeneralGeneralGeneralGeneralGeneralGeneralGeneralOverviewOverviewOverviewOverviewOverviewOverviewOverviewOverviewOverviewSingle Node SetupSingle Node SetupSingle Node SetupSingle Node SetupSingle Node SetupSingle Node Setup..

하둡 2024.09.24

하둡 [Apache Hadoop] 빅데이터 이야기 (1) - 하둡에 대한 소개

하둡에 대한 소개하둡 (Hadoop)는 처음 등장한 이후로 많은 발전을 이루었습니다. 오픈 소스 애호가 커뮤니티의 지원을 받아 세 가지 주요 버전 릴리스를 경험했습니다. 첫 번째 릴리스 이후 6년 만에 버전 1 릴리스가 등장했습니다. 이 릴리스로 Hadoop 플랫폼은 Hadoop 분산 파일 시스템(HDFS) 분산 스토리지에서 MapReduce 분산 컴퓨팅을 실행할 수 있는 완전한 기능을 갖추게 되었습니다. 이 릴리스는 보안에 대한 완전한 지원과 함께 가장 큰 성능 향상을 이루었으며, HBASE와 관련된 많은 개선 사항도 포함되었습니다. 버전 2 릴리스는 Hadoop 버전 1에 비해 상당한 도약을 이루었습니다. YARN이라는 정교한 범용 자원 관리자 및 작업 스케줄링 구성 요소가 도입되었습니다. HDFS ..

하둡 2024.09.22