본문 바로가기
반응형

전체 글711

Spark Study - 용어를 익히자! (feat. spark architecture) spark의 주요 컴포넌트는 드라이버와 익스큐터이며 모두 jvm 프로세스이다. 드라이버 : 애플리케이션, 메인 프로그램이 들어가있다. spark-shell을 사용하고 있다면 spark-shell은 드라이버 프로그램이 되고, 드라이버는 클러스터에 익스큐터를 시작 시키고 태스크 실행을 제어한다. 익스큐터 : 클러스터의 워커 노드에서 실행 중인 프로세스이다. 익스큐터 내부에서 개별 태스크나 계산이 실행된다. 클러스터 관리자 : 클러스터를 구성하는 계산 노드 전체에 대해 자원 예약과 자원 할당을 담당한다. 종류에는 독립형, 얀, 메소스, 쿠버네티스가 있다. 스파크 프로그램의 주요 진입점은 SparkContext이다. SparkContext는 드라이버 컴포넌트 내부에 있으며, 스케줄러, 태스크 배포, 오케스트레이.. 2021. 10. 28.
springbootStudy05- test code를 작성해보자 이 강좌는 매주 화요일 사외 스터디를 통해 작성! 스프링 부트와 AWS로 혼자 구현하는 웹서비스 책을 선정!(이동욱 저) 내가 생각하는 커리큘럼이랑 같아서 선정! 지난 스터디 2021.10.13 - [OpenSource/Spring Boot] - springbootStudy01 - Jetbrains toolbox 설치 2021.10.14 - [OpenSource/Spring Boot] - springbootStudy02 - 그래들 기반 springboot project만들기! build.gradle 이해하기 2021.10.19 - [OpenSource/Spring Boot] - springbootStudy03-인텔리J(IntelliJ)에서 깃헙(github)연동 해보기 2021.10.26 - [OpenS.. 2021. 10. 27.
springbootStudy04 - .gitignore 파일을 만들어보자 이 강좌는 매주 화요일 사외 스터디를 통해 작성! 스프링 부트와 AWS로 혼자 구현하는 웹서비스 책을 선정!(이동욱 저) 내가 생각하는 커리큘럼이랑 같아서 선정! 지난 스터디 2021.10.13 - [OpenSource/Spring Boot] - springbootStudy01 - Jetbrains toolbox 설치 2021.10.14 - [OpenSource/Spring Boot] - springbootStudy02 - 그래들 기반 springboot project만들기! build.gradle 이해하기 2021.10.19 - [OpenSource/Spring Boot] - springbootStudy03-인텔리J(IntelliJ)에서 깃헙(github)연동 해보기 .gitignore파일이란? 요녀석.. 2021. 10. 26.
springbootStudy03-인텔리J(IntelliJ)에서 깃헙(github)연동 해보기 이 강좌는 매주 화요일 사외 스터디를 통해 작성! 스프링 부트와 AWS로 혼자 구현하는 웹서비스 책을 선정!(이동욱 저) 내가 생각하는 커리큘럼이랑 같아서 선정! 지난 스터디 2021.10.13 - [OpenSource/Spring Boot] - springbootStudy01 - Jetbrains toolbox 설치 2021.10.14 - [OpenSource/Spring Boot] - springbootStudy02 - 그래들 기반 springboot project만들기! build.gradle 이해하기 오늘은! 컨트롤 + 쉬프트+ A 를 눌러서 아래의 Share Project on GihHub를 찾아보자! 혹, No manual entry for share\;type\=a 를 간혹 볼수 있는데 그럴.. 2021. 10. 19.
Docker에 apache storm 셋팅 및 띄워보기!(feat. Zookeeper) Docekr 기반 apache storm을 셋팅 해보자. image가 필요하다. zookeeper storm image는 Dockerfile를 통해서 docker build를해서 만드는 방법도 있고 docker hub에서 pull를 하는 방법도 있다. docker pull storm를 하게 되면 storm image를 pull한다. storm latest 1397784c79f3 20 hours ago 667MB zookeeper의 경우 docker run을 했을 때 없으면 알아서 image를 pull 해준다. docker run -d --restart always --name some-zookeeper zookeeper 3. 이제 실행을 해야하는데 docekr run을 통해서 하거나 여러가지를 한꺼번에 .. 2021. 10. 14.
springbootStudy02 - 그래들 기반 springboot project만들기! build.gradle 이해하기 이 강좌는 매주 화요일 사외 스터디를 통해 작성! 스프링 부트와 AWS로 혼자 구현하는 웹서비스 책을 선정!(이동욱 저) 내가 생각하는 커리큘럼이랑 같아서 선정! 2021.10.13 - [OpenSource/Spring Boot] - springbootStudy01 - Jetbrains toolbox 설치 project 생성! 프로젝트는 spring 기본 셋팅을 지원해주는것을 사용하지 않고 쌩짜로 만들어봅니다. 왜냐면 build.gradle를 이해하기 위함이져! 기본 디폴트로 아래와 같이 build.gradle이 셋팅이 됩니다. plugins { id 'java' } group 'kr.pe.acet' version '1.0-SNAPSHOT' repositories { mavenCentral() } dep.. 2021. 10. 14.
springbootStudy01 - Jetbrains toolbox 설치 이 강좌는 매주 화요일 사외 스터디를 통해 작성! 스프링 부트와 AWS로 혼자 구현하는 웹서비스 책을 선정!(이동욱 저) 내가 생각하는 커리큘럼이랑 같아서 선정! https://www.jetbrains.com/ko-kr/lp/toolbox/ JetBrains Toolbox A suite of tools for development professionals who use various languages and technologies. www.jetbrains.com 위의 링크를 통해 다운로드 후 셋업! 사용방법은! ㅋㅋ 즐겁게 코딩 ㅋㅋㅋ 저는 아래와 같이 3개가 다운로드 되어있네요. 업데이트를 쉽게 할수 있을것 같네요 그리고 vm옵션 등의 설정을 조절할수 있습니다. IntelliJ에서 설정으로 들어가신 .. 2021. 10. 13.
squid setting squid란? http/1.0 proxy http://www.squid-cache.org/Intro/ squid CentOS 7에 셋팅! sudo yum install squid Loaded plugins: fastestmirror, langpacks, versionlock Determining fastest mirrors EPEL7 | 4.7 kB 00:00:00 base | 3.6 kB 00:00:00 centosplus | 2.9 kB 00:00:00 extras | 2.9 kB 00:00:00 update | 2.9 kB 00:00:00 (1/5): extras/7/x86_64/primary_db | 243 kB 00:00:00 (2/5): EPEL7/7/x86_64/updateinfo | 1.0.. 2021. 9. 9.
[Spark-Study] Day-9 스칼라? 빅데이터 분석을 위한 스칼라와 스파크 책을 구입! 107p 까지 읽음. 간략하게 요약해보면 1장 스칼라는 함수형 프로그래밍과 강력한 정적 타입 시스템을 지원하는 벙용 프로그래밍 언어. 정적타입? 프로그래밍언어에서 컴파일 시간에 변수의 타입을 알게 되면 정적타입 언어라고 함. (ex 자바 같은언어) 반대 개념은 인터프리터 언어(런타임시에 언어를 분석, 파이썬 같은 애들) 객체지향 프로그래밍과 함수형 프로그래밍의 개념을 지원. 여러 IDE를 지원(이클립스, 인텔리제이, VIM 등등) 스칼라는 JVM을 사용하기 때문에 자바가 설치 되어있어야 함. 스칼라는 확장 가능한(Scalable) 언어에서 유래 했다고 함. 스칼라 REPL(레플) 스칼라 shell에 스칼라 코드를 좀 더 쉽고 간결하게 작성할 수 있게 하는.. 2021. 9. 9.
제 4장 Vue.js 기초 이론 2021.08.17 - [Front/Vue.js] - 제 3장 Vue.js 둘러보며 친해지기! 저번 시간에 이래저래 필요한 것들에 대해서 알아보았다. 이제는 조금 더 파고 들어서 관련 내용들을 이해할 수 있도록 공부해보자. Vue.js는 SPA(Single Page Application) Framework Vue Instance는 MVVM패턴의 View Model에 해당 var vm = new Vue({ /* options */ }) 형태 참고 형태(View, Model) View는 vm.$el // The View 형태 vm.$data // The Model 형태 View(DOM)와 MOdel(Javascript Object) 사이의 통신을 가능하게 해주는 역할. binder를 가지고 있어 View와 .. 2021. 9. 7.
[Spark-Study] Day-8 스파크 리마인드 2021.08.26 - [Study/Study group] - [Spark-Study] Day-7 오늘은 62p부터 시작! 목차를 보면서 다시 리마인드를 해보자. http://www.yes24.com/Member/FTMyPageMain.aspx YES24 - 대한민국 대표 인터넷서점 www.yes24.com 책을 하나 선정해서 다음 주 부터는 차근차근 같이 보도록 하자. 2021. 9. 2.
nginx reverse proxy 설정 해보기 환경 : CentOS7 / nginX 1.18.0 기준 root 권한이 필요 sudo -i or 명령어 수행 시 sudo를 붙여서 처리. 최신 nginx 설치를 하기 위해 별도의 repo를 지정. vi /etc/yum.repos.d/nginx.repo 아래의 내용을 추가 [nginx] name=nginx repo baseurl=https://nginx.org/packages/centos/$releasever/$basearch/ gpgcheck=0 enabled=1​ 회사 내에 프록시를 사용하고 있다면 아래처럼 설정. vi /etc/yum.conf proxy=http://proxy url​ yum update yum update Loaded plugins: fastestmirror, langpacks, v.. 2021. 8. 26.
[Spark-Study] Day-7 spark-shell을 통한 실습 2021.08.19 - [Study/Study group] - [Spark-Study] Day-6 저번 시간에 55p 실습하다 잘 안되는 부분 다시 츄라이~ spark-shell을 통해 코딩! terrypark  ~   master  spark-shell 21/08/26 10:19:58 WARN Utils: Your hostname, acetui-MacBookPro.local resolves to a loopback address: 127.0.0.1; using 172.27.114.231 instead (on interface en0) 21/08/26 10:19:58 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address WA.. 2021. 8. 26.
Disk Full 처리 , 서버에서 로그만 찾겠다는 마인드는 버려라!! disk가 97%가 차서 연락이 왔다. 그래서 로그들을 확인하고 지워줬는데..음? 변화가 없네 뭐지..-_-; sudo fdisk -l /dev/sda4 Disk /dev/sda4: 468.1 GB, 468081180672 bytes, 914221056 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes df -h / 2021. 8. 22.
[Spark-Study] Day-6 DataFrame Api The DataFrame API spark-shell을 실행 /usr/local/Cellar/apache-spark/3.1.2/bin/spark-shell Spark context available as 'sc' (master = local[*], app id = local-1629336161368). Spark session available as 'spark'. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 3.1.2 /_/ Using Scala version 2.12.10 (OpenJDK 64-Bit Server VM, Java 11.0.10) Type in expres.. 2021. 8. 19.
제 3장 Vue.js 둘러보며 친해지기! 2021.08.14 - [Front/Vue.js] - 제1장 - Vue.JS 환경설정과 프로젝트 생성 2021.08.14 - [Front/Vue.js] - 제 2장 Vue.js 프로젝트를 github과 연동 1장과 2장에서는 환경설정 -> 프로젝트 생성 -> github연동 3장에서는 더욱 더 친해지기 단계 입니다. 구조를 익히고 필요한것을 찾아보는 단계 아키텍처, 프로젝트 구조, vue.js에 필요한 것들에 대해서 더욱 더 나아가 소스 코딩도 해보고 github 명령어 사용도 해보고! add, commit, push, pull 등등 vue.js는 javascript framework이다. 즉, 개발자가 개발을 잘하도록 구조도 잡아주고 도와주는 친구다. 저번 시간에 우리는 vue/cli로 프로젝트를 만들.. 2021. 8. 17.
제 2장 Vue.js 프로젝트를 github과 연동 2021.08.14 - [Front/Vue.js] - 제1장 - Vue.JS 환경설정과 프로젝트 생성 제1장 - Vue.JS 환경설정과 프로젝트 생성 Vue.js 이녀석...찍먹만 하고 제대로 안했더니 이도저도 아닌게 되버렸다. 아래는 ace-t의 찍먹 현장 입니다 ㅋㅋ 2018.09.10 - [Front/Vue.js] - Vue.js 맛보기 2019.05.31 - [Front/Vue.js] - [acet-#1] Vue.js.. acet.pe.kr 저번 스터디에서는 로컬 개발환경 셋팅 및 프로젝트를 생성해보았습니다. 오늘은 만들었던 프로젝트를 github에 연동하는 것을 해보도록 하겠습니다. 다들 아시겠지만..! github은 소스를 관리해주는 녀석 입니다. 아~주 오래전 호랑이 담배피던 시절 githu.. 2021. 8. 14.
제1장 - Vue.JS 환경설정과 프로젝트 생성 Vue.js 이녀석...찍먹만 하고 제대로 안했더니 이도저도 아닌게 되버렸다. 아래는 ace-t의 찍먹 현장 입니다 ㅋㅋ 2018.09.10 - [Front/Vue.js] - Vue.js 맛보기 2019.05.31 - [Front/Vue.js] - [acet-#1] Vue.js 무작정 해보기(기본-Vue.js? 좋은거? 먹는거?) 2019.06.04 - [Front/Vue.js] - [acet-#2] Vue.js 무작정 해보기(용어 등 훝어보기!) 2019.06.12 - [Front/Vue.js] - const definitions are not supported by current javascript version 2019.06.18 - [OpenSource/Spring Boot] - VueJS를 연동.. 2021. 8. 14.
맥북 Clipy 앱!(업무 효율 UP! UP!) - feat. Get Plain Text https://github.com/Clipy/Clipy/releases Clipy는 매우 유용한 앱이다. 히스토리, 즉 클립보드에것을 바로바로 사용할 수 가 있다. 그리고 Get Plain Text와 함께 위력을 더 증가 시킨다. 아래처럼 서식을 삭제한다. 즉, Clipy의 내용에서 서식 삭제가 가능하다. 다시 Clipy로 돌아와서! 단축기는 아래과 같이 설정이 가능하다. 인텔리J와 단축기가 겹치는 부분이 있어서 . 으로 변경하였다. 저 같은 경우는 Main을 주로 사용 합니다. 아까 복사했던 내용들을 골라서 사용할 수 가있다. 사용해보니 너무 좋아서 공유를 해본다~ 2021. 8. 12.
Mac에서 유용한 Buttercup 앱!(비번 관리 앱) 자꾸만 비밀번호를 까먹는다면..Buttercup 앱을 사용해봐도 좋을 것이다. 셋팅은.. 저 같은 경우는 github에서 다운받아서 했는데 셋팅하다보니 홈페이지도 존재했네요 ㅎㅎ https://github.com/buttercup/buttercup-desktop/releases 홈페이지 : https://buttercup.pw/ OS에 맞게 다운받으시면 됩니다. Dropbox나 Google Drive를 고민하다가 Google Dirve를 선택! Vault를 하나 만들어서 암호 지정해주고 아래와 같이 그룹별로 디렉토리등을 만들어서 비밀번호를 관리할 수 가 있다. 아래와 같이 Vault Locked도 가능! 하지만 요 들어가는 암호를 까먹으면 말짱 도루묵이다 ㅋㅋ 나이가 들고 깜빡 깜빡하는데..ㅠㅠ 필요한것.. 2021. 8. 12.
iTerm에서 서버 list를 관리 해보자! 서버를 다룰 때 터미널 보다 iTerm을 많이 사용을 하실텐데요 여기에서 매우 불편했던..서버 접속 리스트를 iTerm에서 바로바로 관리할 수 있는 기능이 있습니다. 바로 profile이라는 기능인데요 iTerm에서 옵션+o를 누르시면~ 아래와 같이 profiles를 설정할 수 있는 창이 뜹니다. Edit Profiles...를 클릭하면 설정할 수가 있습니다. Name과 Command에서 ssh 설정을 합니다. 결과 : 아래처럼 리스트가 생성이 되며 클릭 시 command에 작성하였던 접속정보를 통해 서버에 접속이 됩니다. 또한 Tags에 원하는 태그명을 통해 검색도 되니! 매우 유용한것 같습니다. 이제 서버리스트가 적힌 위키나 깃헙을 뒤져보지 않아도 되겠습니다. 너무너무 좋네요 ㅎㅎ 2021. 8. 12.
반응형

티스토리툴바