Loading...
2022. 1. 9. 14:18

[Python] anyio - 한 층 더 강화된 비동기 패러다임

어느덧 실무에서 Python 백엔드 엔지니어로 보낸지 1년이 조금 넘었습니다. 많은 고민과 고난, 그리고 이 자리에 오기까지 수많은 반성과 노력으로 파이썬 백엔드 엔지니어로써의 자리를 잡았던 것 같습니다. 오늘 이야기를 위해 단도직입적으로 말씀드리자면 Python은 Java의 Spring과 달리 동기 처리보다는 비동기 처리가 더 나은 빛의 성능을 보인다는 것입니다. 하지만 파이썬의 비동기 패러다임은 그 역사가 매우 복잡하다고 할 수 있을 정도로 수많은 라이브러리가 있고 그 마저도 쓰기 어려운 부분에 속합니다. Coroutine과 asyncio Python의 동시성 처리는 Thread, Process와 같이 동기적인 방법으로 수행되었습니다. 하지만 Process를 이용한 동시성 처리는 Context swi..

2022. 1. 8. 22:55

[Spring Data] Spring Data JDBC를 이용한 다양한 ID 전략과 수동 ID 전략 구현시 주의점

최근 Kotlin + Spring Boot + Spring Data JDBC 조합으로 해당 기술 스택을 이용해 DDD 개발 방법론에 대해 복습하고 있습니다. 현업에서 Python을 사용하다보니 Spring에 대한 지식이 많이 떨어졌다는 것을 느꼈는데요. 평소 Spring Data JPA라는 ORM을 사용하여 데이터베이스 연결 기반의 서버를 만들었었는데, DDD를 접하게 되면서 Command와 Query 분리에 대한 중요성을 깨닫고 ORM이 아닌 가급적 JDBC와 같은 DB API를 직접 사용하는 경우가 잦게 되었습니다. 이에 따라 JPA가 아닌 Spring Data JDBC를 사용하게 되었습니다. 그런데, 우리가 데이터베이스 연동 작업을 하다보면 각 Row에 해당하는 고유값인 ID를 생성해야 할 때가 있..

2021. 11. 9. 10:48

[FastAPI] 13. SQLAlchemy와 Pydantic을 이용한 관계 데이터 매핑

SQLAlchemy를 사용하다보면 원하지 않을 때 API에서 모든 컬럼에 대한 데이터를 받아와 최적화 하기가 어려울 때가 있습니다. 어떤 API에서는 특정 컬럼에 대한 데이터 혹은 관계 데이터가 필요할 때가 있는데, 그렇지 않은 데이터까지 모두 나오게 되어 오히려 API 로딩 속도를 저하시키고 서버 부하에 원인이 되기도 합니다. SQLAlchemy ORM의 relationship SQLAlchemy ORM에서는 관계된 데이터를 가져오기 위해 relationship을 사용할 수 있습니다. 예를 들어 블로그를 하나 만드려는데, 어떤 카테고리의 글인지를 알기 위해서 아래와 같이 데이터를 설계해 볼 수 있습니다. 카테고리는 하위 카테고리를 가질 수 있고, 하나의 컨텐츠는 카테고리 하나를 가질 수 있다라고 했을 ..

2021. 10. 30. 22:24

[FastAPI] 12. Pytest / UnitTest를 이용한 테스트 코드 작성

이번 포스트에서는 Pytest와 Unit Test를 이용하여 FastAPI에서 작성한 API를 테스트할 수 있는 방법에 대해 알아보겠습니다. Pytest Python 언어에서 지원하는 테스트 프레임워크에는 Pytest가 있습니다. Pytest는 Python에서 간단한 코드에 대해 심플하고 간결한 테스트 코드를 작성할 수 있도록 도와주며 다양한 플러그인들을 활용하여 규모가 크고 복잡한 애플리케이션에 대해서도 테스트를 쉽게 할 수 있도록 도와주는 프레임워크입니다. 주요 특징으로 아래와 같습니다. 테스트 코드 실행에 실패할 경우 자세한 정보 표시 지원 테스트 모듈 및 기능을 자동으로 검색해주는 기능 지원 Session과 같은 수명이 긴 리소스를 매개변수화 해주고, 이를 관리하기 위한 매커니즘 제공 unitte..

2021. 9. 26. 11:47

[FastAPI] 11. Dependency Injector를 이용한 의존성 관리

서버 애플리케이션을 개발하다보면 규모가 커지게 되어 이를 효율적으로 관리할 필요가 생기게 됩니다. 이에 적용하는 것으로 대표적인 아키텍처인 Layered Architecture가 있습니다. Layered Architecture는 서버 애플리케이션을 운용하기 위해 사용하는 현대 대표적인 방법으로, Application, Domain, Infrastructure의 3개로 나눌 수 있는데, 이들을 전부 객체 지향 프로그래밍으로 구현하게 되면 각각의 의존성이 늘어나게 되고, 그 로직이 커지면 이 역시 관리가 힘들어집니다. Python에서는 이러한 의존성 관리를 유연하게 하기 위해 다양한 DI 프레임워크가 존재하는데, 그 중에서도 Dependency Injector를 사용 해보고자 합니다. Dependency I..

2021. 6. 19. 22:35

[Spring Data] Spring Data JDBC를 이용한 DB 연동 (응용편)

지난 글에서 우리는 Spring Data JDBC를 이용해 간단한 쿼리를 조회하고 이를 테스트 코드로 만드는 시간을 가져봤습니다. 이번 글에서는 두 개의 테이블이 서로 관계를 가진 경우에 어떻게 데이터를 가져올 수 있는지에 대해 알아보겠습니다. Entity 이번 글에서 사용할 테이블 구조는 아래와 같습니다. 블로그에서 흔히 볼 수 있는 포스트와 코멘트입니다. 포스트에 블로그의 게시글이 달리면 그 댓글을 달 수 있는 형태로 하나의 글을 조회했을 때 댓글을 같이 부를 수 있는 예시를 담아보도록 하겠습니다. SQL script flyway에 아래의 SQL script를 입력해줍니다. 지난 글에서와는 달리 PRIMARY KEY의 생성 방법이 조금 다른데, CONSTRAINT 쿼리를 이용하면 자신이 직접 해당 키..

2021. 6. 5. 22:36

[Spring Data] Spring Data JDBC를 이용한 DB 연동 (기본편)

Spring Data JDBC는 우리가 일반적으로 알고 있는 Spring JDBC와는 조금 차이가 있습니다. JDBC 템플릿은 쿼리를 직접 입력하고 우리가 이들의 함수 형태를 직접 인터페이스로 구현해야 하기 때문에 손이 많이 갑니다. 따라서 이들을 Spring Data Commons를 바탕으로 재구성한 것이 바로 Spring Data JDBC 입니다. Background of Spring Data JDBC 우리는 이전 글에서 Spring Data Commons가 무엇인지를 알아봤습니다. 스프링에서 데이터를 다루기 위해 기본적으로 구현되어 있는 CRUD의 추상화 레이어를 만든 것이 바로 Spring Data Commons 인데요. 이를 바탕으로 JPA를 넣은 것이 바로 Spring Data JPA입니다. ..

2021. 5. 29. 20:13

[Spring Data] Spring Data module

스프링을 사용하다보면 이런 의문점이 있습니다. JPA는 JPA인데, Spring Data JPA는 무엇이며, JDBC는 JDBC인데, Spring Data JDBC는 무엇인가? JPA를 사용하는 것과 Spring Data JPA를 사용하는 것은 분명히 다른점이 있습니다. 일목요연하게 말하자면 Spring Data JPA를 몰라도 JPA를 배우는 데 큰 지장은 없지만 JPA를 모르는 상태에서 Spring Data JPA로 넘어오는 것은 마치 이론 없이 라이브러리를 쓰는 것과 동일합니다. 이처럼 Spring Data가 앞에 부튼 디펜던시들은 무언가 Spring에 최적화 되어 있는 느낌입니다. 그렇다면 Spring에서 제공하는 Spring Data Pattern은 어떤 것일까요? Spring Data Spri..

2021. 5. 16. 12:01

[Web] Dropbox / Adobe Photoshop API로 이미지 배경 지우기

개발 번외 글을 작성하는 건 지극히 오랜만인 거 같네요. 이번 포스트에서는 현재 Beta로 제공되고 있는 Adobe Photoshop API를 이용해서 이미지의 배경을 지우는 간단한 방법에 대해 알아보도록 하겠습니다. Adobe Photoshop API https://github.com/AdobeDocs/photoshop-api-docs AdobeDocs/photoshop-api-docs Adobe Photoshop API. Contribute to AdobeDocs/photoshop-api-docs development by creating an account on GitHub. github.com Adobe API는 현재 공개 베타와 비공개 베타 두 가지로 나눠서 진행 중에 있으며 Photostop ..

2021. 5. 16. 10:25

[Spring boot] Spring 테스트 방법과 @SpringBootTest

서버 애플리케이션에서는 테스트 코드를 어떻게 구현해야 할까요? 제가 처음 서버 애플리케이션을 개발하고 나서 테스트 코드를 구현했을 때 가장 큰 의문점이 들었던 유형이었습니다. 클라이언트 개발로 안드로이드 개발을 진행했을 때는 Unit Test와 Instrument Test 두 가지를 진행했고, 각각 DB I/O 테스트와 UI/UX 동작 테스트를 진행한 것이었습니다. 그렇다면 서버 애플리케이션은 어떨까요? 대표적인 Spring boot를 이번 포스트에서 다뤄볼텐데, Spring boot에서는 JUnit 이라는 테스트 도구와 Mockito라는 Mock 객체 생성 라이브러리를 이용하여 테스트를 진행할 수 있고, 테스트 방법에 따라서 3가지로 분류할 수 있습니다. Spring boot의 테스트 분류 https:..

2021. 5. 2. 19:38

[FastAPI] 10. Middleware를 이용한 전후 처리

API를 호출할 때 처리 시간이 어느 정도 소모되는지 궁금하다거나 클라이언트로부터 요청을 받았을 때 받은 EndPoint와 데이터가 궁금하다면 어떻게 해야할까요? Middleware Spring에서는 Intercepter, Filter와 같은 중간 처리 방법이 있다면, Flask에서는 App Context 중 after_request나 before_request 등의 콜백 함수로 받아 처리하는 등 여러가지 방법이 있습니다. FastAPI에는 Middleware 패턴을 가지고 있습니다. Middleware 패턴은 API 호출 전후를 중심으로 하나의 콜백 함수가 실행되고 난 뒤, API Router로 요청을 넘기는 패턴입니다. 클라이언트가 요청을 받으면 이 요청은 먼저 Middleware에서 받게 됩니다. ..

2021. 4. 11. 22:27

[Programming] Reactive (리액티브)

웹 서비스에서 흔히 발생하는 일이 있습니다. 하나의 API 결과 뿐만 아니라 n개의 API 결과를 받아보고 싶습니다. 흔히 우리가 SPA를 가지고 웹 애플리케이션을 만들다보면 여러 API를 호출하는 일이 있는데, 이와 비슷한 이야기입니다. Reactive Programming이 나오기 이전, 우리가 생각하는 대규모 애플리케이션은 그냥 수십대 서버를 가지고 GB 정도의 데이터, 몇 초 걸리는 응답 시간, 유지보수는 몇 시간 걸리는 정도가 당연하다. 라고 보고 운영을 해왔습니다. 하지만 지금은 어떨까요? 다양한 서비스가 있고, 특히 한국에서는 인터넷 속도가 굉장히 빠르기 때문에 페이지 로딩 시간이 수 초라도 걸리면 그냥 닫아버리는 게 관습이 되어버렸죠. 이렇게 변화가 된 이유는 무엇일까요? 늘어난 데이터 시..

2021. 4. 4. 12:52

[FastAPI] 9. Persistence Layer 구간을 비동기 처리 하는 방법

첫 포스트에서 우리는 FastAPI가 ASGI 기반의 uvicorn을 이용하여 uvloop에 기반한 비동기 처리로 API 요청과 응답을 비동기로 처리할 수 있다는 이야기를 하였습니다. 하지만 공교롭게도 Database Connection에서 이러한 기능을 지원해주지 않아 API 요청 단에는 비동기 처리가 가능하여도 DB에 액세스 하는 구간은 비동기 처리가 되지 않기 때문에 Blocking이 발생하고, 다음 요청이 계속 대기 되는 문제점을 가지고 있었습니다. Python DB API 그렇다면 파이썬은 어떤식으로 Database와 연결할 수 있는 것일까요? Java의 경우는 JDBC라는 Database Connector라는 것이 존재하여 애플리케이션과 Database 사이를 연결해주는 게 가능한데요. Pyt..

2021. 3. 27. 14:24

[Spring boot] Axon Framework 맛보기

이번 포스트부터 Spring을 이용한 CQRS에 대해 적어보도록 하겠습니다. 몇 파트가 지난 포스트에서 우리는 MSA의 트랜잭션 이야기 중 이벤트 소싱과 CQRS에 대해 이야기 하였습니다. 2021.03.21 - [Architecture/MSA] - [MSA] 7. MSA의 트랜잭션 이야기 3 - 이벤트 소싱과 CQRS [MSA] 7. MSA의 트랜잭션 이야기 3 - 이벤트 소싱과 CQRS 이벤트 소싱을 처음 접하게 된 것은 2017 SpringCamp에서였습니다. 당시에는 MSA라는 개념에 대해 잘 알지도 못했고, MSA는 대기업에서나 쓸 수 있고, 적용가능한 엄청나게 큰 아키텍처였다. 라고만 인 blog.neonkid.xyz CQRS와 이벤트 소싱에 대한 개념은 제대로 이해되었지만 이에 대한 구현을 ..

2021. 3. 14. 16:53

[FastAPI] 8. 비동기 처리에서 SQLAlchemy의 scoped_session이 문제가 되는 이유

아래의 포스트에서 FastAPI가 SQLAlchemy와 연동하였을 때 비동기적으로 처리하는 부분이 미흡하다는 단점에 대해 이야기했었던 적이 있습니다. 2020.12.27 - [Programming/Python] - [FastAPI] 2. SQLAlchemy를 이용한 간단한 CRUD API 만들기 [FastAPI] 2. SQLAlchemy를 이용한 간단한 CRUD API 만들기 이번 글에서는 ORM에 대한 사용 방법에 대해 알아보도록 하겠습니다. ORM은 Object Relation Mapping의 약자로 객체를 이용해서 데이터베이스 Entity에 접근하는 방법입니다. 보통 애플리케이션 레벨에서 blog.neonkid.xyz 이 부분에서 다룬 SQLAlchemy의 scoped_session에 대해 좀 더 ..

2021. 3. 6. 19:22

[RxJava] 5. Reactive 연산자 파헤쳐보기 3편 (수학 연산자 및 기타 연산자)

2021/02/21 - [Programming/Java] - [RxJava] 4. Reactive 연산자 파헤쳐보기 2편 (결합, 조건 연산자) [RxJava] 4. Reactive 연산자 파헤쳐보기 2편 (결합, 조건 연산자) 2021/02/07 - [Programming/Java] - [RxJava] 3. Reactive 연산자 파헤쳐보기 1편 (생성, 변환 연산자) [RxJava] 3. Reactive 연산자 파헤쳐보기 1편 (생성, 변환 연산자) 2021/01/23 - [Programming/Java] - [RxJ.. blog.neonkid.xyz 지난 포스트에 이어서 RxJava의 기본을 다루는 연산자 마지막 편 수학 연산자 및 기타 연산자에 대해 알아보겠습니다. 이번 포스트에서 다룰 수학 연산..

2021. 2. 27. 16:39

[FastAPI] 7. Google-auth 및 PyJWT를 이용한 OAuth2 인증 구현 2

지난 글에 이어서 이번 포스트에서는 OAuth2 인증 토큰을 API에서 받아 처리하는 방법에 대해 알아보도록 하겠습니다. HTTP Header 우리가 REST API를 통신하는 데 사용하는 HTTP 프로토콜은 Header와 Body라는 구조로 이뤄져 있습니다. Header와 Body 모두 개발자가 다룰 수 있는 데이터 구조로 되어 있으며 Header에는 전송하고자 하는 서버 혹은 클라이언트의 정보 내지 전송하고자 하는 대상에 부가적인 메타데이터를 넘겨줄 떄 사용합니다. 쉬운 예시로 위와 같이 로컬 서버에게 GET 메소드를 이용해서 리소스를 가져오는 호출을 전달했을 경우 데이터를 받는 대상자에게 부가적인 메타 데이터를 가져올 수 있도록 Key-value 형태의 데이터 구조를 가지고 있습니다. 이 중에서 가..

2021. 2. 21. 18:20

[RxJava] 4. Reactive 연산자 파헤쳐보기 2편 (결합, 조건 연산자)

2021/02/07 - [Programming/Java] - [RxJava] 3. Reactive 연산자 파헤쳐보기 1편 (생성, 변환 연산자) [RxJava] 3. Reactive 연산자 파헤쳐보기 1편 (생성, 변환 연산자) 2021/01/23 - [Programming/Java] - [RxJava] 2. Reactive 기본 연산자(Operator) - map, filter, reduce [RxJava] 2. Reactive 기본 연산자(Operator) - map, filter, reduce Reactive Programming에서 꽃이라고.. blog.neonkid.xyz 이번 포스트는 지난 포스트에 이어 결합, 조건 연산자에 대해 알아보겠습니다. 결합 연산자 결합 연산자는 여러 개의 Obser..