초코볼의 inside Tech

우연한 기회에 회사 동료로부터 Apple Watch 를 빌려서 사용해 볼 기회가 생겼습니다.

원래는 Apple Watch 에서 심전도가 되는지를 물어보다가, "한번 사용해 보세요" 라고 혼쾌히 빌려 주시네요.

제가 빌린 제품의 정식 명칭은 다음과 같습니다.

Apple Watch Nike+ Series 4 GPS 40mm Silver Aluminum case MU6H2ZP/A

1. 외관

다른 iPhone 과 연동하려면, 먼저 연동을 꼭 끊고 새로연결 해야 합니다.

연동을 끊지 않으니 여전히 예전 설정으로 동작하고 있습니다.

알루미늄 케이스, 사파이어 글레스, 편리한 찍찍이 스트렙.

40mm 라 화면 크기가 좀 작은게 아쉽긴 한데, 깔끔함의 정수를 보여주는 것 같습니다.

2. 연동

iPhone 근처에 가져가면 연동되므로, 그렇게 하도록 안내가 나옵니다.

일본어나 영어로도 언어가 바뀌면서 안내가 되네요.

iPhone 근처에 가져가면, 인식을 합니다.

계속을 눌러주면, paring 을 시작합니다.

연동하고자 하는 기기가 맞는지, 확인하는 작업을 시작합니다.

바코드나 어떤 표식이 있는게 아니라, 좁쌀만한 파티클이 물결에 움직이는 것처럼 표시합니다.

Apple Watch 연동하면서 가장 신기한 모습이었습니다.

Particle 의 움직임을 남기고 싶어 여기에 동영상을 올려 봅니다.

파티클 위에 뷰파인더를 맞추면 기기를 인식합니다.

잘 연결되었다고 뜨네요.

연결되면, 사과를 중심으로 원반 모양으로 표시가 됩니다.

Apple Watch 도 동일한 모양이 나오네요.

신기한건 요 조그마한 화면에 해상도 높은 그림을 높은 색감을 뿌려주는 것입니다.

한번 손목에 걸어 봤습니다. 흠흠.

3. Apple ID

이제 Apple ID 를 연동하여, iPhone 과 정보교환을 하게 됩니다.

이제 어떤 식으로 Apple Watch 를 사용할 것인지 물어봅니다.

Apple 에 내 사생활 패턴을 넘길 것인지 물어보네요.

제가 뭐 대단하다고, 그냥 갔다 쓰라고 합니다.

네~ 다~ 가져다 쓰십쇼~.

손목에 있지만, 만일을 대비하여 암호를 설정하게 됩니다.

앙증맞게 요 조그마한 화면에 숫자를 띄워줍니다.

4. 활동 설정

Apple Watch 는 웨어러블 기기이므로, 활동을 설정해 줍니다.

현재의 저의 정보를 입력합니다.

지금 몸무게가 102Kg 이므로, 숨김없이 넣어줍니다. 왜냐하면 저는 정상이 되고 싶기 때문입니다.

일일 목표도 설정하구요.

770kcal 는 그리 큰 수치는 아니지만, 100보도 한걸음 부터.

Apple Watch 가 Nike+ 버전이므로, Nike Run Club 이 자동으로 깔립니다.

빌려 받은 것이라, 땀 흘러거나 격한 운동을 할 때 사용해 보지는 않았습니다.

AirPod 와 연동해서 사용하면 정말 멋질 것 같습니다. AirPod 도 가지고 있는데...

* Hardware | AirPods 구입기

- https://chocoball.tistory.com/entry/Hardware-AirPods-buy

심전도!

그렇습니다. 심전도를 측정하고 저심박수을 감지하기 위해 이 Apple Watch 를 이용해 보려 했던 것이였습니다.

수면 중, 저심박수를 검출해 내어, 큰 병으로 이어지는 것을 미연에 방지한 경우가 있다고 들었습니다.

이 정도 기능이면 부차적인 의료기기로도 활용할 수 있겠네요.

안타깝게도 한국 버전은 이 기능이 막혀 있다고 들었습니다.

(빌린 기기는 홍콩 구입 버전)

얼른 법이 바뀌어, 이런 기기들이 의료기기의 보조적인 툴로 어서 빨리 사용되길 희망합니다.

긴급 구조요청도 버튼으로 할 수 있고, 넘어짐 감지도 가능하다고 하네요.

연로하신 분들에게도 너무 좋은 기능 아닙니까?

한번 사용해 보는 것이니, 가능한 앱은 모두 인스톨 해 놓습니다.

마지막으로 동기화를 하면 완전히 사용할 수 있는 준비가 끝납니다.

iPhone 과 동기화를 통해 iMessenge 와 Facetime 정보를 교환할 수 있습니다.

Apple Watch 와 iPhone 을 쓰면서 편했던 것은,

휴대폰을 주머니에서 꺼내보지 않아도 메시지 확인이 가능한 것과, 전화 통화를 Apple Watch 를 통해서 통화가 가능하다는 것입니다.

너무 편해요.

5. 화면 설정

연동이 끝났으니, Apple Watch 의 화면 설정을 할 수 있습니다.

이 화면 설정을 통해서, 여러가지 정보를 한눈에 볼 수 있도록 구성할 수도 있고, 멋진 시계처럼 보이게 할 수도 있습니다.

iPhone 을 찾을 수 없을 때에는, Apple Watch 를 통해서 찾을 수도 있습니다.

워키토키처럼 사용할 수 있다고 합니다.

사용 설명서가 필요할 정도로 기능이 많은 듯 합니다.

여러가지 기능을 지원하는 앱들을 통해 Apple Watch 를 컨트롤 할 수 있습니다.

시계 화면을 꾸밀 수 있습니다.

이제 다 준비가 되었네요.

6. 심장 기능

연동이 끝났으니, Apple Watch 의 기능 중, "심전도" 기능을 확인해 봤습니다.

저심박수는 보통 수면 중에 일어나는데, 심부전증의 전조 증상이라고 합니다.

이게 미리 파악이 되면 예방 치료를 할 수 있는데, 심해지면 병을 인식하기 전에 수면 중에 사망하기도 한답니다.

24시간 측정해서 그래프로도 그려줍니다.

예전에 심박수 측정 그래프를 그리기 위해 허리에 기기를 차고 다닌적이 있었는데,

세상이 편해져서 손목 시계로 확인이 가능하던 시대가 왔네요.

7. 심호흡

제가 Apple Watch 에서 가장 마음에 드는 앱입니다. 

어디를 가는 중이거나, 앉아 있다 보면, 훅~ 하고 이 메시지가 뜹니다.

심호흡 하세요~.

하루 일상 중에 심호흡을 하다 보면, 뭔가 안정되는 느낌을 확실하게 받습니다.

Apple Watch 가 진동하면서 심호흡 페이스를 조절해 줍니다.

머리를 비워 無의 상태로 만들고, 손목에서 진동하는 Apple Watch 에 따라 숨을 깊이 쉬었다 내쉬면,

너무너무 기분전환이 잘 됩니다.

이 심호흡 앱 하나만으로 Apple Watch 의 가치는 충분하다고 느껴지네요.

수영 스트로크를 카운트 해주거나, 운동과 연동시키는 등, 더 많은 기능을 활용할 수 있으면 더더욱 좋을 것 같습니다.

하나쯤은 가지고 있어도 좋은 기기처럼 여겨집니다.

이 글은 이전 MAX30105 파티클 센서를 활용하여 OLED 에 심전도를 그려보는 도전기 입니다.

이전 글은 아래 link 를 참고하세요.

* Hardware | MAX30105 파티클 센서 - 1

- http://chocoball.tistory.com/entry/Hardware-MAX30105-particle-sensor-1

1. min, max 와 scalar

일단 MAX30105 에서 입력받는 값은 5만에서 많게는 10만도 넘어갑니다.

이를 32 pixel 너비를 갖는 OLED 에 표현하려면 그 값에 맞도록 축소시켜야 합니다.

이에 더하여, 값들의 기준이 아래 그림처럼 널을 뛰므로 기준값을 잡기가 여간 쉽지 않습니다.

기준값을 잡기 위해 min, max 값을 한 사이클당 판별하여 scale in 치환값을 잡아줘야 합니다.

이를 위해 일단, 이전 사이클에서 얻은 제일 작은 min 값을 이용하여,

입력받는 값에서 빼면 그래프가 아래 그림처럼 내려갑니다.

OLED 폭이 128 pixel 이므로, 이 폭을 한 사이클로 잡습니다.

EXCEL 을 통하여 위의 방식을 검증해 본 결과 문제 없이 표현되는 것을 확인할 수 있었습니다.

OLED 의 y 값에 해당하는 값을 EXCEL 에서 32 pixel 기준으로 변환된 값을 array 에 입력하고

순서대로 출력해서 OLED 에 맞는지 최종 확인해 봅니다.

요리조리 검증해 본 결과 아래 식을 통해서 min, max 값과 한 사이클을 OLED 폭인 128 에 표현하고

다시 0 부터 시작하는 - 화면이 바뀌는 방법을 확인하였습니다.

	irValue = particleSensor.getIR();
	
	if( x > 127) { //refresh OLED screen
		display.clearDisplay();
		lastx=0;
		x=1;
		
		scaler = (max_irValue - min_irValue) / 32;
		pre_min_irValue = min_irValue;
		
		// reset min, max value
		max_irValue = irValue;
		min_irValue = irValue - 1;
	}

2. y값 reverse

OLED 에 표현시, x/y 값은 우리가 일반적으로 배운 왼쪽 아래에서 시작되는 것이 아니라,

왼쪽 위로부터 값의 증가를 표현합니다.

즉, sensor 로부터 값을 입력 받으면, 상하 전치를 시켜줘야 합니다.

제가 쓰고 있는 것은 상하 32 pixel 이므로, 아래 한 pixel 을 빼면 31 이므로,

31 에서 입력받은 값을 빼주면 표현하고자 하는 위치로 바꿀 수 있습니다. 

	// invert y values to fit OLED display
	if ( pre_min_irValue > irValue) {
		y = 31;
	} else {
		y = 31 - ((irValue - pre_min_irValue) / scaler);
	}

값이 너무 적어지면, 값이 역전하여 아래 그림같이 튀어버립니다.

그래서 전 사이클에서 확인 되었던 min value 보다 적어지면 강제적으로 최저값을 할당합니다.

여기서 "y = 31" 은 OLED 상에서는 제일 밑에 표시되는, 일상의 0 값과 같습니다.

3. BPM 과 piezo buzzer

심전도의 값이 가장 높아지면 buzzer 를 울리게 하는 소스 입니다.

또한 BPM 값도 표현해 줍니다.

BPM 값은 심전도의 한 사이클 평균을 내어 1분동안 얼마나 맥박이 뛰는지를 수치화 한 값입니다.

소스는 다음과 같고, 아래 blog 를 전면 참고하였습니다.

* Heart beat Sensor and “ECG” Display

- http://www.xtronical.com/basics/heart-beat-sensor-ecg-display/

	ThisTime=millis();
	if( y < UpperThreshold ) {
		if(BeatComplete) {
			BPM=ThisTime-LastTime;
			BPM=int(60/(float(BPM)/1000));
			BPMTiming=false;
			BeatComplete=false;
			tone(2,1000,250);
		}
		if(BPMTiming==false) {
			LastTime=millis();
			BPMTiming=true;
		}
	}
	if((y > LowerThreshold) && (BPMTiming))
		BeatComplete=true;

4. source

지금까지의 작업을 모두 합하여 하나의 소스로 만들었습니다.

#include "Wire.h"
#include "MAX30105.h"

#include "SPI.h"
#include "Adafruit_GFX.h"
#include "Adafruit_SSD1306.h"

// Hardware SPI
#define OLED_DC     6
#define OLED_CS     7
#define OLED_RESET  8
Adafruit_SSD1306 display(OLED_DC, OLED_RESET, OLED_CS);

MAX30105 particleSensor;

unsigned int irValue;
unsigned int max_irValue;
unsigned int min_irValue;
unsigned int x = 0;
unsigned int y;
unsigned int lastx = 0;
unsigned int lasty = 0;
unsigned int scaler;
unsigned int pre_min_irValue;
int BPM;
int LastTime = 0;
int ThisTime;
bool BPMTiming=false;
bool BeatComplete=false;
#define UpperThreshold 10
#define LowerThreshold 25

void setup() {
  Wire.begin();
  display.begin(SSD1306_SWITCHCAPVCC);
  display.clearDisplay();
  
  // initialize sensor
  if (!particleSensor.begin(Wire, I2C_SPEED_FAST)) { //Use default I2C port, 400kHz speed
    display.println("MAX30105 was not found. Please check wiring/power.");
    while (1);
  }
  
  //Setup to sense a nice looking saw tooth on the plotter
  byte ledBrightness = 0x1F; //Options: 0=Off to 255=50mA
  byte sampleAverage = 8; //Options: 1, 2, 4, 8, 16, 32
  byte ledMode = 3; //Options: 1 = Red only, 2 = Red + IR, 3 = Red + IR + Green
  int sampleRate = 1000; //Options: 50, 100, 200, 400, 800, 1000, 1600, 3200
  int pulseWidth = 411; //Options: 69, 118, 215, 411
  int adcRange = 4096; //Options: 2048, 4096, 8192, 16384
  
  particleSensor.setup(ledBrightness, sampleAverage, ledMode, sampleRate, pulseWidth, adcRange); //Configure sensor with these settings
  
  // initiate min, max values
  irValue = particleSensor.getIR();
  max_irValue = irValue;
  min_irValue = max_irValue - 1; 
  for (int ini ; ini < 100 ; ini++) {
	  irValue = particleSensor.getIR();
	  
	  if (max_irValue < irValue) {max_irValue = irValue;}
	  if (min_irValue > irValue) {min_irValue = irValue;}
  }
  
  display.display();
}

void loop() {
	irValue = particleSensor.getIR();
	
	if( x > 127) { //refresh OLED screen
		display.clearDisplay();
		lastx=0;
		x=1;
		
		scaler = (max_irValue - min_irValue) / 32;
		pre_min_irValue = min_irValue;
		
		// reset min, max value
		max_irValue = irValue;
		min_irValue = irValue - 1;
	}
	
	display.setTextColor(WHITE);
	ThisTime=millis();

	// invert y values to fit OLED display
	if ( pre_min_irValue > irValue) {
		y = 31;
	} else {
		y = 31 - ((irValue - pre_min_irValue) / scaler);
	}
	
	// draw heartbeat lins
	display.drawLine(lastx, lasty, x, y, WHITE);
	lasty = y;
	lastx = x;
	
	// update min, max values
	if (max_irValue < irValue) {max_irValue = irValue;}
	if (min_irValue > irValue) {min_irValue = irValue;}
	
	ThisTime=millis();
	if( y < UpperThreshold ) {
		if(BeatComplete) {
			BPM=ThisTime-LastTime;
			BPM=int(60/(float(BPM)/1000));
			BPMTiming=false;
			BeatComplete=false;
			tone(2,1000,250);
		}
		if(BPMTiming==false) {
			LastTime=millis();
			BPMTiming=true;
		}
	}
	if((y > LowerThreshold) && (BPMTiming))
		BeatComplete=true;
	
	// display BMP
	display.fillRect(0,24,64,32,BLACK);
	display.setCursor(0,24);
	display.print("      BPM");
	display.setCursor(0,24);
	display.print(BPM);
	
	// check finger is on the sensor
	if (irValue < 10000) { display.setCursor(1,1); display.print("NO Finger?"); }
	
	// display all data to OLED
	display.display();
	x++;
}

결과 동영상을 올려 봅니다.

FIN

이걸 구현해 보려고 3주간 주말 = 토, 일 이틀간 x 3 = 6일 동안 삽질의 연속이었습니다.

이 문제는 소스에서 scalar 를 구하기 위한 나누기를 해야 하는데, % 연산자를 사용했기 때문이었습니다.

* Modulo

- https://www.arduino.cc/reference/en/language/structure/arithmetic-operators/modulo/

% 연산자는 몫을 구하는 것이 아니라, 나머지를 구하는 연산자지요!!!

반대로 알고 있었던 것. 이걸 알아 차리는데 6일이나 걸렸습니다!!!

변수의 갯수도 줄여 보기도 하고, 각 값을 먼저 scale in 해서 결과를 내보기도 하고, 하여간 별짓 다 했습니다.

처음에 디버깅만 잘 했어도 이렇게 오래 걸리지는 않았을 듯 하네요.

디버깅 작업이 얼마나 중요한지 새삼 깨닳았습니다.

이렇게 하면 Serial Monitor 에도 이렇게 나오니 환장할 노릇이었습니다.

이 덕에 Hardware SPI 활용과 OLED refresh rate 등등을 공부하게 되었네요.

아이고야... 좀 쉬자.

SpO2 농도 값이나, 그래프를 좀더 안정적으로 보여줄 수 있도록 소스를 더 다듬고 싶었지만,

에너지를 너무 많이 써서 이번 작업은 여기까지 하겠습니다.

나중에 다시 생각나면, 소스코드를 다시 잡아 볼께요.

1. 파티클 센서

인터넷을 돌아다니다 particle sensor 라는 것을 알게 되었습니다.

이게 단순히 공기중의 입자를 확인하는것 뿐만아니라, 혈중 농도 및 심전도까지 확인할 수 있다고 합니다.

나중에 도플러 효과를 이용한 원격 심전도 확인 시스템을 만들 예정이라,

기초적인 지식을 습득하기 위해 일단 이런 류의 센서 사용법을 익혀 보기로 합니다.

2. 주문

물론 AliExpress 에서 주문했습니다.

* CFsunbird High Accuracy I2C MAX30105 Particle Optical Sensor Photodetectors Board Module 1.8V power supply

- https://ko.aliexpress.com/item/CFsunbird-High-Accuracy-I2C-MAX30105-Particle-Optical-Sensor-Photodetectors-Board-Module-1-8V-power-supply/32819571918.html

여타 센서류보다 단일 부품으로는 꽤나 비싼편 입니다.

이는 다양한 기능이 들어가 있으며, 기본 소자 자체가 좀 있어 보입니다.

SparkFun 에서 팔고 있는 제품인데, AliExpress 에서 구입하다 보니, 조금 변형된 중국 제품입니다.

단, 소스는 완벽하게 호환됩니다.

* SparkFun Particle Sensor Breakout - MAX30105

- https://learn.sparkfun.com/tutorials/max30105-particle-and-pulse-ox-sensor-hookup-guide

보통 정식 제품보다는 AliExpress 가 싼 편인데, 이 제품은 자비가 없군요.

AliExpress 에서 약 12 USD, SparkFun 제품은 13 USD 정도 합니다.

3. 도착

크게 무리없이 2주만에 도착.

납땜이 되지 않은 상태로 배달이 됩니다. 이제 AliExpress 에서 오는 것은 이게 당연한 거죠?

핵심이 되는 센서 부품을 클로즈 업 해봤습니다.

범상치 않아 보이는군요.

4. 연결

Arduino 와의 연결은 다음과 같습니다.

 MAX30105 | Arduino Nano
-------------------------
    VCC   |     3.3V
    GND   |     GND
    SDL   |     A5
    SDA   |     A4
-------------------------

실제 회로 구성은 다음과 같습니다.

Fritzing 에서 그려 보는데, 아쉽게도 아직 Fritzing 에서는 MAX30105 부품이 리스트에 존재하지 않습니다.

아직 아무도 만들지 않았나 봅니다.

Datasheet 입니다 - MAX30105_3.pdf

5. sketch - Red, IR, Green reading

이후 나오는 소스는 모두 아래 site 를 참고하였습니다.

* SparkFun Particle Sensor Breakout - MAX30105

- https://learn.sparkfun.com/tutorials/max30105-particle-and-pulse-ox-sensor-hookup-guide

Library 를 인스톨 하고 가장 간단한 스케치를 로드하여 확인해 봅니다.

소스는 소자의 기본 동작인 빨간색, 적외선, 녹색을 감지하고 수치화 하는 스케치 입니다.

File > Examples > MAX3010x Pulse and Proximity Sensor > Example1_Basic_Readings

실제 소스를 여기에 옮겨 봅니다.

/*
  MAX30105 Breakout: Output all the raw Red/IR/Green readings
  By: Nathan Seidle @ SparkFun Electronics
  Date: October 2nd, 2016
  https://github.com/sparkfun/MAX30105_Breakout

  Outputs all Red/IR/Green values.

  Hardware Connections (Breakoutboard to Arduino):
  -5V = 5V (3.3V is allowed)
  -GND = GND
  -SDA = A4 (or SDA)
  -SCL = A5 (or SCL)
  -INT = Not connected

  The MAX30105 Breakout can handle 5V or 3.3V I2C logic. We recommend powering the board with 5V
  but it will also run at 3.3V.

  This code is released under the [MIT License](http://opensource.org/licenses/MIT).
*/

#include "Wire.h"
#include "MAX30105.h"

MAX30105 particleSensor;

#define debug Serial //Uncomment this line if you're using an Uno or ESP
//#define debug SerialUSB //Uncomment this line if you're using a SAMD21

void setup() {
  debug.begin(9600);
  debug.println("MAX30105 Basic Readings Example");

  // Initialize sensor
  if (particleSensor.begin() == false)
  {
    debug.println("MAX30105 was not found. Please check wiring/power. ");
    while (1);
  }

  particleSensor.setup(); //Configure sensor. Use 6.4mA for LED drive
}

void loop() {
  debug.print(" R[");
  debug.print(particleSensor.getRed());
  debug.print("] IR[");
  debug.print(particleSensor.getIR());
  debug.print("] G[");
  debug.print(particleSensor.getGreen());
  debug.print("]");

  debug.println();
}

우선 구동을 시작하면, 녹색과 빨간색 빛이 빠르게 점멸합니다.

저렇게 빛을 쏜 다음 반사되는 값을 읽는것이겠죠?

손가락을 센서 근처로 가져가면 값의 변동이 일어납니다.

센서의 불빛을 슬로우 모션으로 9초동안 찍어 봤습니다.

그랬더니 51초짜리 동영상이 되었네요.

얼마나 빨리 점멸을 하는지, 슬로모션으로 찍어도 실제로 보는것과 그리 차이나지 않습니다.

6. sketch - 물체 인식

IR 의 delta 값을 이용하여 물체가 일정 이상 안에 들어와 있는지 없는지를 판단합니다.

소스는 아래 path 에서 확인할 수 있습니다.

File > Examples > MAX3010x Pulse and Proximity Sensor > Example2_Presense_Sensing

7. sketch - 온도

SparkFun 사에서 제공되는 library 에서 "readTemperature()" 함수를 그대로 이용한 것 입니다.

그럼 위의 함수는 어떻게 되느냐 하면 아래와 같습니다.

// Die Temperature
// Returns temp in C
float MAX30105::readTemperature() {
  // Step 1: Config die temperature register to take 1 temperature sample
  writeRegister8(_i2caddr, MAX30105_DIETEMPCONFIG, 0x01);

  // Poll for bit to clear, reading is then complete
  // Timeout after 100ms
  unsigned long startTime = millis();
  while (millis() - startTime < 100)
  {
    uint8_t response = readRegister8(_i2caddr, MAX30105_DIETEMPCONFIG);
    if ((response & 0x01) == 0) break; //We're done!
    delay(1); //Let's not over burden the I2C bus
  }
  //TODO How do we want to fail? With what type of error?
  //? if(millis() - startTime >= 100) return(-999.0);

  // Step 2: Read die temperature register (integer)
  int8_t tempInt = readRegister8(_i2caddr, MAX30105_DIETEMPINT);
  uint8_t tempFrac = readRegister8(_i2caddr, MAX30105_DIETEMPFRAC);

  // Step 3: Calculate temperature (datasheet pg. 23)
  return (float)tempInt + ((float)tempFrac * 0.0625);

센서 내부에 register 값을 읽어와서 표현하는 것이군요.

구동 소스는 아래 path 에서 확인할 수 있습니다.

File > Examples > MAX3010x Pulse and Proximity Sensor > Example3_Temperature_Sense

8. sketch - 심전도

손가락을 센서에 대고 있으면 심전도를 그려주는 소스 입니다.

File > Examples > MAX3010x Pulse and Proximity Sensor > Example4_HeartBeat_Plotter