1. 무조건 참고 희생한 것 참고 희생하는 게 미덕이라고 생각했던 때, 다들 있으실 거예요. 집단주의가 강한 한국사회에서는 ‘전체의 의견에 따르고 희생하자’는 마인드가 유독 큰 편이라고 해요. 하지만 무조건 참고 희생하는 게 정답만은 아니라는 걸 나이가 들어 깨닫게 되죠. 언제나 YES맨일 필요도 없고, 전체만큼이나 소수의 의견도 중요한 때가 있다는 걸 잊지 말아야 해요.
2. 타인의 시선을 너무 의식한 것 건강한 자의식이 완전히 확립되기 전이라면 타인의 시선을 의식하는 것은 누구나 한 번쯤 경험하게 되는 일이에요. 하지만 ‘내가 무엇을 원하는지’보다 ‘내 모습이 남에게 어떻게 보일까’를 신경 쓰게 된다면 내 삶의 주체가 내가 아닌 타인이 되고 말아요. 우리의 생각보다 타인은 내게 별 관심이 없다는 사실, 꼭 명심하며 ‘나’를 주체로 살아가자구요!
3. 남의 인생을 걱정한 것 세상에서 제일 쓸데없는 걱정이 남 걱정이라고들 하죠. 각자의 인생은 각자가 책임져야 하고, 내게 누군가 조언을 구한다고 해도 결국 그 사람은 자기가 하고 싶은 대로 하기 마련이에요. 위로와 조언이 필요한 이에게 적절한 마음은 나눠주되, 지나치게 간섭하거나 걱정하지 마세요. 내 코가 석자고, 내 인생이 제일 소중하니까요.
4. 스쳐 지나가는 인연에 연연한 것 인간관계를 막 넓히고 확장하던 시기에는 세상 모든 사람들이 각별하고, 헤어지는 상상 따위는 슬퍼서 하기도 싫어요. 하지만 한때 죽고 못살던 사람들도 별 하찮은 이유로 소원해지기도 하는 게 인간관계죠. 그런 사람들은 그저 ‘시절 인연’이고 ‘지나가는 인연’이었던 거예요. 연연하지 말고 덤덤하게 바라봐주세요. 떠나가는 이가 있는 만큼 다시 다가오는 인연도 있기 마련이에요.
5. 지나간 일을 계속 생각하고 후회한 것 ‘그때 내가 왜 그런 선택을 했을까, 다시 돌아간다면 그렇게 안 할 텐데...,’ 하는 생각 안 해보신 분 없을 거예요. 하지만 과거는 되돌릴 수가 없고, 우리는 현재와 미래를 살아가야만 해요. 그리고 지난날 우리가 한 선택 모두, 그 당시의 미숙한 우리로서는 최선의 선택이었어요. 지나간 일을 후회하기보다는, 그 일을 반추해 어떻게 내일을 더 후회 없이 살아갈지 고민하는 우리였으면 해요.
6. 연애에 너무 미련 갖고 목숨 건 것 인생은 일과 연애, 대인관계, 자기 계발 등등 많은 것들의 도합으로 이루어져 있죠. 하지만 가슴 뜨겁던 청춘, 모든 걸 제쳐두고 연애애만 올인했던 때가 한 번쯤 있기 마련이에요. 그런데 지나고 보니 어떻던가요? 연애만큼이나 내 삶에 소중한 것들은 참 많았어요. 그때 몸소 부딪혀 사랑에 올인해 봤기에 깨달을 수 있는 거죠. 그러니 지난 깨달음에 감사하며 소중한 많은 것들을 앞으로는 놓치지 말아요.
7. 사랑하는 사람들에게 자존심 세운 것 우리는 대체 왜 그럴까요. 낯선 사람들에게는 그렇게 친절해 보이고 싶으면서도, 정작 가족이나 절친한 친구 등 사랑하는 사람들에게는 쓸데없이 자존심을 세우곤 했어요. 미안하다는 말, 고맙다는 말, 사랑한다는 말에도 참 인색했죠. 나이가 든 후에야 사람들은 정작, 내가 가장 자존심을 낮춰야 할 대상이 사랑하는 사람들이란 걸 깨닫는다고 해요. 오늘 알았으니, 앞으로는 그런 후회 조금씩 줄여보자구요?
8. 일어나지도 않은 일을 미리 걱정한 것 불안과 공포로부터 스스로를 보호하기에 위해 인간은 ‘걱정’이라는 걸 해요. 그런데 적당한 걱정은 예기치 못한 위험으로부터 우리를 보호해 주지만, 그 걱정도 지나치면 다른 즐거움을 차단하는 방해물이 되어버리곤 하는데요. 특히 일어나지도 않은 일을 사서 걱정하는 것은 되도록 지양해야 할 일 중 하나예요. 지나친 부정적 시뮬레이션은 멈추고, 현재의 즐거움에 포커스 하는 우리가 되었으면 해요.
9. 유행이나 허세를 위해 돈을 쓴 것 물질적인 것들로 스스로를 과시하고 싶은 건 인간의 본능 중 하나일 거예요. 특히 사회에서 존중받으며 어느 정도 자리를 잡게 되는 시기에는 자동차나 옷, 시계, 가방 등으로 내 지위를 드러내고 싶은 순간이 오기 마련이죠. 하지만 노년으로 갈수록 오히려 물질적 욕망은 줄어들고 내면적 욕망(경험, 가치)을 채우고 싶어 진다고 해요. 물질이 궁극적인 즐거움과 위안을 주지 않는 것을 깨닫게 되어서겠죠.
10. 사랑이나 인간관계가 영원하다고 믿은 것 사랑과 인간관계가 영원했으면 하는 바람을 할 때가 있죠. 하지만 슬프게도 영원히 가는 것은 아무것도 없어요. 서로의 마음이 다할 때까지 되도록 오래 유지해 볼 수는 있겠죠. 그런데 영원하지 않다고 해서 그 관계가 의미 없다거나 허무한 것은 아니에요. 순간순간 최선을 다한 관계들은 소멸 후에도 내 마음 깊이 남아 자산이 된다는 것을 받아들인다면, 인생이 조금 더 편안하고 풍요로워질 거예요.
Ibis defines a Python dataframe API that executes on any query engine – the frontend for any backend data platform, with 20+ backends today. This allows Ibis to have excellent performance – as good as the backend it is connected to – with a consistent user experience.
What is Ibis?
Ibis is the portable Python dataframe library.
We can demonstrate this with a simple example on a few local query engines:
import ibis
ibis.options.interactive = True
DuckDB
Polars
DataFusion
PySpark
1con = ibis.connect("duckdb://")
t = con.read_parquet("penguins.parquet")
t.limit(3)
Ibis is for data engineers, data analysts, and data scientists (or any title that needs to work with data!) to use directly with their data platform(s) of choice. It also has benefits fordata platforms,organizations, andlibrary developers.
Ibis for practitioners
You can use Ibis at any stage of your data workflow, no matter your role.
Data engineerscan use Ibis to:
write and maintain complex ETL/ELT jobs
replace fragile SQL string pipelines with a robust Python API
replace PySpark with a more Pythonic API that supports Spark and many other backends
Data analystscan use Ibis to:
use Ibis interactive mode for rapid exploration
perform rapid exploratory data analysis using interactive mode
work in a general-purpose, yet easy to learn, programming language without the need for formatting SQL strings
Data scientistscan use Ibis to:
extract a sample of data for local iteration with a fast local backend
prototype with the same API that will be used in production
preprocess and feature engineer data before training a machine learning model
Ibis for data platforms
Data platforms can use Ibis to quickly bring a fully-featured Python dataframe library with minimal effort to their platform. In addition to a great Python dataframe experience for their users, they also get integrations into thebroader Python and ML ecosystem.
Often, data platforms evolve to support Python in some sequence like:
Develop a fast query engine with a SQL frontend
Gain popularity and need to support Python for data science and ML use cases
Develop a bespoke pandas or PySpark-like dataframe library and ML integrations
This third step is where Ibis comes in. Instead of spending a lot of time and money developing a bespoke Python dataframe library, you can create an Ibis backend for your data platformin as little as four hours for an experienced Ibis developeror, more typically, on the order ofoneortwomonths for a new contributor.
Why not the pandas or PySpark APIs?
Ibis for organizations
Organizations can use Ibis to standardize the interface for SQL and Python data practitioners. It also allows organizations to:
transfer data between systems
transform, analyze, and prepare data where it lives
benchmark your workload(s) across data systems using the same code
mix SQL and Python code seamlessly, with all the benefits of a general-purpose programming language, type checking, and expression validation
Ibis for library developers
Python developers creating libraries can use Ibis to:
instantly support 20+ data backends
instantly support pandas, PyArrow, and Polars objects
read and write from all common file formats (depending on the backend)
trace column-level lineage through Ibis expressions
Most Python dataframes are tightly coupled to their execution engine. And many databases only support SQL, with no Python API. Ibis solves this problem by providing a common API for data manipulation in Python, and compiling that API into the backend’s native language. This means you can learn a single API and use it across any supported backend (execution engine).
Ibis broadly supports two types of backend:
SQL-generating backends
DataFrame-generating backends
As you can see, most backends generate SQL. Ibis usesSQLGlotto transform Ibis expressions into SQL strings. You can also use the.sql()methods to mix in SQL strings, compiling them to Ibis expressions.
While portability with Ibis isn’t perfect, commonalities across backends and SQL dialects combined with years of engineering effort produce a full-featured and robust framework for data manipulation in Python.
In the long-term, we aim for a standard query plan Intermediate Representation (IR) likeSubstraitto simplify this further.
Python + SQL: better together
For most backends, Ibis works by compiling Python expressions into SQL:
g = t.group_by(["species", "island"]).agg(count=t.count()).order_by("count")
ibis.to_sql(g)
SELECT
*
FROM (
SELECT
`t0`.`species`,
`t0`.`island`,
COUNT(*) AS `count`
FROM `ibis_read_parquet_pp72u4gfkjcdpeqcawnpbt6sqq` AS `t0`
GROUP BY
1,
2
) AS `t1`
ORDER BY
`t1`.`count` ASC NULLS LAST
You can mix and match Python and SQL code:
sql = """
SELECT
species,
island,
COUNT(*) AS count
FROM penguins
GROUP BY species, island
""".strip()
DuckDB
DataFusion
PySpark
con = ibis.connect("duckdb://")
t = con.read_parquet("penguins.parquet")
g = t.alias("penguins").sql(sql)
g
This allows you to combine the flexibility of Python with the scale and performance of modern SQL.
Scaling up and out
Out of the box, Ibis offers a great local experience for working with many file formats. You can scale up with DuckDB (the default backend) or choose from other great options like Polars and DataFusion to work locally with large datasets. Once you hit scaling issues on a local machine, you can continue scaling up with a larger machine in the cloud using the same backend and same code.
If you hit scaling issues on a large single-node machine, you can switch to a distributed backend like PySpark, BigQuery, or Trino by simply changing your connection string.
Stream-batch unification
As ofIbis 8.0, the first stream processing backends have been added. Since these systems tend to support SQL, we can with minimal changes to Ibis support both batch and streaming workloads with a single API. We aim to further unify the batch and streaming paradigms going forward.
Ecosystem
Ibis is part of a larger ecosystem of Python data tools. It is designed to work well with other tools in this ecosystem, and we continue to make it easier to use Ibis with other tools over time.
Ibis already works with other Python dataframes like:
Note that theibis-frameworkpackage isnotthe same as theibispackage in PyPI. These two libraries cannot coexist in the same Python environment, as they are both imported with theibismodule name.
See thebackend support matrixfor details on operations supported.Open a feature requestif you’d like to see support for an operation in a given backend. If the backend supports it, we’ll do our best to add it quickly!
Community
Community discussions primarily take place onGitHubandZulip.
오픈AI는 챗GPT(ChatGPT)의 주간 활성 사용자가 2억 명을 돌파했다고 밝혔다. 이는 지난해보다 두 배 증가한 수준이다.
39일 악시오스에 따르면, 포춘 500대 기업 중 92%가 오픈AI 제품을 사용하고 있다. 또 GPT-4o 미니(mini)가 올 7월에 출시된 이후 자동화 API 사용량이 두 배 증가했다.
샘 올트먼 오픈AI 최고경영책임자(CEO)는 “사람들이 우리의 도구를 이제 일상적으로 사용하고 있으며, 이는 의료 및 교육과 같은 분야에서 실질적인 변화를 가져오고 있다”며 “일상적인 업무 지원부터 어려운 문제 해결, 창의성 발현까지 다양한 영역에서 도움을 주고 있다”고 말했다.
오픈AI는 생성형 AI 챗봇 시장에서 선두 자리를 유지하고 있다. 하지만 테크 기업들이 점유율을 높이고자, 서비스를 업데이트하면서 경쟁 격화에 노출된 상태다.
이날 메타(Meta)는 오픈 소스 라마(Llama) 모델의 도입이 급격히 증가했다고 밝혔다. 라마(Llama) 3.1 출시 이후 올해 5월과 7월 사이 주요 클라우드 서비스 제공업체에서의 사용량이 두 배 증가했다는 것이 회사측 설명이다.
우버의 다라 코스로샤히 최고경영자(CEO)가 한국을 방문했습니다. 우버는 2009년 창업한 차량 호출 서비스 기업으로 현재 월간활성사용자수 1억명을 보유하고 있습니다. 우버는 현재 자율주행차에 진심입니다. 현대차와 네이버를 방문!
되살리려는 자율차 플랫폼
사실 우버는 자율주행 차량 개발을 위한 우버 ATG(Advanced Technologies Group)를 운영했지만 경영난에 해당 계열을 오로라(Aurora)에 매각을 했습니다. 하지만 어느정도 정상화로 돌아서자 다시 자율주행에 시동을 거는 모습입니다.
이달들어 영국 인공지능 기업인 웨이브, 그리고 자동차 기업들과 손을 잇따라 손을 잡고 있습니다. 특히 웨이브에는 전략적 투자자로 올해 참여를 했는데요. 이를 활용해 고속도로에서 자율주행이 가능한 레벨3 수준을 달성하겠다는 목표를 세운 상태입니다.
지난달에는 이미 중국 비야디(BYD)와 파트너십을 맺었습니다. BYD 10만대를 향후 5년간 운전자들에게 배치하는 것이 목표인데요. 우버가 추진하고 있는 자율주행 플랫폼에 비야디 차량을 통합하는 것이 주된 목표입니다. 앞서 기아차와도 파트너십을 맺은바 있습니다. 또 GM의 자율주행 계열인 크루즈와도 파트너십.
"2040년에 휘발유차 퇴출"
우버는 크게 오는 2030년까지 미국 캐나다 유럽에서, 2040년까지 전 세계에서 휘발유 차량을 퇴출하는 것이 목표라고 합니다. (현재 한국 우버는 SK스퀘어 자회사 티맵모빌리티와 우버가 각각 41%대 49% 지분을 투자해 운영중입니다.)
코스로샤히 CEO는 "플랫폼 기반으로 미래 기술을 선도하는게 우버의 핵심 가치 중 하나"라면서 "그 중심에 전기차와 자율주행 기술이 있다"고 강조했습니다. 그는 실제로 "우버 운전자들이 미국·캐나다·유럽 등에서 다른 업체보다 5배 빠르게 전기차로 전환하고 있다"고 말했습니다.
🔎크게보기
우버는 드라이버에 수수료 15~30%를 떼지만, 여러 사이트에는 약 42%를 뗀다는 주장도 있습니다. 운전자 입장에서는 많이 떼는 것이겠지만, 우버 입장에서는 비용으로 느낄 수 있지 않을까 합니다. 우버는 현재 다양한 전기차 자율차와 파트너십을 맺고 있는데요. 이렇게 자율주행 차량을 서둘러 도입하려는 이유는 무엇일까요?
우버는 ‘우버 하이브리드 모델’이라고 지칭합니다. 인간 운전자와 자율주행 차가 협업한다는 개념인데요. 드라이버에 더 많은 수수료를 요구할 수 있지 않을까 합니다. 더 먼 미래에는?
