وبلاگ TidyVerse ¹ خبر از انتشار نسخه جدید بسته ggplot2 داد و تغییرات زیاد این به‌روزرسانی، دلیلی شده تا شماره اصلی این بسته را نیز به روز کنند و به ورژن 4.0 رسید.  این بسته که بر اساس کتاب The Grammar of Graphics طراحی شده است به کاربران اجازه می‌دهد تا با تعریف اجزای اصلی نمودار شامل داده‌ها، متغیرها، سیستم مختصات و عناصر گرافیکی، نمودارهای پیچیده را به صورت لایه‌ای و ماژولار بسازند. ggplot2 امکان ایجاد طیف گسترده‌ای از نمودارها – از نمودارهای پراکندگی ساده تا نقشه‌های چندلایه و نمودارهای آماری پیشرفته – را با حداقل کد و حداکثر انعطاف‌پذیری فراهم می‌کند. این بسته به دلیل قابلیت‌های سفارشی‌سازی بالا، پشتیبانی از تم‌های یکپارچه و سازگاری با اکوسیستم tidyverse، به ابزاری استاندارد در تحلیل داده‌ها و مصورسازی علمی تبدیل شده است.

نسخه جدید را می‌توان از CRAN با دستور زیر نصب کرد:

install.packages("ggplot2")

install.packages("ggplot2")

این نسخه شامل تغییرات قابل توجهی است که دلیلی برای تغییر شماره اصلی نسخه شده است. مهم‌ترین تغییرات شامل بازنویسی سیستم شیءگرا از S3 به S7، اضافه شدن ویژگی‌های جدید، بهبودهای کاربردی و رفع اشکالات است. همچنین هجدهمین سالگرد انتشار این بسته گرامی داشته می‌شود. در این متن، برجسته‌ترین ویژگی‌های جدید این نسخه معرفی می‌شوند. لیست کامل تغییرات در یادداشت‌های انتشار قابل مشاهده است.

انتقال به S7

در ggplot2، افزایش شماره اصلی نسخه نشان‌دهنده تغییرات اساسی در هسته بسته است. در این نسخه، بسیاری از اشیاء S3 با اشیاء S7 جایگزین شده‌اند. S7 مانند S3 و S4 یک سیستم شیءگرا مبتنی بر کلاس، توابع عمومی و متدهاست که سعی می‌کند بین انعطاف‌پذیری S3 و ساختارمند بودن S4 تعادل ایجاد کند.

این تغییر برای کاربران معمولی که فقط از ggplot2 برای ساخت نمودار استفاده می‌کنند، چندان محسوس نخواهد بود. شاید تنها تفاوت قابل توجه، اعتبارسنجی سختگیرانه‌تر انواع داده‌ها باشد. برای مثال، ورودی‌های نامعتبر اکنون بلافاصله رد می‌شوند:

element_text(hjust = "foo")
#> Error: <ggplot2::element_text> object properties are invalid:
#> - @hjust must be <NULL>, <integer>, or <double>, not <character>

element_text(hjust = "foo")
#> Error: <ggplot2::element_text> object properties are invalid:
#> - @hjust must be <NULL>, <integer>, or <double>, not <character>

اما اگر از قابلیت‌های داخلی ggplot2 به روش‌های غیرمعمول استفاده می‌کنید، ممکن است نیاز به تنظیمات داشته باشید. برای توسعه‌دهندگان افزونه‌ها، مزیت اصلی S7 امکان استفاده از double dispatch است که به خصوص برای تابع update_ggplot() (جانشین ggplot_add()) مهم است. این تابع کنترل بیشتری بر رفتار عملگر + هنگام افزودن اشیاء به نمودار فراهم می‌کند.

برای حفظ سازگاری با بسته‌های موجود، برخی ویژگی‌های قدیمی به طور موقت حفظ شده‌اند (مانند دسترسی به داده‌ها با ggplot()$data). این ویژگی‌ها به تدریج حذف خواهند شد و راهنمای مهاجرت از S3 به S7 برای بسته‌های مرتبط در حال آماده‌سازی است.

بهبودهای طراحی

تم‌ها در ggplot2 مسئول کنترل ظاهر نمودارها هستند. در این نسخه، پیش‌فرض‌های ظاهری لایه‌ها (مانند شکل نقاط و پالت رنگ) نیز به تم‌ها منتقل شده‌اند. این ایده که پیش‌فرض‌های لایه‌ها باید بخشی از تم باشند، مدتی است مطرح بوده و اکنون پیاده‌سازی شده است.

جوهر و کاغذ

پیش‌فرض‌های جدید لایه‌ها با مفاهیم ink (پیش‌زمینه) و paper (پس‌زمینه) کار می‌کنند که با ویژگی‌های colour و fill متفاوت هستند. برای مثال  یک نمودار جعبه‌ای بدون colour قابل خواندن نیست، اما بدون fill کاملاً قابل تفسیر است. در مورد نمودار جعبه‌ای، وضوح ink را colour باید دید و در حالی که paper در fill قرار می‌گیرد. در نمودارهای میله‌ای یا هیستوگرام‌ها، اصل تناسب جوهر تصریح می‌کند که زیبایی‌شناسی fill ، پیش‌زمینه در نظر گرفته می‌شود و بنابراین به عنوان ink در نظر گرفته می‌شود.

این سه گزینه به تمام تم‌های داخلی اضافه شده‌اند و هم بر پیش‌فرض‌های لایه‌ها و هم بر سایر اجزای تم تأثیر می‌گذارند. برای سفارشی‌سازی تم، می‌توان از theme(geom) و تابع جدید element_geom() استفاده کرد. برای دسترسی به این مقادیر در نگاشت‌ها، تابع from_theme() در دسترس است.

ggplot(mpg, aes(displ, hwy)) +
  geom_point() +
  geom_smooth(method = "lm", formula = y ~ x) +
  theme_gray(paper = "cornsilk", ink = "navy", accent = "tomato")

ggplot(mpg, aes(displ, hwy)) +
  geom_point() +
  geom_smooth(method = "lm", formula = y ~ x) +
  theme_gray(paper = "cornsilk", ink = "navy", accent = "tomato")

اگر در حال سفارشی‌سازی یک قالب هستید، می‌توانید از آرگومان theme(geom) برای تنظیم مجموعه‌ای از پیش‌فرض‌ها استفاده کنید. تابع جدید element_geom() می‌تواند برای تنظیم این ویژگی‌ها استفاده شود. علاوه بر این، اگر می‌خواهید یک لایه، ویژگی را از این عنصر تم بخواند، می‌توانید از تابع from_theme() در نگاشت برای دسترسی به این متغیرها استفاده کنید.

ggplot(mpg, aes(class, displ)) +
  geom_boxplot(aes(colour = from_theme(accent))) +
  theme(
    geom = element_geom(accent = "tomato", paper = "cornsilk")
  )

ggplot(mpg, aes(class, displ)) +
  geom_boxplot(aes(colour = from_theme(accent))) +
  theme(
    geom = element_geom(accent = "tomato", paper = "cornsilk")
  )

دومین تفاوت مفهومی در element_geom() مربوط به استفاده از خطوط است. در یک نقش، مانند یک نمودار خطی، خط مستقیماً داده‌ها را نشان می‌دهد. در نقش دوم، یک خط به عنوان جداکننده بین دو واحد عمل می‌کند. به عنوان مثال، می‌توانید کشورها را به صورت چندضلعی نمایش دهید و خطی که رئوس را به هم متصل می‌کند، مکان‌هایی را که درون یک کشور هستند از مکان‌هایی که خارج از آن کشور هستند جدا می‌کند. این دو نقش در یک جفت linewidth و linetype و یک جفت borderwidth و bordertype نمایش داده می‌شوند.

ggplot(faithful, aes(waiting)) +
  geom_histogram(bins = 30, colour = "black") +
  geom_freqpoly(bins = 30) +
  theme(geom = element_geom(
    bordertype = "dashed",
    borderwidth = 0.2,
    linewidth = 2,
    linetype = "solid"
  ))

ggplot(faithful, aes(waiting)) +
  geom_histogram(bins = 30, colour = "black") +
  geom_freqpoly(bins = 30) +
  theme(geom = element_geom(
    bordertype = "dashed",
    borderwidth = 0.2,
    linewidth = 2,
    linetype = "solid"
  ))

مقیاس‌ها و پالت‌ها

پالت‌های پیش‌فرض اکنون در تم‌ها تعریف می‌شوند. تنظیمات مربوطه با الگوی palette.{aesthetic}.{type} (که type می‌تواند discrete یا continuous باشد) مشخص می‌شوند:

ggplot(mpg, aes(displ, hwy, shape = drv, colour = cty)) +
  geom_point() +
  theme(
    palette.colour.continuous = c("chartreuse", "forestgreen"),
    palette.shape.discrete = c("triangle", "triangle open", "triangle down open")
  )

ggplot(mpg, aes(displ, hwy, shape = drv, colour = cty)) +
  geom_point() +
  theme(
    palette.colour.continuous = c("chartreuse", "forestgreen"),
    palette.shape.discrete = c("triangle", "triangle open", "triangle down open")
  )

نحوه‌ کار این است که تمام مقیاس‌های پیش‌فرض مقدار palette = NULL دارند که هنگام ساخت نمودار با مقادیر تعریف شده در تم جایگزین می‌شود.

میانبرها

برای ساده‌سازی تعریف تم‌ها، توابع کمکی جدیدی معرفی شده‌اند:

• theme_sub_axis()
  • theme_sub_axis_x()
    • theme_sub_axis_bottom()
    • theme_sub_axis_top()
  • theme_sub_axis_y()
    • theme_sub_axis_left()
    • theme_sub_axis_right()
• theme_sub_legend()
• theme_sub_panel()
• theme_sub_plot()
• theme_sub_strip()

این توابع با افزودن پیشوند مناسب، آرگومان‌ها را به theme() منتقل می‌کنند و کد را خواناتر می‌کنند. برای مثال، استفاده از theme_sub_legend(justification)  به theme(legend.justification) ترجمه می‌شود:

# روش قدیمی: طولانی و نامرتب
theme(
  panel.widths = unit(5, "cm"),
  axis.ticks.x = element_line(colour = "red"),
  axis.ticks.length.x = unit(5, "mm"),
  panel.background = element_rect(fill = NA),
  panel.spacing.x = unit(5, "mm")
)

# روش جدید: مختصر و منظم
theme_sub_axis_x(
  ticks = element_line(colour = "red"),
  ticks.length = unit(5, "mm")
) +
theme_sub_panel(
  widths = unit(5, "cm"),
  spacing.x = unit(5, "mm"),
  background = element_rect(fill = NA)
)

# روش قدیمی: طولانی و نامرتب
theme(
  panel.widths = unit(5, "cm"),
  axis.ticks.x = element_line(colour = "red"),
  axis.ticks.length.x = unit(5, "mm"),
  panel.background = element_rect(fill = NA),
  panel.spacing.x = unit(5, "mm")
)

# روش جدید: مختصر و منظم
theme_sub_axis_x(
  ticks = element_line(colour = "red"),
  ticks.length = unit(5, "mm")
) +
theme_sub_panel(
  widths = unit(5, "cm"),
  spacing.x = unit(5, "mm"),
  background = element_rect(fill = NA)
)

برای تعریف حاشیه‌ها، دو تابع جدید اضافه شده است:

• margin_auto(): تعریف حاشیه‌ها به سبک CSS
  • margin_auto(1): هر چهار ضلع را به طور همزمان تنظیم می‌کند. این تابع به margin(t = 1, r = 1, b = 1, l = 1) بسط می‌یابد.
  • margin_auto(1, 2):  اضلاع افقی و عمودی را تنظیم می‌کند. این تابع به margin(t = 1, r = 2, b = 1, l = 2) بسط می‌یابد.
• margin_part(): تعریف حاشیه‌های انتخابی با حفظ مقادیر پیش‌فرض

merge_element(
  margin_part(r = 20), # child
  margin_auto(10) # parent
)
#> [1] 10points 20points 10points 10points

merge_element(
  margin_part(r = 20), # child
  margin_auto(10) # parent
)
#> [1] 10points 20points 10points 10points

تنظیمات جدید

عناصر ریشه جدید spacing و margins برای هماهنگ‌سازی فاصله‌ها در تم‌ها معرفی شده‌اند. عناصر دیگر از این مقادیر به ارث می‌برند. برای تنظیم نسبی مقادیر، می‌توان از rel() استفاده کرد. برای مثال، مقدار پیش‌فرض axis.ticks.length اکنون rel(0.5) است که باعث می‌شود تیک‌های محور y در نمودار زیر 0.5 سانتی‌متر باشند. اگر axis.ticks.length.x را روی rel(2) تنظیم کنیم، مقداری که از axis.ticks.length می‌آید را دو برابر می‌کند، نه مقدار spacing را.

p <- ggplot(penguins, aes(bill_dep, bill_len, colour = species)) +
  geom_point(na.rm = TRUE)

p + theme(
  spacing = unit(1, "cm"), 
  margins = margin_auto(1, unit = "cm"),
  axis.ticks.length.x = rel(2)
)

p <- ggplot(penguins, aes(bill_dep, bill_len, colour = species)) +
  geom_point(na.rm = TRUE)

p + theme(
  spacing = unit(1, "cm"), 
  margins = margin_auto(1, unit = "cm"),
  axis.ticks.length.x = rel(2)
)

همچنین برای کنترل اندازه نمودارها، آرگومان‌های panel.widths و panel.heights اضافه شده‌اند که با ggsave(width, height) متفاوت هستند (این آرگومان‌ها فقط اندازه پنل‌ها را کنترل می‌کنند، نه کل نمودار). دو روش برای استفاده از این آرگومان‌ها وجود دارد:

• یک بردار از واحدها بدهید: هر واحد به طور جداگانه روی یک پنل اعمال می‌شود و بردار برای تناسب با تعداد پنل‌ها اجرامی‌شود.
• یک واحد یکسان بدهید: که مساحت کل پنل (شامل فواصل پنل‌ها و محورهای داخلی) را به آن اندازه تنظیم می‌کند.

طبیعتاً، اگر فقط یک پنل داشته باشید، این رویکردها یکسان هستند. اگر چندین پنل دارید و می‌خواهید اندازه پنل‌های جداگانه را یکسان کنید (برخلاف اندازه کل)، می‌توانید از آن استفاده کنید و از یک بردار واحد با طول ۲ استفاده کنید.

در نمودارهای زیر، می‌توانید متوجه شوید که پنل‌ها با وجود اینکه واحدها به مقدار یکسانی (۹ سانتی‌متر) جمع می‌شوند، عرض متفاوتی دارند. دلیل این امر این است که رویکرد «تک واحدی» شامل فواصل پنل‌ها نیز می‌شود، اما رویکرد دیگر شامل این موضوع نمی‌شود.

p1 <- p + facet_grid(~ island) +
  labs(title = "Separate units (per panel)") +
  # Using the new shortcut for panels
  theme_sub_panel(
    widths = unit(c(2, 3, 4), "cm"),
    heights = unit(3, "cm")
  )

p2 <- p + facet_grid(~ island) +
  labs(title = "Single unit (all panels)") +
  theme_sub_panel(
    widths = unit(9, "cm"),
    heights = unit(3, "cm")
  )

p1 / p2

p1 <- p + facet_grid(~ island) +
  labs(title = "Separate units (per panel)") +
  # Using the new shortcut for panels
  theme_sub_panel(
    widths = unit(c(2, 3, 4), "cm"),
    heights = unit(3, "cm")
  )

p2 <- p + facet_grid(~ island) +
  labs(title = "Single unit (all panels)") +
  theme_sub_panel(
    widths = unit(9, "cm"),
    heights = unit(3, "cm")
  )

p1 / p2

برچسب‌گذاری

روش‌های جدیدی برای بازیابی برچسب متغیرها اضافه شده است. ggplot2 اکنون از ویژگی label (که در بسته‌هایی مانند gt، labelsd و Hmisc استفاده می‌شود) به عنوان برچسب پیش‌فرض متغیر استفاده می‌کند:

# فراخوانی دیتاست پیش‌فرض پنگوئن‌ها
df <- penguins

# تنظیم دستی لیبل‌ها
attr(df$species, "label") <- "Penguin Species"
attr(df$bill_dep, "label") <- "Bill depth (mm)"
attr(df$bill_len, "label") <- "Bill length (mm)"
attr(df$body_mass, "label") <- "Body mass (g)"

ggplot(df, aes(bill_dep, bill_len, colour = sqrt(body_mass))) +
  geom_point(na.rm = TRUE)

# فراخوانی دیتاست پیش‌فرض پنگوئن‌ها
df <- penguins

# تنظیم دستی لیبل‌ها
attr(df$species, "label") <- "Penguin Species"
attr(df$bill_dep, "label") <- "Bill depth (mm)"
attr(df$bill_len, "label") <- "Bill length (mm)"
attr(df$body_mass, "label") <- "Body mass (g)"

ggplot(df, aes(bill_dep, bill_len, colour = sqrt(body_mass))) +
  geom_point(na.rm = TRUE)

برای کار با دیکشنری‌ داده، آرگومان labs(dictionary) اضافه شده است. این آرگومان یک بردار نام‌دار از برچسب‌ها را می‌گیرد که می‌توان به راحتی آن را از یک دیکشنری با استفاده از setNames() یا dplyr::pull() تولید کرد.

dict <- tibble::tribble(
  ~var,    ~label,
  "species",  "Penguin Species",
  "bill_dep", "Bill depth (mm)",
  "bill_len", "Bill length (mm)",
  "body_mass", "Body mass (g)"
)

ggplot(penguins, aes(bill_dep, bill_len, colour = body_mass)) +
  geom_point(na.rm = TRUE) +
  # یا
  # labs(dictionary = dplyr::pull(dict, label, name = var))
  labs(dictionary = setNames(dict$label, dict$var))

dict <- tibble::tribble(
  ~var,    ~label,
  "species",  "Penguin Species",
  "bill_dep", "Bill depth (mm)",
  "bill_len", "Bill length (mm)",
  "body_mass", "Body mass (g)"
)

ggplot(penguins, aes(bill_dep, bill_len, colour = body_mass)) +
  geom_point(na.rm = TRUE) +
  # یا
  # labs(dictionary = dplyr::pull(dict, label, name = var))
  labs(dictionary = setNames(dict$label, dict$var))

یکی از مزایای رویکردهای ویژگی‌های برچسب یا دیکشنری داده این است که به متغیرهای شما متصل است و نه در aesthtics (که در ggplot2 با aes نوشته می‌شود). این بدان معناست که می‌توانید به راحتی خود را برای یک نمودار متفاوت بازآرایی کنید، بدون اینکه مجبور باشید برچسب‌ها را صحیح با دقت مجدداً هدایت کنید.

last_plot() +
  aes(body_mass, bill_len, colour = species)

last_plot() +
  aes(body_mass, bill_len, colour = species)

سلسله مراتب اولویت برچسب‌ها به ترتیب زیر است:

1. عبارت در AES()
2. ورودی در labs(dictionary)
3. ویژگی label در ستون
4. ورودی در labs(<aesthetic> = <label>)
5. آرگومان scale_*(name)
6. آرگومان guide_*(title)

این سلسله مراتب را می‌توانید در نمودار زیر ببینید. تابع در راهنمای محور ورودی را از Labs() استفاده کنید.

ggplot(penguins, aes(bill_dep, bill_len, colour = species)) +
  geom_point(na.rm = TRUE) +
  scale_colour_discrete(name = toupper) +
  guides(x = guide_axis(title = tools::toTitleCase)) +
  labs(
    y = \(x) paste0(x, " variable"),
    x = "the label for the x variable"
  )

ggplot(penguins, aes(bill_dep, bill_len, colour = species)) +
  geom_point(na.rm = TRUE) +
  scale_colour_discrete(name = toupper) +
  guides(x = guide_axis(title = tools::toTitleCase)) +
  labs(
    y = \(x) paste0(x, " variable"),
    x = "the label for the x variable"
  )

برای مقیاس‌های گسسته، اگر breaks نامگذاری شده باشند، برچسب‌ها به طور پیش‌فرض از نام‌های breaks استفاده می‌کنند:

ggplot(penguins, aes(bill_dep, bill_len, colour = species)) +
  geom_point(na.rm = TRUE) +
  scale_colour_discrete(
    breaks = c(
      "Pygoscelis adeliae"     = "Adelie",
      "Pygoscelis papua"       = "Gentoo",
      "Pygoscelis antarcticus" = "Chinstrap"
    )
  )

ggplot(penguins, aes(bill_dep, bill_len, colour = species)) +
  geom_point(na.rm = TRUE) +
  scale_colour_discrete(
    breaks = c(
      "Pygoscelis adeliae"     = "Adelie",
      "Pygoscelis papua"       = "Gentoo",
      "Pygoscelis antarcticus" = "Chinstrap"
    )
  )

مقیاس‌های گسسته

در این نسخه، انعطاف‌پذیری مقیاس‌های موقعیت گسسته افزایش یافته است. پیش از این، مقادیر گسسته همیشه به یک دنباله عدد صحیح نگاشت می‌شدند که از 1 شروع می‌شد و به تعداد سطوح می‌رسید. اکنون می‌توان از آرگومان palette برای تعریف نگاشت‌های سفارشی استفاده کرد:

ggplot(ToothGrowth, aes(interaction(dose, supp, sep = "\n"), len)) +
  geom_boxplot() +
  scale_x_discrete(
    palette = scales::pal_manual(c(1:3, 5:7))
  )

ggplot(ToothGrowth, aes(interaction(dose, supp, sep = "\n"), len)) +
  geom_boxplot() +
  scale_x_discrete(
    palette = scales::pal_manual(c(1:3, 5:7))
  )

محدودیت‌های پیوسته مقیاس‌های گسسته اکنون با continuous.limits قابل کنترل هستند. همچنین قابلیت تعریف minor_breaks برای مقیاس‌های گسسته و پشتیبانی از محورهای ثانویه با dup_axis() اضافه شده است.

p1 <- ggplot(mpg, aes(class)) +
  geom_bar() +
  facet_wrap(~ drv, ncol = 1, scales = "free_x")

p2 <- p1 + scale_x_discrete(continuous.limits = c(1, 5))

(p1 + labs(title = "Free limits")) | 
(p2 + labs(title = "Fixed limits"))

p1 <- ggplot(mpg, aes(class)) +
  geom_bar() +
  facet_wrap(~ drv, ncol = 1, scales = "free_x")

p2 <- p1 + scale_x_discrete(continuous.limits = c(1, 5))

(p1 + labs(title = "Free limits")) | 
(p2 + labs(title = "Fixed limits"))

مقیاس های موقعیت گسسته اکنون به محورهای ثانویه نیز دسترسی دارند. برخلاف مقیاس های پیوسته، مقیاس های گسسته از تبدیلات پشتیبانی نمی کنند. بنابراین به جای sec_axis()، توصیه می شود استفاده کنید dup_axis(). برای اجازه دادن به موقعیت های دلخواه برای dup_axis(breaks)، این می تواند مقادیر عددی یا یکی از سطوح گسسته را بگیرد. آنها واقعا برای نمایش دو مجموعه داده تراز شده با مقیاس های مختلف مفید نیستند، اما می توانند به عنوان حاشیه نویسی عمل کنند. به عنوان مثال، آنها می توانند برخی از آمارهای خلاصه در مورد گروه ها را نمایش دهند.

ggplot(mpg, aes(class, cty)) +
  geom_boxplot() +
  scale_x_discrete(
    sec.axis = dup_axis(
      name = "Counts",
      # You can use numeric input for breaks
      breaks = seq_len(length(unique(mpg$class))),
      # Watch out for the order of `table()` and your levels!
      labels = paste0("n = ", table(mpg$class))
    )
  )

ggplot(mpg, aes(class, cty)) +
  geom_boxplot() +
  scale_x_discrete(
    sec.axis = dup_axis(
      name = "Counts",
      # You can use numeric input for breaks
      breaks = seq_len(length(unique(mpg$class))),
      # Watch out for the order of `table()` and your levels!
      labels = paste0("n = ", table(mpg$class))
    )
  )

موقعیت (position)

لایه ها از سه جزء تشکیل شده اند: آمار، ژئوم و موقعیت. آمار و ژئوم، aes خاص خود را دارند؛ مانند  weight و linewidth ، تنظیمات موقعیت این گونه نبودند. تنظیمات موقعیت اکنون می‌توانند پارامترهای اختصاصی داشته باشند. برای مثال در position_nudge()، پارامترهای nudge_x و nudge_y به عنوان پارامتر در دسترس هستند:

coal <- tibble::tribble(
  ~continent,  ~pct_1985, ~pct_2024,
  "Africa",        53.87, 24.68,
  "Asia",          32.60, 51.19,
  "Europe",        32.84, 12.91,
  "North America", 48.93, 13.79,
  "South America",  2.91,  3.31,
  "Oceania",       58.75, 39.26
) |>
  dplyr::mutate(pp_difference = pct_2024 - pct_1985)

ggplot(coal, aes(pp_difference, continent)) +
  geom_col() +
  geom_text(
    aes(nudge_x = sign(pp_difference) * 3, 
        label = pp_difference)
  ) +
  labs(x = "Change in electricity generated by coal (pp)")

coal <- tibble::tribble(
  ~continent,  ~pct_1985, ~pct_2024,
  "Africa",        53.87, 24.68,
  "Asia",          32.60, 51.19,
  "Europe",        32.84, 12.91,
  "North America", 48.93, 13.79,
  "South America",  2.91,  3.31,
  "Oceania",       58.75, 39.26
) |>
  dplyr::mutate(pp_difference = pct_2024 - pct_1985)

ggplot(coal, aes(pp_difference, continent)) +
  geom_col() +
  geom_text(
    aes(nudge_x = sign(pp_difference) * 3, 
        label = pp_difference)
  ) +
  labs(x = "Change in electricity generated by coal (pp)")

ویژگی دیگر position_dodge() است که می‌توان برای مثال در کد زیر، ورزش‌هایی که آماری در هر جنس را ندارند، در نمودار در جای درستی قرار نگرفته‌اند. چرا که ggplot2 درکی از گروه‌های دیگر ندارد. جنسیت‌های مختلف یکی بالای خط و یکی زیر خط قرار دارد.

sports <- c("water polo", "swimming", "gymnastics", "field", "netball")
p <- ggridges::Aus_athletes |>
  dplyr::filter(sport %in% sports) |>
  ggplot(aes(height, sport, fill = sex)) +
  geom_boxplot(position = position_dodge(preserve = "single"))

p

sports <- c("water polo", "swimming", "gymnastics", "field", "netball")
p <- ggridges::Aus_athletes |>
  dplyr::filter(sport %in% sports) |>
  ggplot(aes(height, sport, fill = sex)) +
  geom_boxplot(position = position_dodge(preserve = "single"))

p

برای حل این مساله الا می‌توانید در position_dodge(). از order استفاده کرد.

p + aes(order = sex)

p + aes(order = sex)

Facets

جهات

این تابع facet_wrap() دارای دو آرگومان است که طرح بندی را کنترل می کند: dir که می تواند "h" یا "v" باشد و as.table با می تواند TRUE یا FALSE باشد. با هم در مجموع ۴ گزینه طرح بندی را ارائه می‌دادند. در به روزرسانی جدید، آرگومان dir در facet_wrap() اکنون 8 حالت را با کدهای دو حرفی پشتیبانی می‌کند. گزینه های جدید همه کدهای دو حرفی هستند که از ترکیب t (بالا)، r (راست)، b (پایین) و l (چپ) استفاده می کنند. این ترکیب به شما می گوید که اولین سطح جنبه کجا خواهد بود. هر دو br و rb در پایین سمت راست با اولین جنبه شروع می شوند. سپس ترتیب جهت پر شدن را به شما می گوید، جایی که شروع با b از پایین به بالا پر می شود و با شروع با r از راست به چپ پر می شود.

p <- ggplot(mpg, aes(displ, hwy)) +
  geom_point()

p1 <- p + 
  facet_wrap(~ vctrs::vec_group_id(class), dir = "br") +
  labs(title = "dir = 'br'")

p2 <- p +
  facet_wrap(~ vctrs::vec_group_id(class), dir = "rb") +
  labs(title = "dir = 'rb'")

p1 | p2

p <- ggplot(mpg, aes(displ, hwy)) +
  geom_point()

p1 <- p + 
  facet_wrap(~ vctrs::vec_group_id(class), dir = "br") +
  labs(title = "dir = 'br'")

p2 <- p +
  facet_wrap(~ vctrs::vec_group_id(class), dir = "rb") +
  labs(title = "dir = 'rb'")

p1 | p2

۸ انتخاب پیش رو، به این ترتیب می‌باشد:

• "lt": شروع از بالا-چپ، پر کردن از چپ به راست
• "tl": شروع از بالا-چپ، پر کردن از بالا به پایین
• "lb": شروع از پایین-چپ، پر کردن از چپ به راست
• "bl": شروع از پایین-چپ، پر کردن از پایین به بالا
• "rt": شروع از بالا-راست، پر کردن از راست به چپ
• "tr": شروع از بالا-راست، پر کردن از بالا به پایین
• "rb": شروع از پایین-راست، پر کردن از راست به چپ
• "br": شروع از پایین-راست، پر کردن از پایین به بالا

فضای آزاد

آرگومان facet_grid(space) می تواند اطمینان حاصل کند که پنل‌ها متناسب با محدوده داده خود، فضا در اختیار بگیرند و اندازه پنل‌ها را متناسب با محدوده داده تنظیم می‌کند:

ggplot(penguins, aes(bill_dep, bill_len, colour = species)) +
  geom_point(na.rm = TRUE) +
  facet_wrap(~ island, scales = "free_x", space = "free_x")

ggplot(penguins, aes(bill_dep, bill_len, colour = species)) +
  geom_point(na.rm = TRUE) +
  facet_wrap(~ island, scales = "free_x", space = "free_x")

چیدمان لایه

آرگومان layer(layout) برای کنترل نحوه توزیع داده‌ها در پنل‌ها اضافه شده است. موارد زیر برای facet_wrap() و facet_grid()

• layout = NULL: پیش‌فرض. استفاده از متغیرهای faceting
• layout = “fixed” تکرار داده‌ها در تمام پنل‌ها
• layout = <integer>: اختصاص داده‌ها به پنل خاص
• layout = “fixed_cols”: تکرار داده‌ها در ستون
• layout = “fixed_rows”: تکرار داده‌ها در ردیف

ggplot(penguins, aes(bill_dep, bill_len)) +
  # Repeat within every row
  geom_point(na.rm = TRUE, colour = "grey", layout = "fixed_rows") +
  # Use facetting variables (default)
  geom_point(na.rm = TRUE, layout = NULL) +
  # Pick particular panel
  annotate(
    "text", x = I(0.5), y = I(0.5),
    label = "Panel 6", layout = 6
  ) +
  facet_grid(island ~ species)

ggplot(penguins, aes(bill_dep, bill_len)) +
  # Repeat within every row
  geom_point(na.rm = TRUE, colour = "grey", layout = "fixed_rows") +
  # Use facetting variables (default)
  geom_point(na.rm = TRUE, layout = NULL) +
  # Pick particular panel
  annotate(
    "text", x = I(0.5), y = I(0.5),
    label = "Panel 6", layout = 6
  ) +
  facet_grid(island ~ species)

به‌روزرسانی‌های ظاهری

Boxplot

امکان استایل‌دهی جداگانه اجزای boxplot (خط میانه، جعبه، خطوط (Wisker)و Staple) اضافه شده است:

ggplot(mpg, aes(class, hwy, colour = class)) +
  geom_boxplot(
    whisker.linetype = "dashed",
    box.colour = "black",
    median.linewidth = 2,
    staplewidth = 0.5, # show staple
    staple.colour = "grey50"
  ) +
  guides(colour = "none")

ggplot(mpg, aes(class, hwy, colour = class)) +
  geom_boxplot(
    whisker.linetype = "dashed",
    box.colour = "black",
    median.linewidth = 2,
    staplewidth = 0.5, # show staple
    staple.colour = "grey50"
  ) +
  guides(colour = "none")

آرگومان fatten منسوخ شده و جایگزین‌های median.linewidth و middle.linewidth معرفی شده‌اند.

ویولن و چارک‌ها

محاسبه چارک‌ها اکنون بر اساس داده‌های اصلی انجام می‌شود (نه داده‌های چگالی). به طور پیش فرض، چارک‌ها 25، 50 و 75 هستند و همیشه محاسبه می‌شوند. برای نمایش چارک‌ها، از آرگومان‌های quantile.colour، quantile.linetype و quantile.linewidth استفاده می‌شود. به طور پیش‌فرض quantile.linetype = 0 (بدون خط) است.

ggplot(mpg, aes(class, hwy, fill = class)) +
  geom_violin(
    quantiles = c(0.1, 0.9),
    quantile.linetype = 1
  ) +
  guides(fill = "none")

ggplot(mpg, aes(class, hwy, fill = class)) +
  geom_violin(
    quantiles = c(0.1, 0.9),
    quantile.linetype = 1
  ) +
  guides(fill = "none")

برچسب‌ها

geom_label() اکنون زیبایی‌شناسی‌های linetype و linewidth و آرگومان‌های border.colour و text.colour را پشتیبانی می‌کند.

ggplot(mtcars) +
  aes(
    wt, mpg,
    label = rownames(mtcars),
    colour = factor(cyl),
    linetype = factor(vs),
    linewidth = factor(am)
  ) +
  geom_label(text.colour = "black") +
  scale_linewidth_manual(values = c(0.3, 0.6))

ggplot(mtcars) +
  aes(
    wt, mpg,
    label = rownames(mtcars),
    colour = factor(cyl),
    linetype = factor(vs),
    linewidth = factor(am)
  ) +
  geom_label(text.colour = "black") +
  scale_linewidth_manual(values = c(0.3, 0.6))

مساحت و ریبون‌ها

geom_area() و geom_ribbon() اکنون از fill متغیر درون گروه پشتیبانی می‌کنند (نیاز به R 4.1.0+ دارد).

ggplot(economics, aes(date, unemploy)) +
  geom_area(aes(fill = uempmed))

ggplot(economics, aes(date, unemploy)) +
  geom_area(aes(fill = uempmed))

آماره‌های جدید

manual

سیاری از پسوندهای ggplot بر اساس آمار هستند که به شما امکان می دهد محاسبات دلخواه را روی داده ها قبل از تحویل توابع ترسیم انجام دهید. هم ساخته شده تا stat_manual() امکان تعریف آماره سفارشی بدون نیاز به ساخت کلاس رسمی را فراهم می‌کند:

make_centroids <- function(df) {
  transform(
    df,
    xend = mean(x, na.rm = TRUE),
    yend = mean(y, na.rm = TRUE)
  )
}

make_hull <- function(df) {
  df <- df[complete.cases(df), , drop = FALSE]
  hull <- chull(df$x, df$y)
  df[hull, , drop = FALSE]
}

ggplot(penguins, aes(bill_len, bill_dep, colour = species)) + 
  geom_point(na.rm = TRUE) + 
  # As a stat, provide a geom
  stat_manual(
    geom = "segment", # function creates new xend/yend for segment
    fun = make_centroids,
    linewidth = 0.2,
    na.rm = TRUE
  ) +
  # As a geom, provide the stat
  geom_polygon(
    stat = "manual",
    fun = make_hull,
    fill = NA,
    linetype = "dotted"
  )

make_centroids <- function(df) {
  transform(
    df,
    xend = mean(x, na.rm = TRUE),
    yend = mean(y, na.rm = TRUE)
  )
}

make_hull <- function(df) {
  df <- df[complete.cases(df), , drop = FALSE]
  hull <- chull(df$x, df$y)
  df[hull, , drop = FALSE]
}

ggplot(penguins, aes(bill_len, bill_dep, colour = species)) + 
  geom_point(na.rm = TRUE) + 
  # As a stat, provide a geom
  stat_manual(
    geom = "segment", # function creates new xend/yend for segment
    fun = make_centroids,
    linewidth = 0.2,
    na.rm = TRUE
  ) +
  # As a geom, provide the stat
  geom_polygon(
    stat = "manual",
    fun = make_hull,
    fill = NA,
    linetype = "dotted"
  )

Connection

stat_connect() امکان ایجاد اتصالات پله‌ای یا سفارشی بین نقاط را فراهم می‌کند:

eco <- economics |>
  dplyr::mutate(year = lubridate::year(date)) |>
  dplyr::summarise(
    min = min(unemploy),
    max = max(unemploy),
    mid = median(unemploy),
    .by = year
  )

ggplot(eco, aes(year, y = mid, ymin = min, ymax = max)) +
  geom_line(stat = "connect") +
  geom_ribbon(stat = "connect", alpha = 0.4)

eco <- economics |>
  dplyr::mutate(year = lubridate::year(date)) |>
  dplyr::summarise(
    min = min(unemploy),
    max = max(unemploy),
    mid = median(unemploy),
    .by = year
  )

ggplot(eco, aes(year, y = mid, ymin = min, ymax = max)) +
  geom_line(stat = "connect") +
  geom_ribbon(stat = "connect", alpha = 0.4)

همچنین می‌توانید از یک ماتریس عددی 2 ستونی برای ترسیم انواع دیگر اتصالات استفاده کنید. به عنوان مثال اگر از plogis() برای ایجاد یک انتقال لجستیک، می توانیم اتصالات مانندی ‌نمودار Bump ایجاد کنید.

x <- seq(0, 1, length.out = 20)[-1]
smooth <- cbind(x, scales::rescale(plogis(x, location = 0.5, scale = 0.1)))
zigzag <- cbind(c(0.4, 0.6, 1), c(0.75, 0.25, 1))

ggplot(head(eco, 10), aes(year, y = mid)) +
  geom_point() +
  stat_connect(aes(colour = "smooth"), connection = smooth) +
  stat_connect(aes(colour = "zigzag"), connection = zigzag)

x <- seq(0, 1, length.out = 20)[-1]
smooth <- cbind(x, scales::rescale(plogis(x, location = 0.5, scale = 0.1)))
zigzag <- cbind(c(0.4, 0.6, 1), c(0.75, 0.25, 1))

ggplot(head(eco, 10), aes(year, y = mid)) +
  geom_point() +
  stat_connect(aes(colour = "smooth"), connection = smooth) +
  stat_connect(aes(colour = "zigzag"), connection = zigzag)

معکوس‌سازی مختصات

تبدیل کردن معکوس که پیش‌از این با محدودیت‌هایی روبرو بوده، یا برای مثال در مقیاس‌های گسسته پشتیبانی نمی‌شده الان با reverse امکان‌پذیر شده‌است. آرگومان reverse برای سیستم‌های مختصات (coords) اضافه شده است که معکوس‌سازی محورها را ساده‌تر می‌کند. این آرگومان می‌تواند  "none"، "x"، "y" یا "xy" باشد. در coord_radial()، این آرگومان جایگزین direction شده است.

world <- sf::st_as_sf(maps::map('world', plot = FALSE, fill = TRUE))

ggplot(world) +
  geom_sf() +
  coord_sf(reverse = "y")

world <- sf::st_as_sf(maps::map('world', plot = FALSE, fill = TRUE))

ggplot(world) +
  geom_sf() +
  coord_sf(reverse = "y")

امکانات برای افزونه‌ها

لایه‌ها

تابع gg_par() برای تبدیل تنظیمات ggplot2 به تنظیمات grid معرفی شده است:

gg_par(lwd = 5)
#> $lwd
#> [1] 14.22638
grid::convertUnit(unit(5, "mm"), "pt")
#> [1] 14.2263779527559points

gg_par(lwd = 5)
#> $lwd
#> [1] 14.22638
grid::convertUnit(unit(5, "mm"), "pt")
#> [1] 14.2263779527559points

make_constructor() تولید سازنده‌های خودکار برای کلاس‌های Geom* و Stat* را ساده می‌کند.

تم‌ها

complete_theme() برای تکمیل و اعتبارسنجی تم‌ها معرفی شده است. عناصر تم جدید element_point و element_polygon برای استفاده در افزونه‌ها اضافه شده‌اند. این موارد در تنظیمات پایه ggplot2 استفاده نمی‌شوند.

# Let's say your package 'my_pkg' registers custom point/polygon elements
register_theme_elements(
  my_pkg_point = element_point(colour = "red"),
  my_pkg_polygon = element_polygon(fill = NA),
  element_tree = list(
    my_pkg_point = el_def(element_point, inherit = "point"),
    my_pkg_polygon = el_def(element_polygon, inherit = "polygon")
  )
)

# Which should inherit from the root point/polygon theme elements
my_theme <- theme(
  point = element_point(shape = 17),
  polygon = element_polygon(linetype = "dotted")
) |>
  complete_theme()

# Rendering your elements
pts <- calc_element("my_pkg_point", my_theme) |>
  element_grob(
    x = c(0.2, 0.5, 0.8),
    y = c(0.8, 0.2, 0.5)
  )
poly <- calc_element("my_pkg_polygon", my_theme) |>
  element_grob(
    x = c(0.1, 0.5, 0.9),
    y = c(0.9, 0.1, 0.5)
  )

# Drawing the elements
grid::grid.newpage()
grid::grid.draw(pts)
grid::grid.draw(poly)

# Let's say your package 'my_pkg' registers custom point/polygon elements
register_theme_elements(
  my_pkg_point = element_point(colour = "red"),
  my_pkg_polygon = element_polygon(fill = NA),
  element_tree = list(
    my_pkg_point = el_def(element_point, inherit = "point"),
    my_pkg_polygon = el_def(element_polygon, inherit = "polygon")
  )
)

# Which should inherit from the root point/polygon theme elements
my_theme <- theme(
  point = element_point(shape = 17),
  polygon = element_polygon(linetype = "dotted")
) |>
  complete_theme()

# Rendering your elements
pts <- calc_element("my_pkg_point", my_theme) |>
  element_grob(
    x = c(0.2, 0.5, 0.8),
    y = c(0.8, 0.2, 0.5)
  )
poly <- calc_element("my_pkg_polygon", my_theme) |>
  element_grob(
    x = c(0.1, 0.5, 0.9),
    y = c(0.9, 0.1, 0.5)
  )

# Drawing the elements
grid::grid.newpage()
grid::grid.draw(pts)
grid::grid.draw(poly)

1. این نوشته، ترجمه‌ای است آزاد از معرفی این نسخه در وبلاگ Tidyverse. کدها و نمودارها از همین لینک برداشته شده است. ︎

The post به‌روزرسانی بسته ggplot۲ +تغییرات ۴.۰ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

پانداس کتابخانه‌ متن‌باز پایتون است که با بیش از ۱۰۰ میلیون دانلود در ماه، محبوب‌ترین ابزار برای پردازش و تحلیل اکتشافی داده‌ها محسوب می‌شود. قابلیت خواندن و نوشتن در فرمت‌های متنوع، آن را به ابزاری قدرتمند و انعطاف‌پذیر برای متخصصان علوم داده تبدیل کرده است. همچنین، توابع پردازش داده‌ی آن، pandas را به ابزاری کاربردی برای تجمیع، تحلیل و پاک‌سازی داده‌ها تبدیل می‌کند. پانداس در واقع افزونه‌ای برای پردازش و دستکاری داده‌های جدولی در پایتون است که کارهایی مانند بارگذاری، هم‌ترازی، ادغام و تبدیل مجموعه‌داده‌ها را به طور کارآمد پیاده‌سازی می‌کند.

محبوبیت پانداس به عنوان یک ابزار تحلیل داده را می‌توان به تطبیق‌پذیری و عملکرد کارآمد آن نسبت داد. نام “Pandas” از عبارت “panel data” (داده‌های پانلی) گرفته شده است که به مجموعه‌ داده‌هایی اشاره دارد که چندین دوره زمانی را در بر می‌گیرند و بر تمرکز آن بر ساختارهای داده‌ایِ همه‌کاره  ایست که مدیریت مجموعه‌داده‌های واقعی را راحت می‌کند.

با پشتیبانی از انواع فرمت‌های ساختاریافته داده‌ها مانند جداول، ماتریس‌ها و سری‌های زمانی، پانداس ابزارهایی را برای پردازش مجموعه‌داده‌های نامرتب یا خام و تبدیل آن به فرمت‌های تمیز،  ساختاریافته و آماده برای تحلیل ارائه می‌دهد. برای دستیابی به عملکرد بالا، عملیات‌های محاسباتی سنگین با استفاده از C یا Cython در کد منبع پشتیبان پیاده‌سازی شده‌اند. همچنین کتابخانه پانداس با سایر ابزارهای علمی و کتابخانه‌های تحلیل داده پایتون ادغام می‌شود.

کتابخانه pandas به‌صورت ذاتی از چند رشته‌ای(multi-threading) پشتیبانی نمی‌کند، که این موضوع می‌تواند توانایی آن را در بهره‌گیری از پردازنده‌های چند هسته‌ای مدرن و پردازش مجموعه داده‌های بزرگ به‌طور کارآمد محدود کند. با این حال، کتابخانه‌ها و افزونه‌های جدید در اکوسیستم پایتون می‌توانند به رفع این محدودیت کمک کنند.

کتابخانه pandas با سایر ابزارهای علمی در اکوسیستم گسترده‌ی تحلیل داده در پایتون یکپارچه

دسترسی سریع

در هسته کتابخانه پانداس، ساختار داده‌ای DataFrame برای مدیریت داده‌های جدولی و آماری قرار دارد. DataFrame پانداس یک جدول دو بعدی و آرایه‌مانند است که هر ستون مقادیر یک متغیر خاص را نشان می‌دهد و هر ردیف مجموعه‌ای از مقادیر متناظر با آن متغیرها را در خود جای می‌دهد. داده‌های ذخیره شده در DataFrame می‌توانند شامل انواع عددی، دسته‌ای یا متنی باشند و پانداس را قادر می‌سازند تا مجموعه‌داده‌های متنوع را دستکاری و پردازش کند.

پانداس وارد کردن (import) و صادر کردن (Export) مجموعه‌داده‌ها را از قالب‌های مختلف فایل مانند CSV، SQL و صفحات گسترده تسهیل می‌کند. این عملیات، همراه با قابلیت‌های دستکاری داده آن، پانداس را قادر می‌سازد تا داده‌های جدولی و آماری را تمیز کند، آنها را به شکل و فرمت مورد نیاز درآورد و تحلیل کند.

در نهایت، DataFrame به عنوان ستون فقرات پانداس عمل می‌کند و کاربران را قادر می‌سازد تا مجموعه‌داده‌های ساختاریافته را به طور کارآمد مدیریت و تحلیل کنند، از وارد کردن و صادر کردن داده‌های خام گرفته تا انجام وظایف پیشرفته دستکاری داده برای یادگیری ماشین و فراتر از آن.

پانداس امکان وارد کردن و صادر کردن داده‌های جدولی را در قالب‌های مختلف مانند CSV، SQL و فایل‌های صفحه گسترده فراهم می‌کند.

  

پانداس همچنین امکان انجام عملیات مختلف دستکاری داده و ویژگی‌های پاکسازی داده، از جمله انتخاب زیرمجموعه، ایجاد ستون‌های مشتق شده، مرتب‌سازی، پیوستن، پر کردن، جایگزینی، خلاصه  آماری و نمودارسازی را فراهم می‌کند.

به گفته  PyPI – مخزن پکیج‌های  پایتون – پانداس برای کار با انواع مختلف داده مناسب است، از جمله:

• داده‌های جدولی با ستون‌های ناهمگن، مانند جدول SQL یا صفحه گسترده.
• داده‌های سری زمانی مرتب و نامرتب (لزوماً با فرکانس ثابت).
• داده‌های ماتریسی دلخواه (همگن یا ناهمگن) با برچسب‌های ردیف و ستون.
• هر شکل دیگری از مجموعه‌داده‌های مشاهداتی/آماری. داده‌ها در واقع نیازی به برچسب‌گذاری ندارند تا در یک ساختار داده‌ای پانداس قرار گیرند.

مزایای پانداس چیست؟

کتابخانه پانداس مزایای متعددی را برای متخصصان علوم داده و توسعه‌دهندگان ارائه می‌دهد و آن را به ابزاری ارزشمند برای تحلیل و دستکاری داده تبدیل می‌کند. مزایای کلیدی عبارتند از:

• ساخته شده برای پایتون:  پایتون محبوب‌ترین زبان برنامه‌نویسی در حوزه یادگیری ماشین و علوم داده است.
• کد کوتاه‌تر برای هر عملیات: کدهای نوشته‌شده با pandas نسبت به روش‌های سنتی کوتاه‌تر هستند و برای دستیابی به خروجی مطلوب، خطوط کمتری نیاز دارند.
• طیف گسترده‌ای از ویژگی‌ها: این کتابخانه طیف وسیعی از اقدامات مختلف را پشتیبانی می‌کند، از تحلیل اکتشافی داده (EDA) گرفته تا مدیریت مقادیر گمشده، محاسبات آماری، مصورسازی داده‌های تک‌متغیره و دومتغیره و بسیاری موارد دیگر.
• مدیریت داده‌های حجیم: pandas قادر است مجموعه داده‌های بزرگ را به‌راحتی پردازش کند. این کتابخانه بسته به قدرت سخت‌افزار، داده‌هایی با میلیون‌ها رکورد و صدها ستون را با سرعت و کارایی بالا مدیریت می‌کند.

 

ویژگی‌های کاربردی

می‌توان لیست بلندی از کاربردهای پانداس فهرست کرد. بخشی از این موارد در ادامه آمده است.

• مدیریت داده‌های گمشده (NaN): پانداس کار با مجموعه‌داده‌های حاوی داده‌های گمشده، که به عنوان NaN نشان داده می‌شوند، چه داده‌ها عددی باشند و چه غیر عددی، را ساده می‌کند.
• عملکرد GroupBy: پانداس عملیات GroupBy کارآمد را فراهم می‌کند و کاربران را قادر می‌سازد تا گردش‌های کاری تقسیم-اعمال-ترکیب را برای تجمیع و تبدیل داده انجام دهند.
• تغییر اندازه DataFrame: ستون‌ها را می‌توان به DataFrame یا ساختارهای داده‌ای با ابعاد بالاتر اضافه یا حذف کرد.
• هم‌ترازی خودکار و صریح داده: پانداس با هم‌تراز کردن خودکار اشیاء مانند Series و DataFrames به برچسب‌هایشان، هم‌ترازی داده را تضمین می‌کند و محاسبات را ساده می‌کند.
• مستندات کامل: رابط برنامه‌نویسی (API) کاربردی ساده‌شده و ویژگی‌های کاملاً مستند شده، منحنی یادگیری پانداس را کاهش می‌دهند. آموزش‌های کوتاه و ساده و نمونه‌های کد، کاربران جدید را قادر می‌سازند تا به سرعت شروع به کدنویسی کنند.
• ابزارهای ورودی/خروجی: پانداس از وارد کردن و صادر کردن داده‌ها در قالب‌های مختلف مانند CSV، Excel، SQL و HDF5 پشتیبانی می‌کند.
• مجموعه‌داده‌های آماده برای مصورسازی: پانداس تجسم ساده‌ای دارد که می‌تواند مستقیماً از شیء DataFrame ترسیم شود.
• Pivot و un-Pivot بی‌دردسر: پانداس تغییر ساختار جدول یا همان تبدیل به پیووت و برعکس را آسان می‌کند تا داده‌ها برای تحلیل یا مصورسازی آماده شوند.
• برچسب‌گذاری سلسله مراتبی: پانداس از نمایه سازی سلسله مراتبی پشتیبانی می‌کند و کاربران را قادر می‌سازد تا ساختارهای داده‌ای چند سطحی را در یک DataFrame واحد مدیریت کنند.
• عملکرد سری زمانی: پانداس شامل چندین تابع تحلیل سری زمانی است که ابزارهایی برای تولید محدوده تاریخ، تبدیل فرکانس، محاسبات پنجره متحرک و تحلیل تاخیر ارائه می‌دهد.

 

کاربردهای پانداس در عمل

همانطور که آمار دانلود PyPI نشان می‌دهد، پانداس به ابزاری محبوب برای متخصصان علوم داده و تحلیلگران تبدیل شده است و مدیریت کارآمد مجموعه‌داده‌ها را در صنایع مختلف امکان‌پذیر می‌کند. قابلیت‌های آن برای تحلیل و دستکاری داده، آن را به انتخابی برتر برای حل مسائل دنیای واقعی تبدیل می‌کند.

1. ادغام با SQL و تحلیل داده‌های آن
   پانداس با پایگاه‌های داده SQL ادغام می‌شود و کاربران را قادر می‌سازد تا مستقیماً در رابط برنامه‌نویسی پایتون پانداس از جداول SQL بخوانند و در آنها بنویسند. با وارد کردن مستقیم داده‌ها به DataFrame، کاربران می‌توانند از پانداس برای تحلیل داده استفاده کنند در حالی که SQL را برای کوئری زدن و مدیریت مجموعه‌داده‌ها حفظ می‌کنند.
2. مصورسازی و بینش
   توانایی پانداس در تمیز کردن، فیلتر کردن و تبدیل داده‌های جدولی تضمین می‌کند که مجموعه‌داده‌ها برای نمودارسازی و کتابخانه‌های ترسیم پیشرفته مانند Matplotlib و Seaborn آماده هستند. به عنوان مثال، پانداس می‌تواند داده‌های گمشده را مدیریت کند و داده‌های سری زمانی را برای یافتن روندها و بینش‌های معنادار قالب‌بندی کند.
3. تحلیل سری زمانی
    پانداس توابع سری زمانی متعددی برای وظایفی مانند تحلیل قیمت سهام، الگوهای آب‌و‌هوا و خواندن حسگرهای IoT دارد. عملکرد آن شامل تولید محدوده تاریخ، تبدیل فرکانس و عملیات‌های تغییر پیشرفته برای مجموعه‌داده‌های زمانی است.

4. دستکاری پیچیده داده‌ها
   وظایفی مانند merge، Join یا الحاق چند DataFrame با پانداس بسیار ساده است. متد concat، همراه با ابزارهایی مانند pandas append، امکان ترکیب منابع داده ناهمگون را فراهم می‌کند. این کتابخانه همچنین قابلیت GroupBy را برای تجمیع و تبدیل داده‌ها ارائه می‌دهد و از تکنیک‌های پیشرفته تقسیم-اعمال-ترکیب پشتیبانی می‌کند.

5. تبدیل داده‌های جدولی
   پانداس تبدیل داده‌های جدولی را با ویژگی‌هایی مانند تغییر شکل، تبدیل به پیووت و نمایه‌سازی سلسله مراتبی ساده می‌کند. برای مثال، کاربران می‌توانند مجموعه‌داده‌های خود را برای تحلیل عملکرد فروش در مناطق مختلف تغییر شکل دهند یا جداول محوری را برای دید واضح‌تری از رفتار مشتری ایجاد کنند.

6. مدیریت داده‌های گمشده
   مدیریت داده‌های گمشده یکی از نقاط قوت اصلی پانداس است. کاربران می توانند مقادیر NaN را در یک DataFrame با مقدار درست پر کنند، آنها را درون‌یابی (interpolate) کنند یا حذف کنند تا در نهایت دیتاست تمیز و کاملی برای تحلیل کردن یا ادغام در خطوط لوله (pipelines)  یادگیری ماشین در اختیار داشته باشند.

 

پایتون و پانداس

از آنجا که pandas بر پایه زبان برنامه‌نویسی پایتون ساخته شده، درک قدرت پایتون در علم داده و تحلیل داده‌ها اهمیت زیادی دارد.

پایتون که در سال ۱۹۹۱ معرفی شد، به یکی از محبوب‌ترین زبان‌ها در توسعه وب، تحلیل داده و یادگیری ماشین تبدیل شده است. سادگی و خوانایی بالای سینتکس آن، به کاربران تازه‌کار و حرفه‌ای کمک می‌کند تا به‌جای درگیر شدن با پیچیدگی‌های زبان‌های سطح پایین، روی حل مسائل تمرکز کنند. این سادگی با یک اکوسیستم گسترده از کتابخانه‌ها و ابزارهایی مانند pandas، NumPy، Matplotlib و Jupyter تقویت شده است.

رابط برنامه‌نویسی (API) پانداس  از این نقاط قوت پایتون بهره می‌برد و قابلیت‌های قدرتمندی برای دستکاری و تحلیل داده ارائه می‌دهد. توابعی مانند روش‌های str برای عملیات متنی و پشتیبانی از توابع lambda ، به کاربران امکان می‌دهد الگوریتم‌های پیشرفته را به‌طور مستقیم در جریان کاری خود پیاده‌سازی کنند. همچنین، سازگاری pandas با سایر کتابخانه‌هایی مانند NumPy باعث می‌شود که محاسبات عددی به‌سادگی در کنار پردازش داده‌های pandas انجام شود.

اکوسیستم پایتون امکان ارتباط با سیستم‌ها و سرویس‌های خارجی را از طریق APIها فراهم می‌کند و به همین دلیل pandas می‌تواند به‌راحتی در جریان‌های کاری داده‌ای، چه روی سیستم‌های محلی و چه در محیط‌های ابری، ادغام شود. برای مصورسازی داده‌ها، pandas با کتابخانه‌هایی مانند Matplotlib ترکیب می‌شود و نمودارهای شفاف و کاربردی تولید می‌کند.

مستندات رسمی پایتون و pandas منابع ارزشمندی برای یادگیری این زبان و کتابخانه‌های آن محسوب می‌شوند و راهنماهای جامع همراه با نمونه‌کدهای کاربردی ارائه می‌دهند. همراهی این مستندات با ابزارهای تعاملی مانند Jupyter Notebook باعث شده که پایتون به گزینه‌ای محبوب برای توسعه و آزمایش الگوریتم‌های مبتنی بر داده تبدیل شود.

با ترکیب انعطاف‌پذیری برنامه‌نویسی پایتون، قدرت کتابخانه‌هایی مانند پانداس و NumPy و ابزارهای تجسم‌سازی مانند Matplotlib، این زبان محیطی یکپارچه برای حل چالش‌های پیچیده داده‌ای فراهم می‌کند.

انواع داده (Data Types) در پانداس و پایتون

دیتاتایپ‌ها (Data types) یا به عبارت دقیق‌تر در فارسی “انواع داده” یا “گونه‌های داده”، از مفاهیم اساسی در برنامه‌نویسی و تحلیل داده هستند. آن‌ها تعیین می‌کنند که داده‌ها چگونه در حافظه ذخیره شوند، چه عملیاتی روی آن‌ها قابل انجام است و چگونه پردازش شوند.

کتابخانه پانداس (Pandas) در پایتون، مجموعه‌ای از انواع داده را ارائه می‌دهد که با هدف بهینه‌سازی حافظه، سرعت و کارایی طراحی شده‌اند. این انواع داده برای کار با مجموعه‌های بزرگ داده بسیار مهم هستند، زیرا انتخاب نوع داده مناسب می‌تواند تأثیر قابل توجهی بر عملکرد و مصرف منابع داشته باشد. از سوی دیگر، دیتاتایپ‌های متفاوت پانداس، محدودیت‌های پایتون را نیز پشت سر گذاشته‌ که در جدول زیر می‌توانید آن را ببینید:

انواع داده در پانداس	داده مشابه در پایتون	کاربرد و توضیحات
object	str, object	برای ذخیره‌سازی رشته‌ها، مقادیر مختلط و هر نوع داده‌ای که نوع دیگری ندارد. برای داده‌های متنی و داده‌های ناهمگون استفاده می‌شود.
int64	int	برای ذخیره‌سازی اعداد صحیح استفاده می‌شود. در تحلیل‌های آماری، شمارش تعداد موارد و شاخص‌گذاری کاربرد دارد.
float64	float	برای ذخیره‌سازی اعداد اعشاری با دقت مضاعف. در محاسبات علمی، آماری و مالی که نیاز به دقت اعشاری دارند استفاده می‌شود.
bool	bool	برای ذخیره‌سازی مقادیر منطقی (درست/نادرست). در فیلتر کردن داده‌ها، شرط‌های منطقی و ستون‌های وضعیت کاربرد دارد.
datetime64	datetime.datetime	برای ذخیره‌سازی تاریخ و زمان. در تحلیل‌های زمانی، سری‌های زمانی و گزارش‌گیری بر اساس زمان استفاده می‌شود.
timedelta64	datetime.timedelta	برای نگهداری فاصله‌های زمانی. در محاسبه اختلاف بین دو زمان، اندازه‌گیری مدت زمان فرایندها و محاسبات مربوط به دوره زمانی کاربرد دارد.
category	–	برای داده‌های طبقه‌بندی شده با تعداد مقادیر محدود. این دیتاتایپ حافظه کمتری مصرف می‌کند و در داده‌های نامی (اسمی) مانند جنسیت، وضعیت تأهل و رنگ کاربرد دارد.
string	str	نسخه بهینه‌شده پانداس برای رشته‌ها که با کارایی بهتر نسبت به object برای داده‌های متنی کار می‌کند.
Int64 (با I بزرگ)	int	نسخه پیشرفته int64 که مقادیر NaN (داده‌های گمشده) را نیز پشتیبانی می‌کند.
Float64 (با F بزرگ)	float	نسخه پیشرفته float64 که با داده‌های گمشده سازگارتر است.
complex128	complex	برای اعداد مختلط استفاده می‌شود. در محاسبات مهندسی، پردازش سیگنال و فیزیک کاربرد دارد.
Period	–	برای نمایش دوره‌های زمانی مانند سال، ماه یا روز. در گزارش‌گیری دوره‌ای و تحلیل‌های فصلی استفاده می‌شود.
Interval	–	برای نمایش بازه‌های عددی. در طبقه‌بندی داده‌ها به گروه‌های مشخص و ایجاد هیستوگرام‌ها کاربرد دارد.
Sparse	–	برای ذخیره‌سازی کارآمد ماتریس‌های تنک (با مقادیر صفر زیاد). در داده‌های بزرگ با مقادیر صفر فراوان مانند ماتریس‌های همبستگی و داده‌های متنی کاربرد دارد.

پانداس به طور خودکار نوع داده را تشخیص می‌دهد اما گاهی نیاز به تبدیل دستی با متد astype() وجود دارد.

 

چگونه کار با پانداس را شروع کنیم؟

نصب پانداس

نصب این کتابخانه ساده است و می‌توانید از دستور pip برای نصب استفاده کنید.

				
					pip install pandas
				
			

راه دیگر، نصب آن از طریق conda است:

				
					conda install pandas
				
			

راه دیگر، نصب آن از طریق conda است:

				
					conda install pandas
				
			

پس از نصب Pandas، می‌توانید با بررسی نسخه نصب شده، مطمئن شوید که همه چیز درست کار می‌کند:

				
					import pandas as pd
print(pd.__version__)  # Prints the pandas version
				
			

این کد تایید می‌کند که Pandas به درستی نصب شده و به شما امکان می‌دهد که سازگاری با بسته‌های دیگر را بان آن بررسی کنید.

ورود داده‌ها به Pandas

برای شروع کار باید Pandas  را طبق دستور زیر به محیط پایتون فراخوانی کنید. pd نام مستعار رایجی است که برای این کتابخانه استفاده می‌شود.

				
					import pandas as pd
				
			

وارد کردن فایل‌های CSV

با دستور read_csv می‌توانید فایل‌های CSV را به فراخوانی کنید:

				
					df = pd.read_csv("example_data.csv")
				
			

این کد فایل‌های CSV را بارگیری می‌کند و آن را یک DataFrame می‌ریزد.

وارد کردن فایل‌های متنی (Text)

خواندن فایل‌های متنی مشابه خواندن فایل‌های CSV است، با این تفاوت که باید جداکننده (separator) را مشخص کنید، همان‌طور که در مثال زیر نشان داده شده است. آرگومان sep مشخص می‌کند که چه نمادی برای جدا کردن مقادیر در یک DataFrame استفاده شده است. برخی از رایج‌ترین جداکننده‌ها عبارت‌اند از:

• کاما (,) → sep=","
• فاصله سفید (یک یا چند فاصله) → sep="\s"
• تب (\t) → sep="\t"
• دو نقطه (:) → sep=":"

در اینجا، \s نشان‌دهنده یک کاراکتر فاصله سفید (space character) است.

				
					df = pd.read_csv("example_data.txt", sep="\s")
				
			

وارد کردن فایل‌های فایل اکسل (تک شیت)

خواندن فایل های اکسل (هر دو XLS و XLSX) به آسانی با یک تابع و آدرس‌دهی فایل قابل انجام است: input.read_excel

				
					df = pd.read_excel('example_data.xlsx')
				
			

می‌توانید آرگومان‌های دیگری را نیز مشخص کنید، مانند header برای تعیین اینکه کدام سطر به عنوان هدر (Header) یا نام ستون‌های DataFrame در نظر گرفته شود. مقدار پیش‌فرض این آرگومان ۰ است، که به این معنی است که سطر اول به عنوان نام ستون‌ها استفاده می‌شود. همچنین می‌توانید نام ستون‌ها را به‌صورت یک لیست در آرگومان names مشخص کنید. اگر فایل شامل یک ایندکس ردیفی باشد، می‌توان از آرگومان index_col (که مقدار پیش‌فرض آن None است) استفاده کرد.

نکته: در pandas، ایندکس (Index) یک شناسه‌ی منحصربه‌فرد است که موقعیت یک سطر یا ستون را در یک DataFrame مشخص می‌کند. به بیان ساده، ایندکس برچسبی برای ردیف‌ها یا ستون‌ها است که به شما اجازه می‌دهد یک سطر یا ستون خاص را با استفاده از ایندکس آن بازیابی کنید (در ادامه بیشتر با این موضوع آشنا خواهید شد).

ایندکس سطرها در یک DataFrame می‌تواند به شکل‌های مختلفی باشد، از جمله:

• یک بازه عددی (مثلاً از ۰ تا ۳۰۳)
• یک سری زمانی (تاریخ یا برچسب‌های زمانی)
• یک شناسه‌ی منحصربه‌فرد (مثلاً در یک جدول اطلاعات کارمندان، employee_ID)
• یا انواع دیگر داده‌ها

برای ستون‌ها، ایندکس معمولاً یک رشته متنی است که نام ستون را مشخص می‌کند.

وارد کردن فایل‌های اکسل (چند شیتی)

خواندن فایل‌های Excel که شامل چندین Sheet (برگه) هستند، تفاوت چندانی با فایل‌های دیگر ندارد. تنها تفاوت این است که باید یک آرگومان اضافه به نام sheet_name را مشخص کنید.

• می‌توانید یک رشته متنی (برای نام برگه) یا یک عدد صحیح (برای موقعیت برگه) به این آرگومان بدهید.
• نکته: پایتون از ایندکس صفر (۰) استفاده می‌کند، یعنی اولین برگه در فایل Excel را می‌توان با مقدار sheet_name = 0 مشخص کرد.

				
					# Extracting the second sheet since Python uses 0-indexing
df = pd.read_excel('example_data_multi.xlsx', sheet_name=1)
				
			

وارد کردن داده از پایگاه داده‌های SQL

برای بارگذاری داده از یک پایگاه داده رابطه‌ای (Relational Database)، از pd.read_sql همراه با یک اتصال به پایگاه داده استفاده کنید:

				
					import sqlite3

# Establish a connection to an SQLite database
conn = sqlite3.connect("my_database.db")

# Read data from a table
df = pd.read_sql("SELECT * FROM my_table", conn)
				
			

نکته: اگر مجموعه داده بسیار بزرگی دارید، توصیه می‌شود از SQLAlchemy برای بهینه‌سازی پرس‌وجوها (queries) استفاده کنید.

وارد کردن داده از یک API (فرمت JSON)

اگر داده‌های شما از یک API تحت وب دریافت می‌شوند، pandas می‌تواند مستقیماً آن را با pd.read_json بخواند:

				
					df = pd.read_json("https://api.example.com/data.json")
				
			

خروجی گرفتن از داده‌ها

همان‌طور که pandas می‌تواند داده‌ها را از انواع فایل‌ها وارد کند، امکان ذخیره داده‌ها در فرمت‌های مختلف را نیز فراهم می‌کند. این قابلیت زمانی مفید است که داده‌ها پس از پردازش نیاز به ذخیره‌سازی محلی داشته باشند. در ادامه نحوه ذخیره DataFrameها در فرمت‌های مختلف آورده شده است.

ذخیره یک DataFrame در فایل CSV
برای ذخیره یک DataFrame در فایل CSV، از متد to_csv استفاده کنید. این متد نام فایل و مسیر ذخیره را دریافت می‌کند.

				
					df.to_csv("output.csv", index=False)
				
			

نکته: آرگومان index=True تعیین می‌کند که ایندکس‌های DataFrame نیز در فایل CSV ذخیره شوند.

ذخیره یک DataFrame در فایل متنی (TXT)
برای ذخیره یک DataFrame در فایل متنی، مانند CSV، از متد to_csv استفاده کنید. تنها تفاوت این است که باید فرمت فایل را txt قرار دهید و یک جداکننده (separator) مشخص کنید:

				
					df.to_csv("output.txt", sep="\t")
				
			

ذخیره یک DataFrame در فایل اکسل
برای ذخیره DataFrame در یک فایل اکسل، از متد to_excel استفاده کنید. این متد از فرمت‌های xls و xlsx پشتیبانی می‌کند:

				
					df.to_excel("output.xlsx")
				
			

مشاهده DataFrameها در pandas

پس از خواندن داده‌های جدولی در قالب DataFrame، ممکن است نیاز داشته باشید یک نمای کلی از داده‌ها داشته باشید. می‌توانید با نمایش نمونه‌ای کوچک از مجموعه داده یا مشاهده خلاصه‌ای از داده‌ها، اطلاعات لازم را به‌دست آورید.

مشاهده داده‌ها با .head() و .tail()

برای مشاهده چند سطر ابتدایی یا چند سطر انتهایی یک DataFrame، می‌توانید به ترتیب از متدهای .head() و .tail() استفاده کنید. تعداد سطرها را می‌توان با آرگومان n مشخص کرد (مقدار پیش‌فرض 5 است).

				
					df.head(10)  # نمایش ۱۰ سطر اول  
df.tail(5)   # نمایش ۵ سطر آخر
				
			

همانطور که در دستورات بالا دیدید، شروع کار با پانداس بسیار ساده و سریع است. تنها با چند خط کد می‌توان آن را نصب کرد، داده‌ها را از فرمت‌های مختلف مانند CSV، اکسل یا پایگاه‌های داده وارد کرد و پس از پردازش، در قالب‌های موردنظر استخراج نمود. از امکانات متنوع این کتابخانه، مانند فیلتر کردن داده‌ها، مرتب‌سازی، ترکیب جداول و تبدیل داده‌ها، می‌توان برای تحلیل‌های پیچیده و مصورسازی استفاده کرد.

جمع‌بندی

پانداس یکی از قدرتمندترین ابزارهای تحلیل داده در پایتون است که به دلیل سادگی، انعطاف‌پذیری و کارایی بالا، به انتخاب اول متخصصان داده، پژوهشگران و حتی مدیران کسب‌وکار تبدیل شده است. این کتابخانه امکان پردازش، تمیزسازی و تحلیل سریع داده‌ها را فراهم می‌کند و در کنار دیگر ابزارهای پایتون، جریان کاری تحلیل داده را به شکل چشمگیری بهبود می‌بخشد.

با توجه به کاربرد گسترده پانداس در صنایع مختلف، از تحلیل مالی و علوم پزشکی گرفته تا یادگیری ماشین و مدیریت کسب‌وکار، تسلط بر آن می‌تواند یک مزیت رقابتی مهم در مسیر حرفه‌ای شما باشد. اگر به دنبال یادگیری عملی این مهارت کلیدی هستید، در دوره‌ای که برگزار می‌کنیم شرکت کنید و با استفاده از پانداس، قدرت داده را در دستان خود بگیرید!

منابع:

Nvidia: What Is pandas?
datacamp: Python pandas Tutorial: The Ultimate Guide for Beginners

The post پانداس (Pandas) چیست؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

دوره آموزشی مرتبط:

آموزش کاربردی اکسل (موسسه آهنگ آتیه)

Hi, Welcome back!

Keep me signed in

رمز عبور را فراموش کردید؟.

Sign In

Don't have an account?  Register Now

 

جمع‌بندی

انتخاب بهترین ابزار برای تحلیل داده‌ها به نیازهای خاص هر کسب‌وکار و میزان پیچیدگی داده‌های آن بستگی دارد. برای کسب‌وکارهایی که به دنبال راه‌حل‌های سریع و ساده هستند، نرم‌افزارهایی مانند اکسل و پاور بی‌آی انتخاب‌های مناسبی هستند، زیرا کاربری آسان و قابلیت‌های بصری قوی را فراهم می‌کنند. اما برای تحلیل‌های پیچیده‌تر آماری یا زمانی که نیاز به مدل‌سازی پیشرفته دارید، زبان‌های برنامه‌نویسی مانند R و پایتون ابزارهای قدرتمندتری محسوب می‌شوند. اگر داده‌های شما در پایگاه‌های داده بزرگ و رابطه‌ای ذخیره می‌شوند، SQL به عنوان یک ابزار ضروری برای مدیریت و استخراج داده‌ها پیشنهاد می‌شود.

با این حال، برای انتخاب مناسب‌ترین ابزار، شرکت‌ها باید ابتدا داده‌های خود را به‌خوبی شناسایی کنند تا بهترین رویکرد تحلیل را براساس حجم، نوع و اهداف خود مشخص نمایند. این شناخت دقیق از داده‌ها، کلید استخراج بینش‌های ارزشمند و تصمیم‌گیری‌های هوشمندانه و استراتژیک است.

The post پنج ابزار کاربردی برای تحلیل داده در کسب‌وکار  appeared first on مدرسه پردازش و تحلیل داده دقیقه.

				
					install.packages ( "tidyverse" )
				
			

				
					install.packages ( "survival" )
				
			

				
					install.packages ( "caret" )
				
			

				
					install.packages ( "Healthcareai" )
				
			

				
					install.packages ( "ROCR" )
				
			

				
					install.packages ( "epiR" )
				
			

The post کتابخانه‌های کاربردی R برای تحلیل داده‌های پزشکی و سلامت appeared first on مدرسه پردازش و تحلیل داده دقیقه.

مقدمه

در دنیای دیجیتالیزه شده امروز، فایل‌های PDF یکی از رایج‌ترین استانداردهای ارائه اسناد هستند. از گزارش‌های عمومی دولتی تا گزارش‌های مالی و مقالات علمی؛ بسیاری از اطلاعات ارزشمند در قالب جداول به صورت PDF ذخیره می‌شوند. استخراج داده‌های جداول از فایل‌های PDF، یکی از چالش‌های معمول در حوزه کار با این اسناد است و چه به‌عنوان تحلیلگر داده‌ی آماری یا دیتاژورنالیست، دردسر این موضوع به‌تنهایی پتانسیل این را دارد که از آن موضوع در هر سطح اهمیتی گذر کنی و اصطلاحاً بی‌خیالش بشی.

اما این دردسر آیا می‌تواند ضرورت اهمیت این کار را کم کند؟ برای مثال اگر به‌عنوان پژوهشگر یا روزنامه‌نگار در حوزه عمومی کار کرده باشید می‌دانید که بسیاری از گزارش‌های عمومی و دولتی که داده‌های ارزشمندی را در دل خود جای داده‌اند، با فرمتPDF  منتشر می‌شوند؛ بودجه‌ی سالانه، گزارش‌های سالانه مرکز آمار و دیگر وزارتخانه‌ها و … که امکان تحلیل ماشینی به‌صورت مستقیم ندارد و همین امر باعث بی‌توجهی و غافل شدن از این اطلاعات مهم می‌شود.

خوب راه‌حل چیه؟ برنامه‌نویسی استخراج داده‌ها از PDF‌ها چالش‌های خاص خودش را دارد و وقتی با متن فارسی سروکله می‌زنید این چالش‌ها به طرز عجیبی قرار هست بیشتر اذیت‌تون کنه. راه دومی که پیش‌تر استفاده می‌شد، کپی و پیست دستی داده‌ها است که نه‌تنها وقت‌گیر است، بلکه می‌تواند منجر به اشتباهات انسانی شود. اما این فرایند راه‌حل ساده‌ای دارد و خوشبختانه، ابزارهایی وجود دارند که بدون نیاز به دانش برنامه‌نویسی، می‌توانند این فرآیند را ساده‌تر کنند و چندین ابزار ساده و کاربرپسند وجود دارد که به شما اجازه می‌دهد بدون نیاز به کدنویسی، داده‌های جداول را به‌راحتی از فایل‌های PDF استخراج کنید. در این یادداشت، به معرفی و آموزش 4 ابزار و روش کاربردی که می‌تواند به شما در استخراج داده‌های جدول از PDF کمک می‌کنند، می‌پردازم.

{در این آموزش از فایل PDF گزارش سالنامه آماری 1401 در مرکز آمار ایران استفاده‌شده است}

 

تابولا Tabula

 Tabula را می‌توان به‌عنوان پیش‌کسوت این حوزه معرفی کرد اما همچنان کاربردی است؛ تابولا یکی از ساده‌ترین و کاربرپسندترین ابزارها برای استخراج جداول از فایل‌های PDF است. این ابزار رایگان و متن‌باز بوده و به کاربر امکان می‌دهد تا بدون نیاز به دانش فنی، جداول PDF را به‌راحتی استخراج کنید و دقت بالایی دارد و امکان استخراج هم‌زمان چند جدول را در اختیار شما می‌گذارد. آخرین نسخه‌ی منتشر شده تابولا سال 2018 منتشر شده است.

تابولا توانایی استخراج داده‌ها از PDF‌هایی که به‌صورت ماشینی تولید شده‌اند را دارد و به این نکته توجه داشته‌باشید که اگر فایل شما خروجی اسکن شده هستند، باید به فکر راه‌حل‌های دیگری باشید.

راهنمای استفاده از تابولا

1- فایل برنامه را از سایت تابولا دانلود کنید. نسخه‌های ویندوز و مک در سایت در دسترس هست و اگر از لینوکس استفاده می‌کنید می‌توانید از راهنمای نصب آن را از مخزن گیتهاب آن بخوانید:

Tabula.technology

2- فایل دانلود شده را از حالت فشرده خارج کنید و فایل tabula را باز کنید. اگر مشکلی وجود نداشته باشد، صفحه مرورگر باز می‌شود و اگر به‌صورت خودکار باز نشد می‌‌توانید به‌صورت دستی http://127.0.0.1:8080 را باز کنید و فایل خود را Import کنید و صبر کنید پردازش اولیه بر آن انجام شود. زمان پردازش وابسته به حجم فایل و سخت‌افزار شما است.

این نکته را به یاد داشته باشید که تابولا بر بستر Java نوشته شده و برای اجرای آن نیاز هست  که جاوا را روی سیستم خود نصب کنید.

3- در صفحه‌‌ای که باز می‌شود می‌توانید صفحات مختلف را ورق بزنید و جداول که‌می‌خواهید را انتخاب کنید. گوشه‌ی جدول را کلیک کنید و نشانگر ماوس را بکشید تا محیط مشخص شود.اگر از فایل‌هایی مثل بودجه استفاده می‌کنید که جدول‌ها در صفحات مختلف تکرار شده‌اند گزینه‌ی Autodetect Tables، با دقت خوبی کل جدول‌ها را انتخاب می‌کند. پس از اتمام کار گزینه Preview & Export Extracted Data  را فشار دهید تا پیش‌نمایش جداول به شما نمایش داده شود.

4- تمام! پیش‌نمایش جدول را می‌توانید پیش روی خود ببینید و از بخش Export Format، فرمت مناسب خود را انتخاب کنید و دانلود کنید. (اگر فرمت‌ها را نمی‌شناسید، فرمت پیش‌فرض CSV گزینه‌ی مناسبی برای کار در نرم‌افزارهای مختلف هست.)

از بخش‌های My Templates  می‌توانید قالب‌هایی را برای فایل‌های خاص بسازید که در مراحل بعد نیازی به انجام فرایندهای تکراری نباشد و یادگیری این بخش را بر عهده‌ی خودتان می‌گذارم که آن را کشف کنید.

دقت کنید که اگر چه فایل در مرورگر باز می‌شود اما آدرس شبکه‌ی داخلی شما هست و فایل‌ها از سیستم شما بیرون نمی‌رود و امنیت آن‌ها به خطر نمی‌افتد.

 

مایکروسافت اکسل

یکی دیگر از ابزارهایی که می‌توانید برای استخراج داده‌های جداول از فایل‌های PDF استفاده کنید، Microsoft Excel  است. اکسل نیاز به معرفی خاصی ندارد و رابط کاربری آشنای آن مهم‌ترین مزایای آن هست و می‌توانید پس از استخراج به‌سرعت کار بر روی داده‌ها را آغاز کنید. قابلیت باز کردن فایل‌های PDF و استخراج داده‌های جدول به‌صورت خودکار در نسخه‌های جدید اکسل، اضافه شده است.

راهنمای استفاده از اکسل

1- نرم‌افزار اکسل را باز کنید و از سربرگ Data، گزینه Get Data  را باز کنید و از بخش From File  گزینه PDF  را بزنید و فایل مورد نظر خود را وارد کنید و صبر کنید تا پردازش تمام شود و صفحه Navigator  باز شود و گزینه‌ها نمایش داده شود.

2- همان‌طور که در تصویر زیر می‌بینید تمامی جداول گزارش که توسط اکسل شناسایی شده در فهرست زیر مشخص هست و می‌توانید صفحه‌ای که مایل هستید را انتخاب کنید یا با فعال کردن گزینه Select Multiple Items  در سایدبار به‌صورت هم‌زمان چند گزینه را انتخاب کنید. پس از اتمام کار با فشار دادن گزینه Load  داده‌های به شیت اکسل شما وارد می‌شود. این ابزار از Power Query  کمک می‌گیرد و با فشار دادن Transform Data ابتدا به صفحه power query وارد می‌شوید و (اگر تغییراتی دارید/ندارید اعمال کنید ) و از آنجا دوباره گزینه انتقال به شیت را می‌توانید بزنید.

فضای کاری آشنا و امکان استخراج و ویرایش هم‌زمان داده‌ها در اکسل می‌تواند گزینه‌ی قابل قبولی برای بسیاری از کاربران باشد و تجربه کار با آن در متون فارسی برای من لذت‌بخش بوده و دقت بسیار بالایی در استخراج داشته و نیازمند کمترین زمان برای ویرایش خروجی‌ها را داشته است.

 

Adobe Acrobat Pro

نرم‌‌افزار آشنا و رایگان Acrobat reader که تا مدت‌ها PDF‌خوان پیش‌فرض بسیاری بود یک برادر پولی داره که جز نمایش، امکان‌های زیادی مثل ویرایش PDF  هم در اختیار کاربر می‌گذارد و در نسخه‌های جدید خروجی‌های نسبتاً قابل قبولی از تبدیل فایل‌های فارسی نیاز داشته است.

راهنمای استفاده از Adobe Acrobat Pro

 1- فایل PDF مورد نظر خود را با آن باز کنید و جدولی که می‌خواهید از آن خروجی بگیرید را با کمک ماوس انتخاب کنید و روی آن راست کلیک کنید. در منوی باز شده دو انتخاب دارید؛

Copy with Formating: بخشی که مد نظرتان هست را با حفظ چارچوب‌های آن کپی می‌کند و می‌توانید آن را در فضایی مثل ورد یا اکسل به‌صورت مستقیم کپی کنید. در تجربه من با آن، چسباندن (Past) کردن در ورد کیفیت قابل قبولی دارد اما در انتقال مستقیم به اکسل حروف فارسی در هم ریخته می‌شوند. (انتقال به ورد و سپس کپی مجدد و انتقال به اکسل، قابل قبول بود)

Export selection as: با انتخاب این گزینه بخش انتخابی به‌صورت مستقیم در قالب خروجی‌هایی که در تصویر زیر می‌بینید تحویل داده می‌شود و با اغماض کیفیت قابل قبولی داشت و می‌توانید در تصویر زیرین آن را ببینید.

این نرم‌افزار از سویی امکان استخراج اتوماتیک چند جدول را نمی‌دهد و از سوی دیگر به دلیل مشکلاتی که با متن‌های فارسی دارد برای کارهای بزرگ مناسب نیست.

 

هوش مصنوعی

امروزه با پیشرفت‌های هوش مصنوعی که گره‌‌ای نیست که نشه باهاش باز نکرد و بات‌های هوش مصنوعی مثل ChatGPT، کلاود یا Gemini  گوگل خیلی راحت می‌توانند بهتون کمک کنند.

برای استفاده من با دو راه به نتیجه رسیده‌م و شما می‌توانید راه‌های دیگری نیز تست کنید؛

1- ارسال تصویر جدول: تصویر جداول را با اسکرین‌ گرفتن از فایل یا آپلود فایل ذخیره در بات و نوشتن پرامپت ساده‌ی « اطلاعات این جدول را به‌صورت خروجی مارکداون برام بفرست» به نتیجه زیر رسیدم. اگر مارکداون را نمی‌شناسید، پیشنهاد می‌کنم در مورد آن گوگل کنید یا از خود هوش مصنوعی بپرسید.

 

2- آپلود کل فایل: هوش مصنوعی‌ها زمانی که فایل pdf یا اسناد دیگر را دریافت می‌کنند، نمی‌توانند آن را به‌صورت یک فایل یکپارچه بفهمند. توضیح ساده این است که فایل را تکه تکه می‌کنند و مثلا کلمه به کلمه آن را می‌خوانند سپس در شبکه‌ای مرتبط با هم آن را فهم می‌کنند. در این فرایند زمانی که کاربر درخواست ارسال صفحه‌ی خاصی کند با خطایی روبرو می‌شوید که هوش مصنوعی از ناتوانی در فهم شماره صفحه می‌گوید و درخواست ارسال موضوع خاص از کاربر می‌کند:

زمانی که عنوان جدول مورد نظر را ارسال کنید اما اصل جدول را با توضیحات لازم ارسال می‌کند. دقت کنید که دلیل ارسال جدول انگلیسی این هست که من در شروع صحبت با آن انگلیسی صحبت کرده‌ام و پس از ارسال جدول انگلیسی برای اطمینان از صحت داده‌ها درخواست ارسال جدول به‌صورت فارسی کردم و به درستی جواب را برگرداند. در نهایت خروجی جدول را می‌توانید به اکسل منتقل کنید.

 

علاوه بر بات‌هایی، پلتفرم‌هایی کمک گرفته از هوش مصنوعی هست که اختصاصاً برای چنین کارهایی آموزش دیده‌اند به‌صورت پولی یا رایگان محدود فعالیت می‌کنند و می‌توانید آن‌ها را با جست‌و‌جویی کوتاه در اینترنت بیابید.

جمع‌بندی

در این یادداشت، چهار ابزار محبوب و کارآمد برای استخراج جداول از فایل‌های PDF بدون نیاز به برنامه‌نویسی معرفی شد :  Tabula، Microsoft Excel، Adobe Acrobat Pro و ابزارهای مبتنی بر هوش مصنوعی که هر یک از این ابزارها با توجه به نیازهای مختلف کاربران، از افراد مبتدی تا حرفه‌ای، راه‌حل‌های ساده و قابل اطمینانی ارائه می‌دهند.

در کنار این ابزارها، ابزارهای دیگری نیز در بازار موجود هستند که ممکن است بسته به نیاز کاربران مفید واقع شوند. برخی ابزارهای آنلاین و نرم‌افزارهای دیگر نیز قابلیت استخراج داده‌ها از PDF را دارند که می‌توانند در شرایط خاص، جایگزین‌های مناسبی باشند و اگر تجربه‌های دیگری دارید می‌توانید آن را به اشتراک بگذارید تا به این فهرست اضافه شوند.

در آینده این یادداشت به‌روزرسانی خواهد شد تا ابزارهای جدیدتر و کاربردی‌تر را نیز معرفی کند. همچنین، یادداشت‌های دیگری در زمینه‌های مرتبط مانند استخراج جداول از سایت‌های اینترنتی و استخراج داده‌ها از نمودارها و گراف‌ها منتشر خواهد شد که به شما کمک می‌کند تا داده‌های موردنیاز خود را به‌راحتی از منابع مختلف دریافت کنید.

برای دریافت اطلاعات در مورد انتشار یادداشت‌های جدید و به‌روزرسانی‌های این مقاله، ما را در شبکه‌های اجتماعی دنبال کنید.

 

 

The post استخراج داده‌های جداول از PDF  بدون برنامه‌نویسی    appeared first on مدرسه پردازش و تحلیل داده دقیقه.

تغییرات فروش در بازه‌های زمانی معمولا یکی از شاخص‌هایی است که همیشه توسط کسب و کارها دنبال می‌شود. فرمول محاسبه نرخ تغییرات فروش ساده است: 

مشخص است که اگر عدد حاصل از فرمول بالا را در ۱۰۰ ضرب کنیم، درصد تغییرات فروش را محاسبه کرده‌ایم. برای این کار می‌توانیم از دستورات lead و lag در کتابخانه dplyr استفاده کنیم.

نحوه عملکرد lead و lag

این دو تابع  عملکردی ساده دارند. lead مقدار بعدی و lag مقدار قبلی را در یک بردار پیدا می‌کند. فرض کنید برداری دارید که اعداد ۱ تا ۵ را در آن ذخیره کرده‌اید. عملکرد توابع مورد نظر بصورت زیر خواهد بود:

				
					library(dplyr)
v <- 1:5
lead(v)
				
			

				
					[1]  2  3  4  5 NA
				
			

ملاحظه می‌کنید که پاسخ، یک بردار است که از مقدار ۲ آغاز شده و به NA ختم شده است. مقدار آخر به این دلیل NA شده است که پس از عدد ۵ در بردار v مقدار دیگری نداریم. حتما می‌توانید حدس بزنید که به همان دلیل پیشین اگر تابع lag را روی بردار v  اعمال کنیم اولین مقدار آن NA خواهد بود.

				
					> lag(v)
[1] NA  1  2  3  4
				
			

پاسخ توابع lead و lag همیشه به اندازه بردار اصلی هستند. برای اینکه بهتر نحوه کارکرد این دو تابع را درک کنید به مثال زیر توجه کنید.

				
					library(dplyr)
v = 1:5
data.frame(
    before = lag(v),
    actual = v,
    after = lead(v)
      )
				
			

				
					.  before actual after
1     NA   1     2
2      1   2     3
3      2   3     4
4      3   4     5
5      4   5    NA
				
			

محاسبه نرخ تغییر فروش ماهانه

فرض کنید میزان فروش ماهانه یک شرکت در ۶ ماه اول سال بصورت زیر است.

				
					data <- data.frame(
  monthID = 1:6,
  month = month.abb[1:6],
  sales = c(90e3,12.7e4,10e4,92e3,16e4,16.9e4)
    )
data
				
			

				
					.  monthID month  sales
1       1   Jan  90000
2       2   Feb 127000
3       3   Mar 100000
4       4   Apr  92000
5       5   May 160000
6       6   Jun 169000
				
			

برای محاسبه درصد میزان رشد (یا کاهش) فروش ماهانه کافی است ستونی جدید درست کنیم که حاصل تفریق ماه جاری از فروش ماه قبل، تقسیم بر میزان فروش ماه قبل باشد.

				
					library(dplyr)
data %>%
  mutate(
    sales_change_percent = ((sales - lag(sales)) / lag(sales) * 100)
    )

				
			

				
					.  monthID month  sales sales_change_percent
1       1   Jan  90000                   NA
2       2   Feb 127000             41.11111
3       3   Mar 100000            -21.25984
4       4   Apr  92000             -8.00000
5       5   May 160000             73.91304
6       6   Jun 169000              5.62500
				
			

می‌توانید با استفاده از تابع round مقدار درصد محاسبه شده را به عدد صحیح رند کنید.

				
					data %>%
  mutate(
    sales_change_percent = round(((sales - lag(sales)) / lag(sales) * 100))
    )
				
			

				
					.  monthID month  sales sales_change_percent
1       1   Jan  90000                   NA
2       2   Feb 127000                   41
3       3   Mar 100000                  -21
4       4   Apr  92000                   -8
5       5   May 160000                   74
6       6   Jun 169000                    6
				
			

 

 

 

 

Photo by Isaac Smith on Unsplash

The post چطور نرخ رشد فروش را در R محاسبه کنیم؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

				
					df <- data.frame(
  age = c(10, 12 , 14 , 13),
  gender = c("zan", "mard" , "zan" , "mard")
)

df
				
			

				
					.  age gender
1  10    zan
2  12   mard
3  14    zan
4  13   mard
				
			

				
					df$gender[df$gender == "mard"] = "male"
df$gender[df$gender == "zan"] = "female"

df
				
			

				
					.  age gender
1  10 female
2  12   male
3  14 female
4  13   male
				
			

				
					df <- data.frame(
  age = c(10, 12 , 14 , 13),
  gender = c("zan", "mard" , "zan" , "mard")
)

df$gender <- ifelse(df$gender == "zan", "female", "male")

df
				
			

				
					.  age gender
1  10 female
2  12   male
3  14 female
4  13   male
				
			

				
					df <- data.frame(
  age = c(10, 12 , 14 , 13),
  gender = c("zan", "mard" , "zan" , "mard")
)

df$gender <- replace(df$gender, df$gender == "zan", "female")
df$gender <- replace(df$gender, df$gender == "mard", "male")

df
				
			

				
					  age gender
1  10 female
2  12   male
3  14 female
4  13   male
				
			

				
					library(dplyr)

df <- data.frame(
  age = c(10, 12 , 14 , 13),
  gender = c("zan", "mard" , "zan" , "mard")
)

df <- df %>%
  mutate(gender = case_when(
    gender == "zan" ~ "female",
    gender == "mard" ~ "male",
    TRUE ~ gender
  ))
  
df
				
			

				
					.  age gender
1  10 female
2  12   male
3  14 female
4  13   male
				
			

The post چطور مقادیر یک ستون را در R عوض کنیم؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

تحلیل‌گران داده معمولا در موقعیتی قرار می‌گیرند که لازم است یک تابع را روی چند ستون اعمال کنند. مثلا لازم است میانگین چند ستون را به صورت همزمان محاسبه کنند. این کار برای یک یا چند ستون ساده است. اما وقتی تعداد ستون‌ها زیاد باشد یا اگر بیشتر از یک تابع را بخواهید اعمال کنید ممکن است زمان بر و طاقت فرسا باشد. این‌کار در R با استفاده از تابع across ساده است. داده‌های زیر را ببینید:

				
					iris
				
			

				
					.  Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1          5.1         3.5          1.4         0.2  setosa
2          4.9         3.0          1.4         0.2  setosa
3          4.7         3.2          1.3         0.2  setosa
4          4.6         3.1          1.5         0.2  setosa
5          5.0         3.6          1.4         0.2  setosa
6          5.4         3.9          1.7         0.4  setosa
				
			

می‌خواهیم میانگین ستون‌های Sepal.Length و Petal.Length را محاسبه کنیم. این دو مقدار طول کاسبرگ‌ها و گلبرگ‌های گل زنبق هستند!

می‌توانید از تابع summarise برای بدست آوردن میانگین استفاده کنید:

				
					library(dplyr)
iris |>
  summarise(mean(Sepal.Length),
            mean(Petal.Length))
				
			

				
					.  mean(Sepal.Length) mean(Petal.Length)
1           5.843333              3.758
				
			

با استفاده از تابع across میتوانید این کد را به صورت زیر بنویسید:

				
					iris |>
  summarise(across(c(Sepal.Length, Petal.Length),
                   .fns = mean))
				
			

				
					.  Sepal.Length Petal.Length
1     5.843333        3.758
				
			

وجه تمایز تابع across در آن است که شما می‌توانید از توابع دیگر کتابخانه dplyr در آن نیز استفاده کنید. مثلا در مثالی که در دست داریم می‌توانیم تنها ستون‌هایی که با عبارت length خاتمه پیدا می‌کنند را انتخاب کنیم و نتیجه مشابهی را بدست بیاوریم. 

				
					iris |>
  summarise(across(ends_with("Length"), 
                   .fns = mean))
				
			

				
					.  Sepal.Length Petal.Length
1     5.843333        3.758
				
			

همچنین می‌توانید محدوده مشخصی از داده‌ها را برای اعمال تابع دلخواه خود مشخص کنید. فرض کنید می‌خواهید روی تمام ستون‌های مجموعه داده‌های iris میانگین را محاسبه کنید:

				
					iris |>
  summarise(across(Sepal.Length:Petal.Width, 
                   .fns = mean))
				
			

				
					  Sepal.Length Sepal.Width Petal.Length Petal.Width
1     5.843333    3.057333        3.758    1.199333
				
			

حتی برای ساده‌تر شدن می‌توانید تنها ستون‌هایی که خاصیتی مشخص دارند را انتخاب کنید. در مثالی که در دست داریم می‌توانیم تنها ستون‌هایی که عددی هستند را برای محاسبه میانگین استفاده کنیم.

				
					iris |>
  summarise(across(where(is.numeric), 
                   .fns = mean))
				
			

				
					.  Sepal.Length Sepal.Width Petal.Length Petal.Width
1     5.843333    3.057333        3.758    1.199333
				
			

قدرت تابع across زمانی بیشتر مشخص می‌شود که شما بخواهید بیشتر از یک تابع را روی دسته‌ای از ستون‌ها اعمال کنید. با استفاده از خاصیت لیست‌ این کار ساده است. در مثالی که در دست داریم می‌خواهیم علاوه بر میانگین، انحراف معیار را نیز برای طول گلبرگ و کاسبرگ را محاسبه کنیم.

				
					iris |>
  summarise(across(ends_with("Length"),
                   .fns = list(mean = mean, sd = sd)))
				
			

				
					.  Sepal.Length_mean Sepal.Length_sd Petal.Length_mean Petal.Length_sd
1          5.843333       0.8280661             3.758        1.765298
				
			

از تابع across می‌توانید در دیگر توابع کتابخانه dplyr مانند mutate نیز استفاده کنید. این کار باعث کوتاه‌تر و ساده‌تر شدن راه حل‌ها می‌شود. 

آشنایی با آمار در R

علیرضا کدیور

دوره جامع طراحی و تحلیل کارآزمایی بالینی با R

آمنه ابراهیم ولوجردی

کیارش تنها

علیرضا کدیور

پردازش داده با data.table در R

علیرضا چمن‌زار

The post چطور می‌توان یک تابع را روی چند ستون اعمال کرد؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

جداول یکی از کاربردی‌ترین و محبوب‌ترین روش‌های نمایش داده‌ها در گزارش‌ها و مقالات است. فرقی نمی‌کند شما از جداول در گزارش‌های مکتوب و مقالات استفاده می‌کنید و یا در صفحات وب. جداول کاربردی و در عین حال زیبا می‌تواند برای خوانندگان بسیار جذاب و راهنمایی کننده باشد. از طرفی مصورسازی داده‌ها نیز می‌تواند به درک بیشتر از داده کمک کند. حالا اگر بتوانیم جداول و مصورسازی را با هم ترکیب کنیم احتمالا بتوانیم عملکرد بهتری را انتظار داشته باشیم. 

کتابخانه gt در R  یکی از کتابخانه‌های محبوب برای رسم جداول کاربردی است. شما در این کتاب‌خانه علاوه بر کنترل کاملی که روی ستون‌ها دارید می‌توانید از مصورسازی نیز در آن‌ها بهره ببرید.

نصب و راه اندازی کتابخانه

برای استفاده از کتابخانه gt باید ابتدا آن را نصب کنید. این کار تنها برای یکبار کافی است.

				
					install.packages("gt")
install.packages("gtextras")
				
			

حالا چند کتابخانه که در این درس‌نامه استفاده می‌شود را فراخوانی می‌کنیم.

				
					library(gt)
library(tibble)
library(gtExtras)
library(dplyr)
library(tidyr)
				
			

رسم جداول با gt

برای سادگی در این درس‌نامه از داده‌های از پیش آماده در R  استفاده می‌کنیم. بیایید نگاهی به ۱۰ ردیف اول داده‌ها بیاندازیم. 

				
					head(mtcars, 10)
				
			

				
					.                   mpg cyl  disp  hp drat    wt  qsec vs am gear carb
Mazda RX4         21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4
Mazda RX4 Wag     21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4
Datsun 710        22.8   4 108.0  93 3.85 2.320 18.61  1  1    4    1
Hornet 4 Drive    21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1
Hornet Sportabout 18.7   8 360.0 175 3.15 3.440 17.02  0  0    3    2
Valiant           18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1
Duster 360        14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4
Merc 240D         24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2
Merc 230          22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2
Merc 280          19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4
				
			

برای اینکه این جدول را تنها کمی بیشتر مناسب نمایش کنیم می‌توانیم به این صورت عمل کنیم.

				
					gt=mtcars %>%
  head(10) %>%
  gt()

gt
				
			

همانطور که می بینید جدول ظاهر ساده ای دارد و برای جدول نهایی  میتوانیم آیتم های دیگری را نیز به آن اضافه کنیم. به طور مثال با استفاده از این دستور میتوانیم یک یا چند ستون را از جدول حذف کنیم و نامگذاری آن ها را نیز تغییر دهیم.

				
					gt=gt %>%
cols_hide(columns = c(am,vs,qsec,gear,carb))%>%
cols_label(mpg= "Mile Per Galon",cyl="CYL")

gt
				
			

اگر بخواهیم یا برای جدول عنوان بگذاریم  و کمی استایل جدول را عوض کنیم نیز می توانیم از این دستور استفاده کنیم

				
					gt=gt%>%
tab_header(
title = "Mtcars",
subtitle = "GT Table")%>%
tab_style(
locations = cells_column_labels(columns = everything()),
style = list(
cell_borders(sides = "bottom", weight = px(3)),
cell_text(weight = "bold"))) %>% 
tab_style(
locations = cells_title(groups = "title"),
style     = list(
cell_text(weight = "bold", size = 24)))

gt
				
			

برای اضافه کردن منبع داده ها به جدول و همچنین تغییر حاشیه ی جدول از کدهای زیر استفاده میکنیم.

				
					gt=gt%>%
tab_source_note(source_note = "Data: Mtcars Data ")%>%
  opt_all_caps() %>% 
  #Change the width of columns
  cols_width(c(mpg) ~ px(150),
             c(cyl) ~ px(400))%>% 
  tab_options(
    #Remove border between column headers and title
    column_labels.border.top.width = px(3),
    column_labels.border.top.color = "transparent",
    #Remove border around table
    table.border.top.color = "transparent",
    table.border.bottom.color = "transparent",
    #Reduce the height of rows
    data_row.padding = px(3),
    #Adjust font sizes and alignment
    source_notes.font.size = 12,
    heading.align = "Center" )
  

gt
				
			

استفاده از مصورسازی در جداول

گاهی اوقات پیش می آید که نیاز داریم جدولی را رسم کنیم که در آن تعداد مشاهده ها زیاد است و کشیدن جدول ساده ممکن است باعث گیج شدن و بی توجهی مخاطب شود. به عنوان مثال دیتا ست زیر را در نظر بگیرید. همانطور که میبینید جدول کشیدن برای این نوع دیتا بهینه نیست و نمی تواند دیتا را به طور مناسب به خواننده ارایه کند.

				
					sample=data.frame(x=rnorm(300,20,6),ID=rep(seq(1,30,1),each=10),group=rep(LETTERS[1:10],times=30))
sample%>%
spread(key =group,value = x)%>%
gt()
				
			

در این شرایط می توانیم با استفاده از کتابخانه gtExtras  جدول دیگری را رسم کنیم که این اطلاعات را به صورت مناسب تری نمایش دهد.همانطور که مشاهده می کنید با استفاده از دستور فوق میتوانیم با استفاده از همان دیتا جدولی را رسم کنیم که مخاطب در کمترین زمان بتواند اطلاعات مورد هدف ما را متوجه شود. در این جدول در گروه های مختلف متغیر x  مربوط به هر ID نمایش داده شده است.  توجه داشته باشید که برای استفاده از تابع gt_plt_sparkline ، داده ها بایستی در قالب list  باشند.

				
					library(gtExtras)
sample%>%
  group_by(group) %>%
  summarize(x_list = list(x), .groups = "drop") %>%
  gt() %>%
  gt_plt_sparkline(x_list)
				
			

تعییراتی را نیز می توانیم در شکل جدول اعمال کنیم. فرض کنید می خواهیم میانگین متغیر x  را در هر گروه حساب کنیم و در غالب یک ستون به جدول اضافه  کنیم. برای این کار باید بعد از میانگین گرفتن آن ها را به لیست تبدیل کنیم. برای اینکار طبق کد زیر عمل میکنیم.

				
					sample%>%
  group_by(group) %>%
  summarize(x_list = list(x), .groups = "drop") %>%
  mutate(mean=lapply(x_list,mean))%>%
  gt() %>%
  gt_plt_sparkline(x_list)

				
			

در خود تابع gt_plt_sparkline  هم میتوانیم تنظیمات نمودارها را عوض کنیم. در اینجا نقاط رنگی روی نمودار و اعداد مشخص شده در انتهای آن ها حذف شده است. همچنین با استفاده از تابع cols_move  می توانیم ترتیب هر یک از ستون ها را تعیین کنیم. همچنین تغییراتی که قبلا در جدول بوجود آوردیم کماکان قابل اجرا است.

				
					sample %>%
  group_by(group) %>%
  summarise(x_list=list(x),.groups = "drop")%>%
  mutate(mean=lapply(x_list,mean))%>%
  gt() %>%
  tab_options(column_labels.font.weight = 'bold',
              heading.title.font.size = 14,
              heading.subtitle.font.size = 14,
              table.font.color = 'black',
              source_notes.font.size = 10,
              table.font.size = 14) %>%
  tab_style(
    style = list(
      cell_text(
        align = "center",
        weight = 'bold',
      )
    ),
    locations = list(
      cells_title(groups = c("title"))
    )
  ) %>%
  tab_header(
    title = md("GT SPARKLINE")
  )  %>%
  cols_label(group="Group",x_list="X",mean="Mean")%>%
  gt_plt_sparkline(x_list,label = F,palette = c("black", rep("transparent", 3), "black"))%>%
 cols_move(
    columns =c(mean),
    after =group)
				
			

اگر بخواهیم به مثال اول درسنامه برگردیم، برای نمایش روند قدرت اسب بخار در گروه ماشین‌های ۴، ۶ و ۸ سیلندر در قالب جدول می‌توانیم به این صورت عمل کنیم.

				
					mtcars %>%
  group_by(cyl) %>%
  summarise(hp = list(mpg) , .groups = "drop" ) %>%
  gt() %>%
  gt_plt_sparkline(hp)

				
			

The post ایجاد جداول کاربردی با R appeared first on مدرسه پردازش و تحلیل داده دقیقه.

ممکن است در برخی الگوریتم‌ها و یا شرایط تحلیل لازم باشد سطر‌هایی که حداقل یک داده کمتر از صفر(منفی) دارد را از دیتاست خارج کنیم. این کار به روش‌های مختلفی در R  قابل انجام است که در ادامه به دو روش آن اشاره می‌کنیم.

ساخت دیتافریم نمونه

برای پیاده سازی عملی روش‌ها لازم است ابتدا یک دیتافریم نمونه درست کنیم. این مجموعه داده دارای 5 سطر و سه ستون است. سطرهای ۳ و ۴ این مجموعه داده دارای یک مقدار منفی در ستون‌های متفاوت است. هدف ما خارج کردن تمام ردیف ۳ و ۴ است.

				
					
df = data.frame(x1=c(1,2,3,4,5),
                x2=c(1,2,-1,3,4),
                x3=c(1,2,3,-4,5))
				
			

				
					  x1 x2 x3
  1  1  1
  2  2  2
  3 -1  3
  4  3 -4
  5  4  5
				
			

روش اول: استفاده ازbase R

با استفاده از ترکیب دو تابع rowSums و subset میتوانید به راحتی تمام سطرهایی که حداقل یک مقدار منفی دارند را از مجموعه داده خود حذف کنید.

				
					subset(df, !rowSums(df < 0))
  x1 x2 x3
1  1  1  1
2  2  2  2
5  5  4  5
				
			

روش دوم: استفاده از کتابخانه dplyr

کتابخانه dplyr یکی از مهمترین کتابخانه‌های مجموعه tidyverse  است. این کتابخانه امکانات بسیار زیادی برای تبدیل داده‌ها در اختیار شما می‌گذارد. در اینجا با استفاده از دو روش اقدام به حذف سطرهایی که حداقل یک مقدار منفی دارند می‌کنیم.

 در روش اول با استفاده از تابع filter_all  تمام ردیف‌های دارای مقدار منفی راحذف می‌کنیم. تابع all_vars موقعی بکار می‌رود که شما می‌خواهید عملیاتی را برای تمام متغیرها(ستون‌ها) بصورت همزمان انجام بدهید.

				
					library(dplyr)
df %>%
  filter_all( all_vars(.> 0))
				
			

				
					  x1 x2 x3
 1  1  1
 2  2  2
 5  4  5
				
			

روش قبلی با آن که به راحتی عملیات مورد نظر را انجام می‌ دهد، اما این توابع با تابع جدید‌تری به نام acrossجایگزین شده‌اند. این روش کد کمی مدرن‌تر و بروز تر از روش قبلی است.

				
					df %>%
  filter(across(everything(), ~ .> 0))
  x1 x2 x3
1  1  1  1
2  2  2  2
3  5  4  5
				
			

اگر می‌خواهید بیشتر در مورد کارکردن با داده‌ها در R  بدانید می‌توانید به درس‌های زیر در مدرسه پردازش و تحلیل داده دقیقه مراجعه کنید.

آشنایی با آمار در R

علیرضا کدیور

دوره جامع طراحی و تحلیل کارآزمایی بالینی با R

آمنه ابراهیم ولوجردی

کیارش تنها

علیرضا کدیور

پردازش داده با data.table در R

علیرضا چمن‌زار

The post چطور سطرهای دارای مقادیر منفی را در R حذف کنیم؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.