При использовании программирования R для обработки огромного набора данных, превышающего лимит памяти компьютера, вы можете использовать следующие стратегии (то же самое относится и к другим языкам программирования):
bigmemory
、ff
、data.table
)хранить и обрабатывать данные。data.table
пакет илиreadr
Функция чтения данных в блоках пакета。index
функция илиdplyr
в сумкеarrange()
Функции для создания и использования индексов。foreach
、parallel
、doParallel
)обрабатывать данные параллельно,Ускорить расчеты.data.table
завернутыйinteger
илиfloat
замена типаnumeric
тип。readr
илиdata.table
завернутый Функция записывает набор данных на жесткий диск,И читайте поблочно при использовании.Выше приведены некоторые распространенные стратегии работы с огромными наборами данных, превышающими пределы компьютерной памяти. Конкретный выбор зависит от характеристик и потребностей данных.